В эпоху Интернета вещей большое количество персептронов ежедневно собирают и генерируют данные, затрагивающие различные области. В связи с требованиями бизнеса и улучшения качества жизни применение технологии Интернета вещей (IoT) для анализа потоков больших данных является очень ценным направлением исследований. В этом документе представлен подробный обзор использования глубокого обучения для улучшения методов анализа данных и обучения в области Интернета вещей. С точки зрения машинного обучения автор разделяет методы обработки данных IoT на анализ больших данных IoT и анализ потоковых данных IoT. В документе обобщаются различные современные методы глубокого обучения и подробно обсуждаются преимущества использования методов глубокого обучения для анализа данных IoT, а также будущие проблемы.
Бумажный вклад
- Чтобы лучше применять методы глубокого обучения в области IoT, автор анализирует ключевые особенности и основные проблемы данных IoT.
- Автор предоставляет подробный обзор современных методов глубокого обучения и их приложений к большим данным и потоковым данным в области IoT.
- Автор представляет большое количество приложений IoT, в которых в настоящее время применяются методы глубокого обучения, а также обобщает и сравнивает приложения разных типов глубоких нейронных сетей в различных областях IoT.
- Подчеркиваются проблемы и направления будущих исследований для успешного сочетания приложений глубокого обучения и IoT.
Структура диссертации
Характеристики данных IoT и требования к анализу
Интернет вещей для быстрой потоковой передачи данных
В настоящее время анализ потоковых данных основан на параллельных вычислениях или платформах инкрементной обработки.Хотя эти методы сокращают временную задержку при возврате ответов от платформ анализа потоковых данных, они не являются лучшим решением для строгих требований времени приложений IoT. Интернету вещей требуется быстрый анализ потоковых данных на платформе рядом с источником данных (даже самим устройством Интернета вещей) для удовлетворения требований в режиме реального или близкого к реальному времени Традиционные методы анализа потоковых данных сталкиваются с ограничениями в отношении вычислений, хранения и энергопотребления источника данных. и проблемы.
Большие данные Интернета вещей
Большие данные IoT имеют характеристики «6V»:
Объем:Объем данных является определяющим фактором при рассмотрении наборов данных как больших данных или традиционных крупномасштабных/гипермасштабных данных, и использование устройств IoT для создания гораздо большего объема данных, чем раньше, явно соответствует этому профилю.
Скорость:Скорость генерации и обработки больших данных IoT должна быть достаточно высокой, чтобы поддерживать доступность больших данных в режиме реального времени. Учитывая эту высокую скорость передачи данных, для эффективной работы также требуются передовые инструменты и технический анализ.
Разнообразие:Как правило, большие данные бывают разных форм и типов. Это могут быть структурированные, полуструктурированные и неструктурированные данные. С помощью IoT можно генерировать самые разные типы данных, такие как текст, аудио, видео, данные датчиков и многое другое.
Правдивость:Подлинность относится к качеству, согласованности и достоверности данных.Только с достоверными данными можно провести точный анализ. Это особенно важно для Интернета вещей, особенно для тех данных, которые известны толпе.
Изменчивость:Это свойство относится к различным скоростям потоков данных. Из-за характера приложений IoT различные компоненты, генерирующие данные, могут иметь несогласованные потоки данных. Кроме того, в определенный момент времени скорость загрузки данных для одного источника данных может различаться. Например, приложение службы парковки, использующее датчики IoT, может отслеживать пиковую загрузку данных в периоды пиковой нагрузки.
Ценность:Ценность относится к преобразованию больших данных в полезную информацию и контент, которые дают организации конкурентное преимущество. Высота значения данных зависит не только от обработки или обслуживания данных, но и от способа обработки данных.
Основным препятствием для обработки потока данных является отсутствие фреймворков или алгоритмов, которые можно было бы развернуть на границе системы или даже на устройствах IoT. При использовании подхода глубокого обучения также существует компромисс между глубиной и производительностью сети, работающей на границе системы.
глубокое обучение
По сравнению с другими традиционными методами машинного обучения в последние годы архитектурам глубокого обучения уделяется все больше внимания.
Google Trend показывает, что в последние годы внимание к глубокому обучению растет.
Общий механизм обучения глубокому обучению
структура
Краткое изложение моделей глубокого обучения.
1) Сверточные нейронные сети (CNN)
Основной структурой CNN является сверточный слой, который имеет ряд обучаемых параметров, называемых фильтрами. В процессе обучения фильтр перемещается в порядке свертки по всему изображению, и произведение входных данных и фильтра вычисляется для получения карты признаков фильтра. Другой структурой CNN является слой пула, который делит входные данные на непересекающиеся области, а затем использует максимальное значение каждой области в качестве выходных данных. Последней структурой CNN является уровень функции активации ReLU, который может не только сократить время обучения, но и не повлиять на способность сети к обобщению.
Основное различие между CNN и DNN заключается в том, что CNN обладает характеристиками локального соединения и разделения веса, поэтому она имеет уникальные преимущества в задачах видения и снижает сложность сети.
2) Рекуррентные нейронные сети (RNN)
Схема структуры рекуррентной нейронной сети.
RNN в основном подходят для данных (данные датчиков), ввод которых представляет собой последовательность (например, речь и текст) или временные ряды. Входные данные для RNN включают в себя как текущий пример, так и ранее наблюдаемый пример. То есть выходные данные RNN в момент времени t-1 влияют на выходные данные в момент времени t. Каждый нейрон RNN имеет петлю обратной связи, которая принимает текущий вывод в качестве ввода для следующего шага. Эту структуру можно интерпретировать как то, что каждый нейрон RNN имеет внутреннее хранилище, в котором хранится информация, полученная в результате вычислений с предыдущим вводом.
3) Долгосрочная кратковременная память (LSTM)
Структура ячейки памяти LSTM.
LSTM является расширением RNN. В LSTM, в дополнение к петле обратной связи, каждый нейрон имеет механизм хранения информации, а также «ворота забывания», «ворота входного слоя» и «ворота выходного слоя», используемые для управления прохождением нейронной информации, чтобы предотвратить ненужную информацию. информацию от причинения беспокойства.
4) Автоэнкодеры (Autoencoders, AE)
Структура сети автоэнкодера.
Входной и выходной слои АЭ соединены одним или несколькими скрытыми слоями с одинаковым количеством входных и выходных нейронов. Целью этой сети является реконструкция входной информации путем преобразования входных данных в выходные данные самым простым способом.
5) Вариационные автоэнкодеры (VAE)
Структура вариационного автоэнкодера.
VAE не делает строгих предположений о структуре данных и является более популярной структурой генеративной модели. Он хорошо подходит для решений IoT благодаря разнообразию представлений данных IoT и отсутствию помеченных данных. Модель состоит из двух подсетей: одна генерирует примеры, а другая выполняет вывод гипотез.
6) Генеративно-состязательные сети (GAN)
Концептуальная карта генеративно-состязательной сети.
GAN состоят из двух нейронных сетей, генеративной сети и дискриминационной сети, которые работают вместе для создания синтетических высококачественных данных. Генератор генерирует новые данные на основе распределения данных в обучающем наборе данных, а дискриминатор учится отличать настоящие данные от поддельных данных, сгенерированных генератором. Целевая функция GAN основана на минимаксной игре, одна сеть должна максимизировать целевую функцию, а другая - минимизировать целевую функцию.
7) Ограниченная машина Больцмана (RBM)
Ограниченная машинная архитектура Больцмана.
RBM — это стохастическая нейронная сеть, состоящая из двух слоев: видимого слоя, содержащего входные данные, и скрытого слоя, содержащего скрытые переменные. Ограничение RBM состоит в том, что любые два нейрона в одном слое не связаны друг с другом. Кроме того, блок смещения связан со всеми видимыми и скрытыми блоками слоя.
8) Сеть глубокого убеждения (DBN)
Схема структуры сети глубокого убеждения. Пунктирная линия представляет собой канал извлечения признаков, а реализация представляет собой канал генерации.
DBN — это генеративная нейронная сеть, состоящая из одного видимого слоя и нескольких скрытых слоев. Многоуровневые представления обучающих данных могут быть извлечены, а входные данные восстановлены. Процесс обучения DBN представляет собой послойное обучение, рассматривая каждый слой как RBM и обучая на основе предыдущего слоя. Такой механизм делает DBN одной из эффективных и быстрых сетей в глубоком обучении.
9) Лестничная сеть
Двухуровневая лестничная сеть.
Лестничные сети достигают современного состояния в неконтролируемых и полуконтролируемых задачах обучения. Лестничная сеть состоит из двух кодеров и одного декодера. Кодер действует как контролируемая часть сети, а декодер выполняет обучение без учителя. Цель обучения — минимизировать сумму потерь контролируемой части и неконтролируемой сети.
Быстрая архитектура глубокого обучения в реальном времени
Быстрая обработка потоков данных в режиме реального времени с использованием моделей глубокого обучения все еще находится в зачаточном состоянии. Ранняя работа [1] является расширением Extreme Learning Machine (ELM), OS-ELM, которое применяет алгоритм последовательного обучения в реальном времени к однослойной нейронной сети с прямой связью. Faster-RCNN, предложенный Реном и др. [2], достигает скорости, близкой к реальному времени, при обнаружении объектов на изображениях. Время выполнения их системы обнаружения объектов составляет 5-17 кадров в секунду. Однако для задач обработки изображений настоящие эффекты в реальном времени требуют системного времени обработки и анализа 30 кадров в секунду или более. Редмон и др. [3] предложили YOLO, увеличивающую скорость обнаружения цели до 45 кадров в секунду, и уменьшенную версию YOLO, имеющую скорость 155 кадров в секунду, которая уже подходит для интеллектуальных камер.
Сочетание глубокого обучения с другими методами
1) Глубокое обучение с подкреплением
Глубокое обучение с подкреплением — это продукт объединения обучения с подкреплением и глубоких нейронных сетей. Цель состоит в том, чтобы создать самообучающихся агентов, которые достигают долгосрочной максимальной положительной обратной связи путем установления успешных взаимодействий. Когда среда может быть представлена большим количеством состояний, традиционных методов обучения с подкреплением немного недостаточно, и это компенсируют глубокие нейронные сети. В области Интернета вещей [4] использовали глубокое обучение с подкреплением для достижения локализации в умной среде кампуса в условиях полуконтроля.
2) Перенос обучения с помощью глубоких моделей
Трансферное обучение в основном используется в областях адаптации предметной области и многозадачного обучения. Трансферное обучение — это доступное решение для многих приложений Интернета вещей, в которых сложно собирать обучающие данные. Например, для обучения системы позиционирования через Bluetooth Low Energy и дактилоскопирование Wi-Fi на смартфоне значение RSSI (Индикация уровня принимаемого сигнала) в одном и том же месте в одно и то же время может быть разным для разных платформ. Если мы обучаем модель на одной платформе, модель можно перенести на другие платформы без сбора обучающих данных для новой платформы.
3) Алгоритмы глубокого обучения и онлайн-обучения
Поскольку потоки данных, генерируемые приложениями IoT, загружаются на облачные платформы для анализа, роль онлайн-алгоритмов машинного обучения становится все более важной, поскольку обучающие модели необходимо обновлять по мере увеличения объема данных.
Рамка
В последние годы, с применением глубокого обучения в различных областях, также появились различные фреймворки глубокого обучения.
Тензорный поток:Tensorflow — это библиотека с открытым исходным кодом для систем машинного обучения, которая может использовать различные глубокие нейронные сети. Tensorflow использует представления графов для построения моделей нейронных сетей. Разработчики также используют TensorBoard для визуализации моделей нейронных сетей и наблюдения за процессом обучения, включая обновления параметров.
Факел:Torch — это платформа с открытым исходным кодом для машинного обучения, которая содержит большое количество алгоритмов глубокого обучения для простой разработки моделей глубоких нейронных сетей. Он разработан на основе языка Lua и представляет собой легкий и быстрый фреймворк для обучения алгоритмов глубокого обучения. Он поддерживает разработку моделей машинного обучения на CPU и GPU и предоставляет библиотеку параллельных вычислений для обучения глубоких нейронных сетей.
Кафе:Caffe — это платформа с открытым исходным кодом для алгоритмов глубокого обучения и наборов эталонных моделей. Основанный на C++, он поддерживает CUDA для вычислений на GPU и предоставляет интерфейсы Python и Matlab. Caffe определяет модели через файлы конфигурации без определения параметров в исходном коде, разделяя представление модели и реализацию.
Сравнение фреймворков глубокого обучения.
Применение глубокого обучения в сфере IoT
IoT-приложения и основные услуги.
Основные услуги
1) Распознавание изображений:
В значительной части сценариев приложений IoT входными данными для глубокого обучения являются изображения или видео. Каждый день все фотографируют и снимают людей на камеру высокого разрешения своего мобильного телефона, кроме того, умные камеры также используются в домах, школах или на фабриках. Таким образом, распознавание изображений, классификация и обнаружение целей являются основными приложениями этого типа оборудования.
2) Распознавание голоса
С распространением смартфонов и носимых устройств распознавание голоса также стало для людей естественным и удобным способом взаимодействия со своими устройствами. Прайс и др. [5] создали специальный маломощный чип глубокого обучения для автоматического распознавания речи. Энергопотребление этого специального чипа в 100 раз ниже, чем энергопотребление инструментов распознавания речи, работающих в настоящее время на мобильных телефонах.
3) Внутреннее позиционирование
Позиционирование внутри помещений имеет множество применений в области Интернета вещей, таких как умные дома, умные кампусы или умные больницы. Например, система DeepFi на этапе обучения в автономном режиме использует ранее сохраненные данные о состоянии канала Wi-Fi для обучения веса сети посредством глубокого обучения и определяет местоположение пользователя с помощью снятия отпечатков пальцев на этапе онлайн-позиционирования.
4) Определение физического и психического состояния
Сочетание Интернета вещей и глубокого обучения также применялось для обнаружения различных физических или психических состояний, таких как осанка, активность и эмоции. Многие приложения IoT включают в себя модули оценки позы человека или распознавания активности в предоставляемых услугах, таких как умный дом, умный автомобиль, XBox, здоровье, спорт и многое другое.
5) Безопасность и конфиденциальность
Безопасность и конфиденциальность являются важной задачей для всех приложений IoT. На самом деле эффективность системного функционала зависит от защиты инструментов и процессов машинного обучения от атак. Внедрение ложных данных (FDI) — распространенный тип атаки на системы, управляемые данными. Он и др. [6] предложили использовать условную DBN для извлечения функций FDI из исторических данных, а затем использовать эти функции для обнаружения атак в реальном времени. Смартфоны, являющиеся крупным источником данных и приложений IoT, также подвержены риску взлома. Юань и др. [7] предложили использовать структуру глубокого обучения для выявления вредоносных программ в приложениях Android с точностью 96,5%. Безопасность и защита конфиденциальности методов глубокого машинного обучения являются наиболее важными факторами для их применения в области Интернета вещей. Шокри и др. [8] предложили подход к решению проблемы защиты конфиденциальности моделей глубокого обучения для распределенного обучения.
применение
1) Умный дом:
Концепция умного дома включает в себя широкий спектр приложений на основе IoT, которые помогают улучшить использование энергии и эффективность дома, а также удобство, производительность и качество жизни его жителей. Сегодня бытовая техника может быть подключена к Интернету для предоставления интеллектуальных услуг. Например, совместная работа Microsoft и Liebherr применила глубокое обучение Cortana к информации, собранной с холодильников. Эти аналитические данные и прогнозы могут помочь домохозяйствам лучше контролировать свои предметы домашнего обихода и расходы, а в сочетании с другими внешними данными их можно использовать для мониторинга и прогнозирования тенденций в области здоровья.
2) Умный город:
Услуги умного города охватывают несколько областей IoT, таких как транспорт, энергетика, сельское хозяйство и другие. Важной проблемой в умных городах является прогнозирование моделей группового движения, и Сонг и др. [9] разработали систему, основанную на модели глубокой нейронной сети, для достижения этой цели на уровне города. Лян и др. [10] построили систему прогнозирования плотности населения в реальном времени на основе модели RNN и использовали данные связи пользователей мобильных телефонов для прогнозирования плотности населения на транспортных станциях. Управление отходами и классификация мусора также являются смежными задачами в умных городах, которые могут быть автоматизированы с помощью моделей CNN на основе задач визуальной классификации. Амато и др. [11] разработали систему для обнаружения используемых и свободных парковочных мест на парковках на основе интеллектуальных камер и глубоких CNN.
3) Энергия:
Двусторонняя связь между потребителями и интеллектуальной сетью является источником больших данных IoT. Поставщики энергии хотят изучать местные модели энергопотребления, прогнозировать спрос и принимать соответствующие решения на основе аналитики в реальном времени. Прогнозирование электроэнергии от солнца, ветра или других типов природных устойчивых источников энергии является активной областью исследований в области интеллектуальных сетей, и глубокое обучение все чаще используется во многих приложениях в этой области.
4) Интеллектуальная транспортная система:
Данные интеллектуальных транспортных систем (ИТС) — еще один источник больших данных. Ма и др. [12] разработали систему анализа дорожной сети с использованием структур RBM и RNN, а входными данными модели были данные GPS о такси, участвующих в системе. Система прогнозирует заторы на дорогах с точностью 88 процентов на основе накопленных данных за час. ITS также способствует развитию обнаружения и распознавания дорожных знаков, которые имеют важные приложения в системах автономного вождения и вспомогательных систем вождения. В дополнение к этому многие стартапы применяют глубокое обучение для создания совершенных автономных транспортных систем для таких задач, как обнаружение пешеходов, дорожных знаков, блокпостов и т. д.
5) Медицина и здоровье:
Интернет вещей в сочетании с глубоким обучением также используется для предоставления медицинских и оздоровительных решений отдельным лицам и организациям. Например, разработка решений на основе мобильных приложений для точного измерения рациона питания может помочь улучшить личное здоровье и самочувствие. Лю и др. [13] разработали систему для распознавания изображений продуктов питания и связанной с ними информации с использованием CNN. Использование глубокого обучения для классификации и анализа медицинских изображений является актуальным направлением исследований в области медицины. Перейра и др. [14] идентифицировали болезнь Паркинсона на ранней стадии, распознавая рукописные изображения с помощью CNN. Кроме того, сочетание глубокого обучения и IoT также применялось для обнаружения звуковых аномалий и выявления заболеваний сосудов молочной железы.
6) Сельское хозяйство:
Производство здоровых культур и разработка эффективных методов ведения сельского хозяйства являются необходимым условием здорового общества и устойчивой окружающей среды. Идентификация болезней растений с использованием глубоких нейронных сетей является возможным решением. Глубокое обучение также используется в дистанционном зондировании для обнаружения и классификации земель и сельскохозяйственных культур. Исследования показали, что точность распознавания урожая с помощью CNN достигла 85%, что является большим улучшением по сравнению с MLP или случайным лесом. В задачах прогнозирования и обнаружения в автоматизированном сельском хозяйстве также применяется глубокое обучение.
7) Образование:
Сочетание Интернета вещей и глубокого обучения может помочь повысить эффективность систем образования. Мобильные устройства могут собирать данные об учащихся, а методы углубленной аналитики можно использовать для прогнозирования и объяснения прогресса и достижений учащихся. Технология дополненной реальности в сочетании с носимыми и мобильными устройствами также является потенциальным применением глубокого обучения в этой области, стимулируя интерес учащихся и делая методы обучения более эффективными. Кроме того, глубокое обучение можно использовать для персонализации рекомендательных модулей, чтобы рекомендовать преподавателям более релевантный контент. Использование глубокого обучения для анализа крупномасштабных данных открытых онлайн-курсов (MOOC) может помочь учащимся лучше учиться. В дополнение к этому, использование CNN для мониторинга заполняемости класса является еще одним применением глубокого обучения в образовании.
8) Промышленность:
Для промышленного сектора IoT и киберфизические системы (CPS) являются ключевыми элементами, направляющими производственные технологии на пути к интеллектуальному производству (Industry 4.0). Широкий спектр приложений в промышленности может выиграть от внедрения моделей глубокого обучения. Подавая как изображения серийных автомобилей на сборочной линии, так и их аннотации в систему глубокого обучения, можно добиться визуального контроля с использованием таких сетей, как AlexNet, GoogLeNet и т. д.
9) Правительство:
Множество разнообразных задач с участием муниципалитетов требуют точного анализа и прогнозирования. [15] Использование исторических данных из сети USGS для обучения сети LSTM прогнозированию землетрясений. [16] Используйте изображения экстремальных климатических условий для обучения CNN обнаружению экстремальных климатических явлений. Кроме того, обнаружение повреждений городской инфраструктуры, такой как дороги, водопроводные трубы и т. д., является еще одной областью, в которой IoT и глубокое обучение могут помочь правительствам.
10) Спорт и отдых:
В последние годы спортивная аналитика быстро развивалась, давая командам или спортсменам конкурентное преимущество. [17] предложили метод глубокого обучения для создания умной баскетбольной площадки. [18] Использование RNN для выявления нарушений игроков в играх НБА. [19] объединили данные датчиков носимых устройств и CNN для распознавания действий волейболистов. [20] использовали иерархически структурированную модель LSTM для изучения общей деятельности волейбольной команды.
11) Розничная торговля:
С ростом популярности мобильных устройств число людей, совершающих покупки в Интернете, значительно увеличилось. В последнее время произошел сдвиг в сторону извлечения изображения продукта с помощью методов визуального поиска. CNN использовался для визуального поиска на рынках одежды и модной одежды, помогая вам находить товары, которые вы видели в фильмах или видели на улице в своем интернет-магазине. Интернет вещей в сочетании с глубоким обучением может создать систему визуальной помощи при совершении покупок, включая умные очки, перчатки и тележки для покупок, чтобы помочь людям с нарушениями зрения делать покупки. Кроме того, разработка умных тележек для покупок может реализовать функцию самообслуживания в режиме реального времени.
Глубокое обучение на устройствах IoT
Успех глубокого обучения речи и видео заложил хорошую основу для базовых сервисов IoT, а способы развертывания их моделей и методов на устройствах с ограниченными ресурсами стали важным направлением исследований в области IoT. До сих пор методы глубокого обучения было трудно применять к IoT и устройствам с ограниченными ресурсами, поскольку для их работы требуется большое количество ресурсов, таких как процессоры, мощность аккумулятора и память. К счастью, недавние исследования показали, что многие параметры глубоких нейронных сетей избыточны и иногда не требуют большого количества скрытых слоев. Эффективное удаление этих параметров или слоев может уменьшить сложность сети, не оказывая большого влияния на результат.
методы и приемы
1) сжатие сети
Одним из способов применения глубоких нейронных сетей на устройствах с ограниченными ресурсами является сжатие сети, которое превращает плотную сеть в разреженную. Основное ограничение заключается в том, что этого недостаточно для поддержки всех типов сетей. Это работает только для определенных моделей сети с такой разреженностью. Кроме того, удаление избыточных и неважных параметров или нейронов — еще один важный способ запуска глубоких нейронных сетей на устройствах с ограниченными ресурсами.
Общая концептуальная схема обрезки глубокой нейронной сети.
2) Примерный расчет:
Приближенные вычисления — это еще один способ обеспечить развертывание инструментов машинного обучения на устройствах IoT и способствовать экономии энергии хост-устройства. Во многих приложениях IoT результаты машинного обучения не обязательно точны, но обеспечивают требуемое качество в приемлемом диапазоне. Фактически, объединение моделей глубокого обучения с приблизительными вычислениями может обеспечить более эффективные модели глубокого обучения для устройств с ограниченными ресурсами.
3) Ускоритель:
Разработка специального оборудования и схем для оптимизации энергоэффективности и объема памяти моделей глубокого обучения в устройствах IoT — еще одно активное направление исследований. Существуют работы по разработке ускорителей для DNN и CNN, а также по применению технологии Post-CMOS для ускорения вращения электронов.
4) Микропроцессор:
В дополнение к ранее упомянутым методам, разработка небольших процессоров с мощными возможностями глубокого обучения также является предметом исследований. Микропроцессоры рассчитаны на размер в пределах одного кубического миллиметра, могут питаться от батареи и потребляют всего около 300 мВт для глубокого анализа нейронных сетей. Благодаря этому методу многие критичные ко времени приложения IoT могут выполнять решения на устройстве, а не отправлять данные на высокопроизводительные компьютеры и ждать их ответа.
Туман и облачное глубокое обучение для Интернета вещей
Совсем недавно были предложены туманные вычисления, чтобы приблизить вычисления и аналитику к конечным пользователям и устройствам, а не просто оставаться в облачных вычислениях. Эксперименты показывают, что, выполняя анализ данных на узлах туманных вычислений, можно избежать передачи больших объемов необработанных данных на удаленные облачные узлы, тем самым повышая общую производительность. Анализ в реальном времени также возможен в определенной степени, потому что туманные вычисления являются локальными, близкими к источнику данных.
Некоторые продукты для сферы Интернета вещей, использующие глубокое обучение и сервисы в тумане или облаке.
Технология и платформа
Несмотря на введение аналитики глубокого обучения в архитектуру туманных вычислений, облачные вычисления остаются единственным жизнеспособным решением для многих приложений IoT, которые не могут быть обработаны в туманных вычислениях. Поэтому разработка масштабируемых и высокопроизводительных облачно-ориентированных моделей и алгоритмов DNN для анализа массивных данных IoT остается важной областью исследований.
Помимо достижений в размещении масштабируемой инфраструктуры моделей глубокого обучения на облачных платформах, необходимы исследования механизмов и методов, позволяющих сделать модели глубокого обучения доступными через API для простой интеграции в приложения IoT.
Модели глубокого обучения как услуга на облачных платформах.
вызов
При выполнении анализа глубокого обучения на узлах туманных вычислений также возникают некоторые проблемы:
- Обнаружение службы глубокого обучения: устройство должно идентифицировать источник соответствующего поставщика аналитики с помощью своего рода расширенного протокола обнаружения служб для аналитики глубокого обучения.
- Модель глубокого обучения и распределение задач: разделение выполнения моделей и задач глубокого обучения между туманными узлами, а также оптимизация распределения потоков данных между доступными узлами имеет решающее значение для приложений, чувствительных ко времени.
- Факторы дизайна: необходимо изучить, как факторы дизайна сред туманных вычислений и как развертывание моделей глубокого обучения в таких средах влияет на качество аналитических услуг.
- Мобильность: при разработке системы анализа глубокого обучения с помощью терминала необходимо учитывать динамику среды мобильных вычислений, поскольку мобильные устройства могут присоединяться к системе или покидать ее.
Проблемы IoT, связанные с глубоким обучением, и будущие направления исследований
вызов
1) Отсутствие больших наборов данных IoT:
Отсутствие доступных больших наборов данных для практических приложений IoT является основным препятствием для внедрения моделей глубокого обучения в IoT, поскольку глубокое обучение требует большего количества данных для достижения более высокой точности. Кроме того, большее количество данных также предотвращает переоснащение модели.
2) Предварительная обработка:
Многие методы глубокого обучения требуют предварительной обработки данных для получения лучших результатов.Для приложений IoT предварительная обработка является более сложной, поскольку система имеет дело с данными из разных источников данных, которые могут быть в разных форматах и распределениях, а также могут иметь место потери данных.
3) Безопасность и конфиденциальность:
Обеспечение безопасности и конфиденциальности данных является серьезной проблемой для многих приложений IoT, поскольку большие данные IoT будут анализироваться через Интернет и, следовательно, потенциально доступны для просмотра во всем мире. Кроме того, модели, обученные глубокому обучению, также уязвимы для злонамеренных атак, таких как внедрение поддельных данных или враждебный ввод выборки, когда многие функциональные или нефункциональные требования систем IoT могут быть не гарантированы.
4) Особенности больших данных IoT «6V»:
Объем (объем данных)Это создает большие проблемы для затрат времени и структурной сложности моделей глубокого обучения. Огромный объем данных также создает проблемы, включая шум и неразмеченные данные.
РазнообразиеВозникает проблема управления конфликтами между различными источниками данных. При отсутствии противоречивых источников данных глубокое обучение может эффективно обрабатывать разнородные данные.
СкоростьУчитывая требование высокоскоростной обработки и анализа данных, технология повышения эффективности онлайн-обучения глубокого обучения и последовательного обучения все еще нуждается в дальнейших исследованиях.
Правдивость, Аналитика больших данных для Интернета вещей бесполезна, если входные данные не получены из надежного источника данных.
Изменчивостьизменчивость скорости потока больших данных IoT создает проблемы для онлайн-анализа.
Ценность, Основная проблема для бизнес-менеджеров, внедряющих большие данные, заключается в том, что у них нет четкого понимания того, как использовать аналитику больших данных для повышения ценности и улучшения своего бизнеса.
5) Глубокое обучение на устройствах IoT:
Разработка глубокого обучения на устройствах IoT — это новая задача, учитывая необходимость обработки глубоких нейронных сетей на устройствах с ограниченными ресурсами.
6) Ограничения глубокого обучения:
Хотя модели глубокого обучения показали впечатляющие результаты во многих приложениях, у них все еще есть ограничения. Исследование показало, что глубокие сети классифицируют нераспознанные изображения по знакомым категориям. И способность глубокой нейронной сети к регрессии необходимо улучшить.
будущие направления исследований
1) Мобильные данные IoT:
Большая часть данных IoT поступает с мобильных устройств. Исследования эффективных способов использования мобильных больших данных в сочетании с методами глубокого обучения могут обеспечить более качественные услуги для IoT, особенно в сценариях умного города.
2) В сочетании с информацией об окружающей среде:
Данные датчиков только из IoT не могут понять условия окружающей среды. Поэтому данные IoT необходимо объединить с другими источниками данных, а именно с информацией об окружающей среде, чтобы дополнить понимание окружающей среды.
3) Предоставление онлайн-ресурсов для анализа IoT:
Быстрое развертывание глубокого обучения на основе анализа данных на основе туманных и облачных вычислений требует онлайн-настройки туманных или облачных ресурсов для переноса потоков данных. Из-за потоковой природы данных IoT емкость последовательности данных не может быть известна заранее. Поэтому нам нужен новый алгоритм, основанный на текущем потоке данных и не полагающийся на предварительное знание потока данных.
4) Полуконтролируемая структура анализа:
Современные алгоритмы машинного обучения, разработанные для полуконтролируемого обучения, хорошо подходят для систем умного города, где модели можно обучать с использованием небольшого набора обучающих данных, а затем улучшать с помощью большого количества неразмеченных данных.
5) Надежная аналитика IoT:
Методы глубокого обучения могут выявлять и прогнозировать слабые места в системах, которые могут быть атакованы, путем анализа больших объемов журналов киберфизических систем (CPS) и систем IoT. Это поможет системам предотвращать сбои или восстанавливаться после них, тем самым повышая уровень надежности систем CPS и IoT.
6) Самоорганизующаяся коммуникационная сеть:
Из-за огромного количества устройств IoT становится все труднее настраивать и поддерживать лежащие в их основе физические коммуникации и сети M2M. Несмотря на то, что большое количество сетевых узлов и их взаимосвязей является проблемой для традиционных подходов к машинному обучению, оно предоставляет архитектурам глубокого обучения возможность предоставлять ряд услуг самоконфигурации, самооптимизации, самовосстановления и самобалансировки нагрузки. достаточно, чтобы продемонстрировать свою компетентность в этой области.
7) Новые приложения IoT:
Дрон:Дроны используются для многих задач анализа изображений в реальном времени, таких как наблюдение, поисково-спасательные операции и проверки инфраструктуры. Внедрение этих устройств сталкивается с проблемами, включая маршрутизацию, экономию энергии, обход частных зон и преодоление препятствий. Глубокое обучение оказывает большое влияние на задачи прогнозирования и принятия решений в этой области и может вывести дроны на максимальную производительность.
Виртуальная/дополненная реальность:Виртуальная/дополненная реальность — это еще одна область применения, которая выигрывает от Интернета вещей и глубокого обучения. Дополненная реальность может использоваться для предоставления таких услуг, как отслеживание объектов, распознавание поведения, классификация изображений и распознавание объектов. Дополненная реальность может сильно повлиять на такие области, как образование, музеи и умные автомобили.
в заключении
В последние годы глубокое обучение и Интернет вещей привлекли большое внимание исследователей и бизнеса, и обе технологии оказали положительное влияние на нашу жизнь, наши города и мир. Интернет вещей и глубокое обучение образуют цепочку «производитель-потребитель данных», где Интернет вещей генерирует необработанные данные, которые анализируются моделями глубокого обучения, которые генерируют высокоуровневую аналитику, которая возвращается в системы Интернета вещей для точной настройки и улучшения услуг.
Посмотреть исходный текст статьи:Deep Learning for IoT Big Data and Streaming Analytics: A Survey
использованная литература
【1】 Н.-Ю. Лян, Г.-Б. Хуанг, П. Саратчандран и Н. Сундарараджан, «Быстрый и точный онлайн-алгоритм последовательного обучения для сетей с прямой связью», IEEE Transactions в нейронных сетях, т. 17, № 6, стр. 1411–1423, 2006.
【2】 С. Рен, К. Хе, Р. Гиршик и Дж. Сан, «Быстрее R-CNN: на пути к обнаружению объектов в реальном времени с помощью региональных сетей», транзакции IEEE по анализу шаблонов и машинному интеллекту, т. 39, нет 6, стр. 1137–1149, 2017.
[3] Дж. Редмон, С. Диввала, Р. Гиршик и А. Фархади, «Вы смотрите только один раз: унифицированное обнаружение объектов в реальном времени», в материалах конференции IEEE по компьютерному зрению и распознаванию образов, 2016 г., стр. 779–788.
[4] М. Мохаммади, А. Аль-Фукаха, М. Гуизани и Дж.-С. О, «Глубокое обучение с подкреплением с полуучителем в поддержку IoT и умных городских услуг», IEEE Internet of Things Journal, т. PP, 2017. № 99. С. 1–12.
【5】М. Прайс, Дж. Гласс и А. Чандракасан, «Масштабируемый распознаватель речи с акустическими моделями глубокой нейронной сети и голосовым управлением мощностью», в материалах IEEE ISSCC2017, 2017.
【6】 Ю. Хе, Г. Дж. Мендис и Дж. Вей, «Обнаружение атак с внедрением ложных данных в интеллектуальных сетях в режиме реального времени: интеллектуальный механизм, основанный на глубоком обучении», IEEE Transactions on Smart Grid, 2017.
【7】 Z. Yuan, Y. Lu, Z. Wang и Y. Xue, «Droid-sec: глубокое обучение в обнаружении вредоносных программ для Android», в ACM SIGCOMM Computer Communication Review, т. 44, № 4. ACM, 2014. С. 371–372.
[8] Р. Шокри и В. Шматиков, «Глубокое обучение с сохранением конфиденциальности», в материалах 22-й конференции ACM SIGSAC по компьютерной и коммуникационной безопасности, ACM, 2015, стр. 1310–1321.
【9】 X. Сонг, Х. Канасуги и Р. Шибасаки, «Глубокий транспорт: прогнозирование и моделирование мобильности человека и режима транспортировки на общегородском уровне», IJCAI, 2016.
【10】VC Liang, RT Ma, WS Ng, L. Wang, M. Winslett, H. Wu, S. Ying и Z. Zhang, «Меркурий: прогнозирование плотности мегаполисов с рекуррентной нейронной сетью на основе потоковых данных CDR», в Data Engineering (ICDE), 32-я международная конференция IEEE, 2016 г. IEEE, 2016 г., стр. 1374–1377.
【11】 Г. Амато, Ф. Каррара, Ф. Фальчи, К. Дженнаро, К. Мегини и К. Вайро, «Глубокое обучение для определения занятости децентрализованных парковок», «Экспертные системы с приложениями», 2017 г.
【12】 X. Ma, H. Yu, Y. Wang и Y. Wang, «Прогнозирование развития перегрузок в крупномасштабных транспортных сетях с использованием теории глубокого обучения», PloS one, т. 10, № 3, стр. e0119044, 2015.
【12】C. Liu, Y. Cao, Y. Luo, G. Chen, V. Vokkarane и Y. Ma, «Deepfood: распознавание изображений продуктов питания на основе глубокого обучения для компьютерной оценки питания», Международная конференция по Умные дома и телематика для здоровья, Springer, 2016, стр. 37–48.
【14】 CR Pereira, DR Pereira, JP Papa, GH Rosa и X.-S. Yang, «Сверточные нейронные сети, применяемые для идентификации болезни Паркинсона», в Machine Learning for Health Informatics, Springer, 2016, стр. 377–390. .
【15】 К. Ван, Ю. Го, Л. Ю и П. Ли, «Прогнозирование землетрясений на основе анализа пространственно-временных данных: сетевой подход lstm», IEEE Transactions on Emerging Topics in Computing, 2017.
【16】 Ю. Лю, Э. Рака, Дж. Корреа, А. Хосровшахи, Д. Лаверс, К. Кункель, М. Венер и В. Коллинз, «Применение глубоких сверточных нейронных сетей для обнаружения экстремальных погодных явлений в наборах климатических данных». », Международная конференция по достижениям в области анализа больших данных, 2016 г.
【17】 В. Лю, Дж. Лю, С. Гу, К. Лю, С. Дай и Х. Ма, «Интеллектуальная баскетбольная арена на основе глубокого обучения с энергетическим изображением», Международная конференция по мультимедийному моделированию, Springer, 2017 г. , стр. 601–613.
【18】 К.-К. Ван и Р. Земель, «Классификация наступательных игр НБА с использованием нейронных сетей», в Proc. MIT SLOAN Sports Analytics Conf, 2016.
[19] Т. Каутц, Б. Х. Грох, Дж. Ханнинк, У. Дженсен, Х. Струбберг и Б. М. Эскофир, «Распознавание активности в пляжном волейболе с использованием глубокой сверточной нейронной сети», Data Mining and Knowledge Discovery, стр. 1– 28, 2017.
[20] М.С. Ибрагим, С. Муралидхаран, З. Денг, А. Вахдат и Г. Мори, «Иерархическая глубокая временная модель для распознавания групповой активности», в материалах конференции IEEE по компьютерному зрению и распознаванию образов, 2016 г., стр. 1971–1980.
благодарныйЦай ФанфанОбзор этой статьи.