3.1. Случайный лес

Случайный лес — это управляемый MLA, который имеет два основных приложения: регрессию и классификацию. Случайный лес — это улучшенная версия деревьев решений, появившихся в 80-х годах. В случайном лесу деревья множественных решений строятся из одних и тех же обучающих данных. Впоследствии эти деревья усредняются для получения требуемого результата.Случайный лес был предложен для решения двух основных проблем классических деревьев решений: переполнения и высокой дисперсии [51]. Как и в деревьях решений, случайный лес использует метод обучения «мешков» для получения стабильных и точных результатов.

3.2. Машина опорных векторов (SVM)

Как и случайный лес, SVM — это управляемый MLA, который можно использовать для регрессии и классификации. Однако классификация SVM преобладала. В SVM точки данных отображаются виртуально в размерной области признаков, и запускается процесс поиска гиперплоскости, которая разделяет эти точки на мультиклассы.Этот процесс инициируется выбором ряда опорных векторов из собранных данных. SVM — это расширенная версия MLA с логистической регрессией, в которой можно получить мультиклассы.

3.3. Искусственная нейронная сеть (ИНС)

Подобно случайному лесу и SVM, ИНС представляет собой контролируемую MLA, которую можно использовать для регрессии и классификации. ИНС имеет много типов и классов. Самый простой и распространенный тип — это многоуровневые сети прямого распространения. В этом типе разное количество узлов используется в трех основных слоях: входных, выходных и скрытых.Этот тип является усовершенствованием логистической регрессии. SVM и ANN схожи во многих технических областях. Однако ИНС имеет фиксированное количество скрытых узлов в скрытых слоях и фиксированное количество узлов в первом слое, равное количеству функций плюс смещение. С другой стороны, SVM выбирает ряд данных из обучающих данных в качестве вектора поддержки. Это означает, что количество узлов в SVM не фиксировано. Более того, ИНС поддерживает несколько выходов, в отличие от SVM, которая поддерживает один выход.

4.Приложения для вывода скрытой информации

Далее будет рассмотрен обзор пяти основных применений данных, полученных с помощью сенсоров смартфонов. Точность извлеченной информации проверяется в разделе 4.2.

4.1. Применение датчиков смартфона

Некоторые из следующих приложений были рассмотрены в [22]. Каждое из этих приложений будет показано с примерами проведенных работ в данной области.

4.1.1. Keystroke Authentication

Keystroke Authentication (KA) — это набор методов и инструментов, которые аутентифицируют пользователя компьютера или смартфона через поведение пользователя.Были написаны тысячи исследовательских работ, чтобы показать, как различные особенности прикосновений могут различать пользователей. Одной из первых попыток изучения КА с помощью клавиатуры является [52]. Авторы попытались изучить КА статистически. 15 различным пользователям было предложено 11 раз ввести предложение из 43 символов. Были собраны и сравнены пять различных функций: продолжительность нажатия клавиш, относительная скорость нажатия клавиш, относительный порядок нажатия клавиш, клавиша Shift и ее классы. Длительность нажатия клавиш была изучена в первую очередь.Они заметили, что поведение одних и тех же пользователей при вводе одного и того же предложения 11 раз не изменилось; тем не менее, это зависит от разных пользователей. Однако наиболее эффективной функцией определения пользователей является скорость нажатия клавиш.

Эти попытки были выполнены на смартфоне. В [53] смартфон на базе Android был использован для сбора паттернов прикосновений 20 пользователей. Были собраны три основных столбца данных: действия (нажатие вниз и нажатие вверх) и расположение экрана.21 различная характеристика была извлечена из этих собранных столбцов. Были оценены два классификатора машинного обучения: ИНС и предлагаемый оптимизированный PSO-RBFN. По результатам было замечено, что нормальная ИНС достигла точности более 93%. В [54] сравнивались семь алгоритмов машинного обучения для KA. Была использована строка, состоящая из 664 символов. Были записаны три разных столбца данных: символ, продолжительность удержания клавиши и системное время. Впоследствии на основе этих данных были построены признаки с использованием техники -рограмм.Построены 4-, 3- и 2-граммовые элементы. Результаты показывают, что более высокие -граммы дают лучшие результаты и меньше ошибок. Наконец, в [55] авторы предложили KA для смартфонов, основанную на четырех различных характеристиках: время удержания, промежуточное время, расстояние (между двумя разными нажатыми символами (в пикселях)) и скорость. Более того, они выбрали эти функции после изучения и разделения функций КА на три основных класса. Первая категория — это способ, которым пользователи вводят сообщение на сенсорном экране, где данные были собраны для извлечения функций.В этом стиле проводились разные работы [55–57]. Сравнивались разные алгоритмы машинного обучения. Полученные результаты обнадеживают. Во второй категории используются датчики движения с сенсорным экраном, как в [58]. Последняя категория — жестовая, как в [59, 60]. Стоит отметить, что о популярности КА в смартфонах написано множество обзоров [61–63]. Более того, в [61] показана популярность исследований КА и публикации статей.

Помимо смартфонов, в последние годы большую популярность приобрели умные часы KA.В [64] авторы использовали датчики движения умных часов с функциями временной области для аутентификации пользователей. Алгоритм KNN был применен к 20 пользователям. Сообщается о точности, превышающей 80%. В [65] была предложена система непрерывной аутентификации пользователей в реальном времени, использующая умные часы и алгоритм нейронной сети. В [66] была предложена система для использования KA для разблокировки умных часов на основе шаблонов взмахов рук. Другие примеры рассмотрены в [64]. Другая работа с акселерометром была проведена в [67] для аутентификации между устройствами при подключении гарнитур и смарт-часов к смартфонам.

Методы КА можно резюмировать в три этапа. Во-первых, из пользовательского ввода извлекается множество функций, таких как скорость набора текста, время задержки между разными символами во время нажатия и использование мультитач [68, 69]. Впоследствии эти функции нормализуются и преобразуются в матрицу входных функций и выходных результатов. Наконец, эти данные вводятся в алгоритм машинного обучения, такой как искусственная нейронная сеть (ИНС), машина опорных векторов (SVM) или логистическая регрессия (LR), для обучения.Модель вывода может использоваться для процесса аутентификации [55, 70]. Все использованные методы следовали одной и той же процедуре с разными функциями или разными алгоритмами.

Эти системы показали высокую точность аутентификации пользователей. Однако, поскольку точность не является 100%, она может не подтвердить подлинность реального пользователя смартфона. Чтобы преодолеть эту проблему, эти системы используются в качестве второй системы аутентификации и повторной аутентификации [57] или систем непрерывной аутентификации [71, 72].В этом методе имя пользователя и пароль по-прежнему используются для аутентификации; однако для непрерывной аутентификации пользователя во время сеансов телефон отслеживает поведение пользователя при касании и касании.

4.1.2. Личные качества

Прогнозирование личных качеств на основе использования смартфонов было рассмотрено за последнее десятилетие. Проведенные работы начались с опросов и анкет, которые владельцы смартфонов заполняли, чтобы лучше понять их психологические особенности. В [73] были изучены пять различных черт, названных большой пятеркой.Эти характеристики — покладистость, сознательность, экстраверсия, невротизм и открытость. Логистическая регрессия и линейная регрессия были использованы для анализа результатов анкетирования. Телефонные звонки, текстовые сообщения, просмотр веб-страниц и игры изучались с учетом возраста, пола и пола. Авторы заявляют о положительном отношении к дружелюбию и телефонным звонкам, но отрицательное отношение к коротким сообщениям. Об этой связи также сообщалось в [74], что означает «меньше согласия, больше использования телефона.Кроме того, они сообщили, что больше игр означает меньше удовольствия [75].

Другие личные качества были проведены для оценки взаимодействия между пожилыми людьми и смартфонами [76]. Анкеты и образцы использования смартфона были записаны для трех приложений для смартфонов. Они попытались изучить связь между возрастом и моделями касания экрана. Результаты могут быть использованы для улучшения разработки приложений или прогнозирования возраста пользователей. В [77] было проведено сравнение более 13 классификаторов ML, чтобы отличить детей от взрослых с помощью прикосновения к клавиатуре.С точностью более 92% у системы есть потенциал в будущем.

Еще один интересный пример, характеризующий состояние пользователей смартфонов через сенсорный экран, — это снижение мелкой моторики у пользователей смартфонов в холодную погоду, когда температура их пальцев падает [78, 79]. Это условие можно использовать для изучения местоположения пользователей, их состояния здоровья или других проблем. В [80] авторы получили точность более 90% гендерной классификации. Однако в [81] они сообщили о точности всего 61%.Несмотря на то, что количество датчиков, используемых в [81], превышает количество в [80], выбранный алгоритм и функции ML были оптимизированы.

Другим примером в этой категории является работа, проведенная в [82], в которой данные игрового поведения пользователей сенсорных экранов были собраны и использованы для прогнозирования игроков, которые играют. Этот метод зафиксировал точность 80%. Более того, предлагаемое приложение Falcon использует поведение пользователей для сокращения времени запуска приложений [83].

Другая интересная работа была проведена в [84], где авторы попытались определить настроение пользователей смартфонов, используя данные, полученные с датчиков.Настроение пользователей не считается личным. однако в будущем люди могут быть персонализированы по своему настроению.

Другими личными чертами, которые были получены со смартфонов, являются физические черты, такие как пол, вес, рост, возраст, раса и даже размер обуви. Эти характеристики были оценены с помощью различных датчиков смартфонов. Прогнозирование этих характеристик с помощью датчиков смартфона называется мягкой биометрией. В [85] представлен обзор огромного количества мягкой биометрии и ее приложений.Более того, в [86] показаны проблемы и возможности в этой области. Стоит отметить, что в этой области преобладают функции датчика акселерометра. Тем не менее, датчик отпечатков пальцев, используемый в смартфоне, также использовался для классификации по полу и возрасту [87–89]. Таблица 3 суммирует некоторые из интересных и ранних работ, проведенных в этой области. Следует отметить, что на личные качества, оцениваемые с помощью сенсоров смартфонов, влияет одежда и обувь [90, 91].

4.1.3. Отпечаток устройства

Отпечаток устройства определяется как метод обнаружения и различения различных интеллектуальных устройств, даже если они были произведены одной и той же компанией в один и тот же день в одном и том же месте. Исследователи обнаружили, что электронные датчики, разработанные и реализованные в интеллектуальных устройствах, имеют определенные шумные выходы, которые можно использовать как отпечатки пальцев этих устройств. В таблице 4 приведены некоторые из проведенных работ по распознаванию интеллектуальных устройств по отпечаткам пальцев.

4.1.4. Статус пользователя

Статус пользователя делится на две категории: активность и локализация в помещении. Обзор этих двух категорий представлен ниже.

(1) Действия пользователей . Это массивный зонтик, охватывающий множественные действия. Тем не менее, эти действия можно разделить на три основных класса: простые, сложные и полезные. Простые действия могут быть определены одним действием, например, ходьба, подъем по лестнице, спуск по лестнице, прилегание и сон. Сложные действия сочетают в себе различные действия, которые происходят одновременно, например, вождение автомобиля, катание на велосипеде или переодевание.Наконец, здоровая деятельность — это комплексная деятельность, сочетающая в себе множество действий, влияющих на здоровье пользователей, например, упражнения и падение. В этих приложениях преобладают датчики движения. У них более высокая точность, чем у других датчиков. Однако какова мотивация определения статуса пользователей? Чтобы ответить на этот вопрос, будет показано несколько примеров обнаружения активности.

В [92] авторы утверждали, что извлечение действий пользователей из данных акселерометра и гироскопа предсказывает поведение водителя автомобиля.Они классифицировали водителей на агрессивных и нормальных водителей. Алгоритм DTW был реализован с функциями временной области. Авторы сообщили, что данные гироскопа повышают точность данных акселерометра при прогнозировании поведения водителей. В [93] авторы также использовали акселерометр и гироскоп для обнаружения пьяных водителей. Авторы предложили и разработали приложение, которое определяет, пьян ли водитель, предупреждает водителя и вызывает полицию. Статистический алгоритм был развернут в реальном времени.

В [94] авторы попытались классифицировать способы передвижения (ходьба, езда на велосипеде, автомобиль, автобус и поезд), используя данные GPS и акселерометра в реальном времени. Они попытались максимально уменьшить вектор признаков, чтобы уменьшить вычислительную мощность. KNN и случайный лес сравнивались с целью классификации. Для процесса сокращения признаков использовались анализ главных компонентов (PCA) и рекурсивное исключение признаков (RFE). Сообщается о точности более 96% на основе случайного классификатора лесов.Данные, представленные в этой работе, могут быть использованы для составления статистического отчета о способах передвижения в городах. Однако для проводимых работ необходимы данные GPS. Этот датчик требует разрешения пользователей для работы и сбора данных. Обнаружение физической активности — еще одно приложение для прогнозирования статуса пользователей. В этом классе смартфоны используются для классификации физических нагрузок, таких как ходьба, езда на велосипеде или сон. В [95] авторы использовали показания акселерометра и гироскопа с алгоритмом SVM для классификации физических нагрузок.Были классифицированы шесть различных видов деятельности. Из этих датчиков было извлечено 17 различных характеристик во временной и частотной областях. Авторы сообщили о точности более 95% при ходьбе, 79% при спуске по лестнице, 72% при подъеме по лестнице, 92% при стоянии, 94% при сидении и 100% при лежании. В [96] авторы сравнили ИНС с глубоким обучением с несколькими алгоритмами, основанными на одних и тех же датчиках движения. Они сообщили, что ANN с глубоким обучением превышает точность 95% по сравнению с другими алгоритмами.Тем не менее, они сообщили, что SVM имеет более высокую точность для стационарных действий. В [97] авторы попытались измерить производительность 6 различных позиций смартфонов с пользователями. Алгоритмы SVM, KNN и случайного леса с функциями времени, частоты и вейвлета используются для сравнения эффективности и точности действий различных пользователей в зависимости от положения смартфона. В [98, 99] использовалось обнаружение физической активности на основе датчика магнитометра, чтобы уменьшить шум датчика акселерометра, особенно при нахождении смартфона в различных областях тела.В [97] было собрано более 27 тысяч выборок данных от десяти разных субъектов. Характеристики вейвлета, частоты и временной области были извлечены из датчиков движения. Были использованы мультиалгоритмы, такие как случайный лес, SVM и KNN. Извлеченные результаты показывают высокую точность прогноза ежедневной активности. В [100] Actitracker было предложено использовать собранные данные с датчиков движения для обнаружения физической активности пользователей в качестве приложения для мониторинга состояния здоровья. Характеристики временной и частотной области были собраны и переданы в случайный классификатор леса.Приложение Actitracker позволяет пользователям определять пороговые значения своих повседневных действий для их измерения. В [101] оценивалось приложение для отслеживания активности для смартфонов Happito. Исследование показывает, что пользователи обращаются к приложению в среднем в течение 5 секунд только для проверки своего статуса, и их не интересуют свои исторические журналы. Это показывает, что эти данные следует удалять ежедневно в целях безопасности.

В области мониторинга здоровья с помощью датчиков движения выявляются различные заболевания, такие как болезнь Паркинсона, эпилепсия и инсульты [102, 103].В этой области преобладали приложения для обнаружения падений. В [104] авторы использовали четыре различных алгоритма классификации: наивный байесовский алгоритм, дерево решений J48, дерево решений случайного леса и SVM для обнаружения падения. Были зарегистрированы четыре типа падений: вперед с использованием рук, вперед с использованием колен, вбок и назад. Авторы утверждают, что точность превышает 99% для всех временных и частотных характеристик. В других работах использовались другие алгоритмы машинного обучения для обнаружения падений с учетом времени, частоты и вейвлетов [105, 106].Наконец, было написано приложение, использующее данные датчика движения для обнаружения падений и сигнализации [107].

В этой области используются умные часы. В [108] авторы использовали умные часы для распознавания шести различных видов деятельности с использованием пяти различных ГНД. Зарегистрирована точность обнаружения нетрезвых людей с точностью более 90%. В [109] было предложено шесть различных действий с тремя разными алгоритмами, использующими функции временной области. Сообщается о 90% точности алгоритма J48.Интересным детектором физических действий является приложение для подсчета шагов. В этом приложении классификатор сначала обнаруживает шаги; впоследствии он пытается подсчитать эти шаги [110]. Это приложение можно использовать в качестве первого шага в процессе локализации в помещении.

(2) Локализация в помещении . GPS доминирует в системе наружной локализации. Приемник GPS встроен во все новые интеллектуальные устройства. Однако внутренняя среда — это область без GPS. Это сделало его горячей темой для исследований в последние несколько лет, особенно в процессе локализации в метро, ​​небоскребах и торговых центрах.Локализация внутри помещений в основном делится на два класса: локализация Wi-Fi и определение точного счета пешехода (PDR). Первый класс отличается высокой точностью. Однако для этого требуется установка сетевой инфраструктуры и точек доступа. В [111] датчики смартфонов и сигнал Wi-Fi были использованы для построения точной системы локализации в помещении с частотой ошибок около 1,1 м. Алгоритм KNN был принят из-за его простоты. Чтобы исключить установку точки доступа и инфраструктуры, предлагается PDR.В [112] данные гироскопа и акселерометра были записаны для локализации в помещении. В [113] авторы предложили приложение для точной локализации и отслеживания в помещении на основе магнитометра и камеры. Для сравнения изображений написана модель нейронной сети. В этом исследовании утверждается три разных факта. Во-первых, магнитные показания датчиков различаются в зависимости от их расположения в здании. Во-вторых, чтение не зависит от времени. Наконец, магнитное считывание наполовину невосприимчиво к фоновому шуму.Другие исследования показали, что магнитометры, наряду с акселерометрами, могут использоваться для создания систем слежения с очень высокой точностью, которые могут эффективно работать в помещениях и иметь низкое энергопотребление, в отличие от GPS [114] в приложениях PDR. Другие исследователи показали метод создания внутренних карт зданий с помощью магнитометров и акселерометров [115]. Другой вид локализации в помещении — это высотная локализация. В этой области доминировал датчик барометра. Барометр может создавать модели определения местоположения телефона и, следовательно, пользователя телефона внутри зданий со 100% точностью [116].Телефонные барометры также использовались для определения уровня пола пользователя с высокой точностью [40]. Другие исследования показали, что местоположение пользователя можно оценить и отследить с приличной точностью только с помощью телефонного барометра [117]. Хотя акселерометры также могут использоваться в методах определения местоположения в помещении, барометры оказались более точными, особенно когда телефон отвлекается другими действиями, такими как игры или телефонный звонок [116]. Другое исследование продемонстрировало точные показания высоты телефона, в первую очередь, с помощью гироскопа телефона вместе с акселерометром [118].

4.1.5. Приложения для здравоохранения

Интеллектуальные устройства в приложениях для здравоохранения получили распространение за последнее десятилетие. Эти приложения подразделяются на три основных области: мониторинг состояния здоровья в реальном времени, отслеживание активности и обнаружение проблем со здоровьем и заболеваний. В приложениях для мониторинга здоровья интеллектуальные устройства могут использоваться для мониторинга различных аспектов и частей человеческого тела в активном или пассивном режимах. В активном режиме пользователь отвечает за выполнение определенной операции с использованием интеллектуального устройства для считывания внутренних органических сигналов.Например, в приложении Cardiio [119, 120] камера смартфона была адаптирована для измерения сердцебиения путем определения изменений цвета кожи во время циркуляции крови по телу. В приложениях для бесконтактного мониторинга здоровья преобладают акустические сигналы. Микрофоны и динамики получили широкое распространение. В [121] было предложено приложение для смартфона, использующее микрофон и динамик для отслеживания сердцебиения. В [19] было предложено приложение для мониторинга качества сна на основе акустических сигналов.Еще одно приложение для мониторинга здоровья — это мониторинг процесса реабилитации после травм. В [122] данные гироскопа и акселерометра были записаны дома для отслеживания прогресса реабилитации после тотального артропластики коленного сустава.

В литературе широко распространены интеллектуальные устройства и их сенсорные приложения для отслеживания состояния здоровья. В [123] было разработано приложение для смартфонов для отслеживания и предотвращения инсультов.

В обнаружении болезней интеллектуальные устройства продемонстрировали огромный потенциал.В разных приложениях используются разные датчики интеллектуальных устройств. В [124] камера смартфона использовалась для тестирования гемоглобина крови на анемию. Зарегистрирована точность от 76% до 85%. Другой пример применения контактной или активной камеры тестирования был предложен в [125] для проверки поражения кожи на предмет различных бактериальных заболеваний, таких как язва Бурули. В [126] были записаны все данные датчиков смартфонов для мониторинга психического здоровья и выявления депрессии, стресса и одиночества.Другой пример обнаружения заболеваний с помощью приложения для смартфонов — это обнаружение влияния кожных заболеваний на процесс идентификации по отпечатку пальца. Было обнаружено, что некоторые симптомы кожных заболеваний могут влиять на цвет кожи или структуру сосочковых гребней, что может влиять на сканеры отпечатков пальцев [127, 128]. Более того, исследования показали, что существует корреляция между образцами отпечатков пальцев и диабетом. Кан и др. обнаружили, что диабет был связан со средней разницей в количестве дерматоглифических гребней между большим пальцем и мизинцем с учетом поправок на пол и возраст [129].Другие также показали, что завитки, петли и дуги отпечатков пальцев у пациентов с диабетом значительно отличаются от пациентов без диабета [130, 131]. Хотя образцы отпечатков пальцев связаны только с диагностикой генетических заболеваний [132], это все еще поднимает вопрос о том, смогут ли мобильные телефоны, оснащенные сканерами отпечатков пальцев, выполнять такие задачи, как прогнозирование развития диабета или обнаружение определенных типов. кожных заболеваний у пользователей.

4.2. Точность извлеченной информации

Как упоминалось в предыдущем разделе, многие полезные приложения были предложены и разработаны на основе процесса обучения различных наборов данных.Процесс обучения, а также тестирование и проверка этих приложений проводились в контролируемой среде. Более того, собранные данные фильтруются перед использованием в MLA. Эти проблемы вызвали вопросы о точности разработанных приложений в реальной жизни и вне контролируемой среды [133].

Другая выявленная проблема — это количество функций, которые были извлечены и использованы в различных приложениях. Как упоминалось в предыдущем разделе, одни и те же функции использовались снова и снова для получения разных выводов.Те же функции использовались как для личных качеств, так и для личной деятельности. Если одни и те же характеристики раскрывают всю информацию, как личные качества не повлияют на извлеченные действия? Например, в [134] авторы показывают, как зашумленные данные в приложениях для работы с большими данными на смартфонах могут привести к неверным выводам. Авторы исследовали точность приложения для подсчета шагов в смартфонах Apple и Android. Они выявили большой диапазон ошибок в этих приложениях на обеих платформах. В [135] было проведено исследование качества работы приложений для здоровья на смартфонах.Полученные результаты выявили различные вопросы пользователей относительно достоверности, точности и конфиденциальности информации. Это показывает, что точность — одна из проблем пользователей. В [136] авторы сравнили классификацию приложений для смартфонов по личной повседневной деятельности двух разных групп: первой группы из 20 молодых людей и второй группы из 37 пожилых людей. Они обучили классификатор на основе данных, собранных из первой группы, и протестировали модуль во второй группе. Тот же эксперимент был повторен с другим модулем, обученным на данных второй группы и протестированным на первой группе.Они сообщили о сильном влиянии на точность в обоих сценариях. Это означает, что в эти исследования следует добавлять личные черты в качестве характеристик или собирать массивные наборы данных из разных стран для всех возрастов. В [137] авторы провели эксперимент по распознаванию походки с использованием гироскопа и акселерометра для умных часов, используя данные за один и тот же день и в разные дни для процесса тестирования и проверки. Они сообщили об увеличении количества ошибок в распознавании походки при использовании данных в разные дни.

Третья проблема — размер набора данных. Если эти приложения будут использоваться в разных странах и от людей разного возраста, как следует собирать набор данных и какого размера он должен быть? В [138] авторы провели эксперимент с данными, собранными у более чем 700 тысяч человек из 111 стран, для изучения ситуации с ожирением в странах. В других исследованиях участвовало только 10-50 человек [134, 135].

Вопрос точности приложений для смарт-устройств, использующих MLA, требует различных процедур тестирования и проверки в реальной жизни.

5. Проблемы, связанные с выводом скрытой информации

Как упоминалось выше, было предложено множество полезных приложений, использующих скрытую информацию с открытым доступом датчиков. Однако использование этих данных позволяет выявить множество проблем. В следующих разделах представлены атаки на безопасность и вопросы конфиденциальности. Кроме того, будут выявлены и другие реальные проблемы физической безопасности.

5.1. Атаки по побочным каналам

Атаки по побочным каналам определяются как любые компьютерные атаки, которые могут быть реализованы с использованием собранных данных из системы законными способами, а не ошибок в развернутых алгоритмах [139].Эти атаки делятся на девять основных категорий. Четыре из этих категорий были реализованы в смартфонах, как показано в Таблице 5.

Идея атаки по побочному каналу возникла давно. В этой области появилось много методов и алгоритмов. Один из старейших методов — электромагнитное излучение, предложенный в 1980-х годах. В этом методе исследователи обнаружили, что электронные компоненты излучают электромагнитные волны при переключении между различными состояниями. Этот метод использовался в различных атаках.В [140, 141] авторы попытались вывести компьютерные пароли с помощью электромагнитных волн нажатия клавиш. Авторы утверждали, что нажатие клавиши будет излучать электромагнитные волны, которые могут определить нажатую клавишу. Были оценены различные сценарии, такие как спад и нарастание. В [142] авторы попытались изучить уникальную звуковую обратную связь при нажатии клавиш для определения нажатых клавиш. Более того, авторы попытались изучить расстояние от клавиатуры, чтобы распознать эти звуки обратной связи.Они обнаружили, что этот метод можно использовать с помощью грубой силы, не вызывая никаких предупреждений.

Атаки по побочным каналам переместились на смартфоны за счет использования их датчиков. Некоторые данные датчиков получить труднее по сравнению с другими. Например, данные GPS требуют разрешения пользователей смартфонов, чтобы начать процесс сбора урожая. Однако для других датчиков разрешения не требуются. Например, W3C опубликовал спецификацию событий DeviceOrientation, которая позволяет JavaScript на веб-сайтах получать доступ к данным акселерометра и гироскопа в Android и IOS без разрешения пользователя [143].Одна из первых работ, которые были проведены для выявления угроз атак на сенсорные данные и защиты от сенсорных атак, содержится в [144]. Было проведено множество работ, чтобы показать, что все типы атак по побочным каналам жизнеспособны в смартфонах. Например, использование энергии в качестве атаки по побочному каналу было использовано в [145]. В смартфонах Android есть два файла с открытым доступом, которые отслеживают потребление энергии (/ sys / class / power supply / battery / Voltage now и / sys / class / power supply / battery / current now). Любой процесс или приложение могут получить доступ к этим файлам без разрешения.Авторы использовали эти файлы для отслеживания смартфонов и различения маршрутов. Были показаны два сценария для различения маршрутов, отслеживания в реальном времени и определения новых маршрутов. Были задействованы два алгоритма машинного обучения. Авторы показали, что потребление энергии смартфоном одинаково для одного и того же маршрута, даже если используются два разных смартфона. Предлагаемый метод не требует ни идентификаторов сот, ни SSID точек доступа, как в [146–148]. Все эти методы отслеживают смартфоны и определяют маршруты на основе атак по побочным каналам.Другой пример использования энергии в качестве побочной атаки был показан в [149]. В этой работе использовались те же два файла мониторинга мощности. Было показано четыре различных атаки: идентификация приложения, вывод пользовательского интерфейса, определение длины пароля и геолокация. Они показали, как статистический метод используется для получения точных результатов во всех этих ситуациях. В [150] авторы показали, как трассы питания могут использоваться для различения различных криптографических алгоритмов в Android-смартфонах.

Другой пример атак по побочному каналу — атаки движением. В [151] авторы предложили PinMe, алгоритм, который может отслеживать пользователей по всему миру. Использованы датчики часового пояса, IP-адреса, акселерометра, гироскопа и барометра. PinMe может отслеживать пользователей при выполнении различных действий, таких как ходьба, вождение автомобиля, нахождение в поезде и даже в самолете. В [152] авторы предложили метод, который использует акселерометр и гироскоп для поиска маршрутов в городе, по которому въезжает пользователь.Предложен алгоритм поиска, основанный на карте в виде графа. Метод был протестирован в 30 городах с точностью более 50%, чтобы найти список из десяти возможных маршрутов.

Другой пример атак по побочным каналам — это атаки по времени. В [153] авторы показали еще один файл с открытым доступом на платформе Android, который называется (/ proc / interrupts). Этот файл отслеживает все запросы аппаратных прерываний в системе. Используя этот файл, авторы успешно вывели шаблоны блокировки, выделенные пользовательские интерфейсы и идентифицированные приложения.

В [154] авторы показали, как общедоступные файлы контроля и мониторинга с нулевым доступом с открытым доступом используются для различных атак. Например, файл (/ proc / uid-stat /), который показывает статистику использования сети приложениями, может быть показан для вывода установленных приложений и наиболее популярных приложений, которые используют пользователи. Было показано, что случай позволяет сделать вывод о состоянии здоровья пользователя путем вывода страниц статей о заболеваниях, которые пользователи читают в приложении WebMD. Кроме того, авторы показали, как файл (/ proc / net / arp) может использоваться для определения местоположения пользователей.

В [155] была предложена легкая атака по побочному каналу на основе данных, собранных с датчика внешней освещенности. Автор показал, что сила света, регистрируемая этим датчиком, изменяется при изменении положения касания пальца на сенсорном экране. Этот процесс использовался для предсказания PIN-кода, вводимого с помощью касания сенсорного экрана смартфона. Автор показал высокую точность определения ПИН-кодов. Однако для повышения точности следует использовать другие методы.

Другая интересная атака по побочным каналам предложена в [156].Авторы утверждали, что количество людей в месте можно подсчитать, используя микрофон и неконтролируемую ВПП. Ошибка 1,5 была зафиксирована при разных уровнях шума фона.

Наконец, новая интересная акустическая атака по боковым каналам была показана в [157]. В этом методе авторы утверждали, что любые записанные голосовые или видеофайлы по всему миру имеют отпечаток местоположения. Этот отпечаток поступает из сигналов частоты электрической сети (ENF), которые могут быть обнаружены в записанных файлах.Загрузив сотни видеороликов с YouTube из разных стран и городов, а затем извлекая информацию ENF из этих видеороликов, новые записанные звуковые или видеофайлы можно сравнить с загруженными файлами, чтобы найти похожие ENF. Авторы заявили о точности более 70% для аудиофайлов продолжительностью более 5 минут. Другая акустическая боковая атака была показана в [158].

В таблице 5 представлена ​​сводка атак по побочным каналам, реализованных на смартфонах.

5.2. Конфиденциальность

Конфиденциальность определяется как состояние отсутствия общественного внимания.Другими словами, любой хранит свою жизнь в тайне, не сообщая другим подробностей своей жизни. В настоящее время Интернет и социальные сети позволяют подписчикам делиться своими фотографиями, комментариями, местоположениями и статусами. Тем не менее, конфиденциальность была рассмотрена в новом методе, при котором люди или подписчики могут контролировать, чем они делятся и с кем делиться. Это настроило определение конфиденциальности для управления контентом и вниманием людей. В эпоху больших данных MLA позволили разработчикам интерпретировать массивные данные по-разному, отличные от интеллектуальных устройств [159, 160].Это увеличивает нагрузку на разработку алгоритмов и типа собираемых данных. В [8] автор показал, что одна из самых больших проблем конфиденциальности в IoE заключается в том, что пользователи имеют ограниченный контроль над тем, какие данные следует совместно использовать и распространять. В правах человека упоминается, что люди имеют право хранить личные вещи в секрете [161]. Однако, как упоминалось ранее, большие данные могут помешать этому праву, выкапывая секретную информацию из свободно доступных бессмысленных данных.

Основная проблема конфиденциальности при интеллектуальном анализе данных заключается в том, что она неявная.Пользователи не знают, какую информацию можно обнаружить с помощью их собственных датчиков. В анкетах, проведенных в [162], авторы попытались измерить конфиденциальность пользователей смарт-устройств. В исследовании сравнивался уровень конфиденциальности пользователей компьютеров и пользователей смартфонов. В анкете было написано девять различных вопросов по категориям. Исследование авторов показало, что 68% подписчиков смартфонов не вводят свой PIN-код в смартфонах из соображений конфиденциальности и безопасности.Более того, что касается отчетов о состоянии здоровья, 38% людей не хотят открывать такие отчеты со своих смартфонов. Девять человек сказали: «Чем больше у вас проблем со здоровьем, тем более частными они становятся и чем более частными они становятся, тем меньше вероятность, что я сделаю это по мобильному телефону». Наконец, что касается служб определения местоположения, большинство людей, которые боятся использовать такой комментарий службы, что они боятся ограбления. Этот опрос показывает, что подписчики смарт-устройств обеспокоены своей конфиденциальностью.Однако что они могут сделать, чтобы защитить свою конфиденциальность от интеллектуального анализа данных?

В [163] авторы показали, что конфиденциальность интеллектуальных устройств сложна, поскольку она состоит из различных уровней оборудования, операционной системы и приложений. Поверх этого многоуровневого стека добавляется еще один уровень процесса интеллектуального анализа данных датчиков. Это показывает, как конфиденциальность интеллектуальных устройств в эпоху IoE требует нового устройства, чтобы улучшить ее без какого-либо влияния на удобство использования устройств.

5.3. Сценарии угроз безопасности

В этом разделе будут показаны некоторые реальные атаки интеллектуальных устройств.Эти атаки иногда можно отнести к категории атак по побочным каналам. Однако в этих атаках используются некоторые физические явления с использованием интеллектуальных устройств. Например, в [158] авторы используют уровни частотной чувствительности микрофона для модуляции команды, которая не слышна для человека. Команду можно получить с микрофона смартфона, интерпретировать и запустить последовательность действий с помощью службы голосового помощника, например Siri. Команда записывается и модулируется сигналом с частотой выше 20 кГц.Авторы заявили об успехе с очень высокой точностью. В [164] авторы использовали акселерометр и гироскоп в умных часах для обнаружения комбинаций механических замков. Другими словами, всякий раз, когда пользователи умных часов открывают сейф, код может быть обнаружен любым приложением, собирающим данные акселерометра и гироскопа. Эта атака может быть представлена ​​как атака по побочному каналу; однако собранные данные были использованы для взлома реального оборудования. Вот почему мы думаем, что он принадлежит к этой категории.Можно использовать многие другие угрозы безопасности. Другой пример был предложен в [165] для вывода информации о производственной плоскости и машинах, использующих магнитометр и микрофон. Авторам удалось выделить станки с ЧПУ, 3D-принтеры, их виды и виды. Далее мы показываем три различных возможных сценария, которые могут быть реализованы в будущем.

Первый сценарий — кража со взломом. В этом сценарии грабителю необходимы три части информации для успешного ограбления дома: активность владельцев, местоположение и количество людей в доме.В [19, 20] авторы показали, как режим сна пользователей смартфонов может быть записан с использованием света сенсорного экрана, состояния зарядки аккумулятора и подключения кабеля к зарядному устройству. Эти особенности могут быть использованы для изучения деятельности домовладельца в сочетании с акселерометром и гироскопом [160]. Вторая часть информации — это местоположение в доме. В ходе локализации в помещении мы обнаружили, что можно найти пользователя в закрытом помещении, используя только акселерометр и гироскоп.Для подсчета людей в доме можно использовать данные микрофона, как в [156].

Второй сценарий — это отслеживание местоположения, как в [166]. Если поведение пользователей сенсорных экранов было собрано и записано из различных приложений для смартфонов в течение длительного периода времени. Эти данные могут быть косвенно использованы для отслеживания и поиска пользователя. Даже если пользователь сменил смартфон и создал новые учетные записи электронной почты и новые имена и пароли, приложения и компании могут отслеживать пользователей, чтобы показать сходство между любыми новыми пользователями и существующими пользователями.Другими словами, в этом цифровом мире никто не будет снова начинать с нуля. Более того, если ваши прикосновения собираются в течение длительного времени, тепловые карты могут быть созданы для визуализации этих данных перед анализом. Впоследствии эти данные можно использовать для прогнозирования учетных данных пользователей, таких как имена пользователей и пароли для различных приложений. Другими словами, можно написать новую эру программного обеспечения для регистрации ключей.

Третий сценарий — атаки на основе личных черт характера. Предположим, что это вирус, который взламывает только умные устройства женщин или детей.Такие вирусы могут распространяться по разным устройствам; однако это работает только в зависимости от поведения пользователей. Более того, приложение запускается / закрывается в зависимости от настроения пользователей.

Это откроет дверь для новых атак на поведение / личные черты.

Это несколько примеров тысяч угроз и сценариев безопасности, которые могут быть реализованы и предложены. Эти сценарии — открытое поле для инноваций.

5.4. Как и где начать копать скрытую информацию

С распространением смартфонов, планшетов, смарт-телевизоров и умных часов стало быстро развиваться инструменты и методы разработки приложений для них.Было предложено, разработано и коммерциализировано множество методов и инструментов [167]. Тем не менее, эти инструменты относятся к одному из трех классов: программируемые инструменты, инструменты кодирования с нулевой строкой и гибридные инструменты. Инструменты программирования определяются как интегрированные среды разработки (IDE), которые требуют навыков хотя бы одного языка программирования для программирования достойного приложения. Android studio [168], требующий глубоких навыков программирования на XML и Java, является официальной IDE для разработки приложений для Android. DroidEdit [169] — еще один пример из этой категории, который также требует навыков языка программирования Java.Третий пример — Cordova, для которого требуются навыки работы с языками веб-интерфейса, такими как CSS, HTML и JavaScript. Как уже упоминалось, эта категория инструментов требует глубоких знаний в области компьютерных наук и языков программирования для разработки приложений. В этом случае будет легче отследить и отследить код до его разработчиков [170]. Более того, хакерам-любителям или взломщикам сложно писать приложения для сбора данных датчиков пользователей, обновления их на сервере и минимального использования приложений.Однако такой стиль программирования может снизить удобство использования интеллектуальных устройств. В [171] авторы попытались использовать студию Android, чтобы написать приложение для сбора данных датчиков пользователей и загрузки их на сервер. Авторы попытались показать законность и этичность использования таких данных.

Была предложена еще одна группа инструментов: инструменты кодирования нулевой строки [172]. В этой категории приложение используется для преобразования веб-приложений и веб-страниц в приложения для смарт-устройств. Любое онлайн-приложение или сайт можно преобразовать в приложение, не написав ни одной строчки кода.Этот инструмент опасен, поскольку к некоторым датчикам интеллектуальных устройств можно получить доступ из JavaScript без каких-либо разрешений [143], как упоминалось в Разделе 5.1. Однако разработчикам приложений сначала необходимо преобразовать веб-приложение. Это также требует глубоких навыков.

Третий и самый сложный инструмент разработки приложений для смарт-устройств — гибридный [173]. В этом инструменте простой логический поток приложения требуется для разработки сложного кода. Навыки программирования не требуются. Однако требуется написание алгоритма.Одним из наиболее популярных примеров этого инструмента является MIT App Inventor (MAI) [174], который определяется как стиль программирования, управляемый событиями. MAI позволяет программистам получить все функции любой сложной IDE без каких-либо навыков программирования. Любой датчик можно забрать. Данными можно легко обмениваться с помощью Wi-Fi, мобильной сети, Bluetooth и NFC [175]. Бесплатная учетная запись Google — единственное требование, чтобы начать писать любое сложное приложение. Эта среда использовалась в приложении для мониторинга умного дома [176], приложении для фитнеса [177], приложении для мониторинга состояния здоровья [178] и конструкции умной лампы, использующей датчики смартфона [179].

Категория гибридных инструментов показывает, что атаки по побочным каналам легко реализовать. Чтобы начать реализацию приложений, на экране 9 показаны необходимые шаги. Во-первых, требуются дампы данных со смарт-устройств. Эти дампы, как показано, доступны в Интернете. Любой из этих дампов можно скачать. Во-вторых, должен быть реализован процесс извлечения признаков. Как уже упоминалось, из данных могут быть извлечены характеристики данных во временной, частотной и вейвлетной областях, а также в строках. Наконец, требуется механизм машинного обучения, такой как R, Python или MATLAB, для сравнения различных MLA, чтобы выбрать точный и простой.Иногда принятие самого простого в реализации преобладало над точным. Наконец, математическая модель готова к развертыванию.