Введение к работе
Актуальность темы исследования
По оценкам ученых, к 2050 году 66% всего населения Земли будут жить в городах. По этой причине концепция «Умного города» (УГ) становится одной из основных областей исследований в развитых и развивающихся странах.
Анализ существующих систем УГ показывает, что на основе человеко-машинных интерфейсов, содержащих только одну модальность (например, графика, текст, голос), сложно построить интеллектуальную систему (ИС) УГ. Для разных пользователей системы разных профессий в разных ситуациях при разных условиях окружающей среды будут удобны интерфейсы, содержащие разные модальности. Одному и тому же пользователю, находящемуся в разных локациях (например, дом, общественный транспорт, общественное место), использующему разные устройства (смартфон, планшет, пользовательский компьютер (ПК)) или одно устройство, но с разными характеристиками (заряд батареи, скорость/стоимость передачи данных), будут предпочтительны разные интерфейсы. Также во многих ситуациях более удобным и эффективным будет использование не одной модальности, а комбинации модальностей. Например, для пользователя, находящегося за рулём в ночное время, будут удобны голосовая и графическая модальности, а для пользователя, которому необходимо получить информацию из системы, находясь при этом в условиях низкой скорости и высокой стоимости трафика - текстовая. Таким образом, существует потребность в разработке методов построения адаптивных мультимодальных интерфейсов человеко-машинного взаимодействия (АМИ) для информационной инфраструктуры (ИИ) УГ, основанных на контексте, ситуации, предпочтениях и ограничениях пользователя, статистике по пользователю.
Степень разработанности. На сегодняшний день мультимодальные интерфейсы человеко-машинного взаимодействия разрабатываются как часть систем Умного дома; систем анализа и синтеза речи; систем, взаимодействующих с пользователем посредством распознавания положения головы, жестов, мимики; систем для людей с ограниченными возможностями; различных роботизированных систем. Исследования в данной области ведутся компаниями Microsoft, Google, IBM, Amazon, а также ведущими университетами США, Европы, Японии и Китая. За рубежом исследования ведутся научными школами Ш. Овиат, Д. Лаланне, А. Эль Саддика, Б. Сингера, Е. Виделя, Р. Болта, П. Коэна. В России исследования ведутся научными школами А.А. Карпова, А.Л. Рожина, А.В. Смирнова, В.В. Девяткова, А.Н. Гусева.
Цели и задачи. Целью диссертационной работы является исследование и разработка метода и алгоритмов построения адаптивных мультимодальных интерфейсов человеко-машинного взаимодействия для повышения эргономических характеристик ИС УГ.
Для достижения поставленной цели необходимо было решить следующие задачи:
- обоснование требований к мультимодальным интерфейсам на основе
анализа предметной области;
исследование и разработка моделей пользователя, устройства и окружающей среды;
проектирование гибких мультимодальных интерфейсов человеко-машинного взаимодействия, предлагающихся пользователю в зависимости от контекста и ситуации;
разработка и исследование алгоритма адаптации и выбора подходящего АМИ;
разработка и исследование базы знаний для сервисов ИИ УГ;
проектирование архитектуры распределенной ИС АМИ;
имплементация метода построения АМИ для ИИ УГ в рамках заданной архитектуры;
экспериментальное исследование метода построения АМИ для ИИ УГ. Научная новизна диссертационного исследования заключается в
разработке нового метода построения АМИ для ИС УГ, позволяющего за счёт применения контекстно-ориентированных вычислений и предметно-ориентированной базы знаний для сервисов информационной инфраструктуры Умного города, предлагать пользователю наиболее подходящий ему интерфейс, состоящий из одной или нескольких модальностей, основываясь на доступных ресурсах, ситуации, в которой находится пользователь, контексте окружающем пользователя, предпочтениях и ограничениях пользователя, роли (профессии, например, водитель, дворник, диспетчер) пользователя, предыдущих выборах пользователя в таких же ситуации и контексте.
Теоретическая значимость работы состоит в том, что разработаны теоретические основы построения для АМИ для ИИ УГ на основе предметно-ориентированных баз знаний, тиражируемые для различных областей городского хозяйства в соответствии с принципами Умного города.
Практическая значимость работы состоит в том, что разработанный метод позволяет персонализировать интерфейс на основе предыдущих выборов пользователя с учётом доступных ресурсов, ситуации, контекста и роли пользователя. Разработанный метод применим для сервиса сбора твёрдых бытовых отходов (ТБО) в Умном городе, что подтверждается тем, что разработанный на основе предлагаемого метода АМИ а также разработанная в рамках диссертации база знаний внедрены и используется в рамках европейского проекта ЫоТоре (Building an ІоТ ОРеп innovation Ecosystem for connected smart objects) (ID проекта: 688203), посвященного разработке ИС сбора ТБО (Smart Waste Management).
Методология и методы исследования включают в себя использование теории множеств, логики предикатов первого порядка, в частности, методов онтологического инжиниринга, семантических технологий, а также методов планирования и обработки результатов эксперимента. Для имплементации метода применены методы инженерии программного обеспечения и технологии построения веб-сервисов.
На защиту выносятся:
метод построения адаптивных мультимодальных интерфейсов человеко-машинного взаимодействия для информационной инфраструктуры Умного города, состоящий из двух компонентов: механизма адаптации и выбора подходящего адаптивного мультимодального интерфейса человеко-машинного взаимодействия и базы знаний для сервисов информационной инфраструктуры Умного города;
архитектура распределенной ИС УГ, использующей АМИ.
Степень достоверности результатов исследования. Обоснованность и достоверность научных положений подтверждается строгостью постановки задач, корректностью использования математического аппарата, полнотой выполненных теоретических и практических исследований, а также результатами экспериментальных исследований. Положения получили положительную оценку на научных конгрессах, конференциях и семинарах, а также внедрены в практику.
Апробация результатов работы. Основные результаты работы докладывались на международных и всероссийских научных конференциях, и семинарах: XLIV научная и учебно-методическая конференция Университета ИТМО, 2015 г., СПб.; XVIII Объединенная научная конференция «Интернет и современное общество», 2015 г., СПб.; The 8th conference on Internet of Things and Smart Spaces ruSMART 2015, 2015 г., СПб.; V Всероссийский конгресс молодых ученых, 2016 г., СПб.; III Ежегодная Всероссийская научно-практическая конференция «Исследования и разработки - 2016», 2016 г., Мск.; The 10th conference on Internet of Things and Smart Spaces ruSMART 2017, 2017 г., СПб.; The 7th International Conference on the Internet of Things (IoT 2017), 2017 г., Линц, Австрия; The 11th conference on Internet of Things and Smart Spaces ruSMART 2018, 2018 г., СПб.
Публикации. Основные результаты по теме диссертации изложены в четырёх печатных изданиях [1-4] в сборниках докладов конференций, индексируемых в Scopus.
Личный вклад. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора. Вклад автора заключается в разработке метода выбора мультимодального интерфейса, его имплементации в части разработки веб-приложений, разработке модуля выбора подходящего мультимодального интерфейса, базы знаний, концептуальных архитектур обработки данных на базе онтологии, проведении тестов. Вклад С.Э. Хоружникова и А.Б. Заславского заключается в постановке задачи и руководстве процессом разработки описываемых методов и алгоритмов, вклад О. Л. Садова заключается в руководстве процессом разработки веб-приложений, руководстве произведением интеграции компонентов ИС на основе CMS Plone, разработке мобильных приложений, вклад П.В. Федченкова заключается в разработке алгоритма перестройки маршрутов для мобильных и веб-
приложений, вклад остальных соавторов заключается в участии в разработке ИС, частью которой являются описываемых в статьях база знаний, модуль АМИ и другие компоненты.
Работа была поддержана следующими грантами: результаты исследования апробировались в ходе работ по грантовому соглашению RFMEFI58716X0031 в рамках федеральной целевой программой Министерства образования и науки Российской Федерации.