Российские и индийские ученые создали ИИ-алгоритм для распознавания эмоций по сигналам мозга с точностью 99,99%
Исследователи университета «Иннополис», Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» и Джадавпурского университета разработали гибридную нейросетевую архитектуру, которая анализирует электроэнцефалограммы для определения стресса, радости и других эмоциональных состояний. Решение полезно при создании систем мониторинга психического здоровья и адаптивных интерфейсов человек—компьютер. Результаты экспериментов опубликовал научный журнал Scientific Reports, входящий в Nature Portfolio. Об этом CNews сообщили представители университета «Иннополис».
Новая модель была протестирована на трех общедоступных эталонных наборах данных ЭЭГ. Максимальную точность — 99,99% — модель показала на наборах данных, где нужно было определить спокойствие, стресс или радость и эмоциональные состояния в условиях стресса: в первом случае система совершила три ошибки из 27 130 образцов, во втором — всего одну ошибку из 78 328 вариантов. Наибольшее количество ошибок модель сделала на наборе, где требовалось выявить негативное, нейтральное и положительное настроения — 15 ошибок на 427 случаев — точность 96,49%.
Дмитрий Каплун, ведущий программист-математик Исследовательского центра в сфере ИИ университета «Иннополис»: «Мониторинг психического здоровья с помощью распознавания эмоций играет важную роль в разработке систем персонализированного здравоохранения и в ранней диагностике депрессии, тревожности и связанных со стрессом расстройств. Если существующие подходы к распознаванию эмоций по ЭЭГ с помощью искусственного интеллекта требуют ручного выбора и настройки признаков, плохо обобщаются на разные наборы данных и вычислительно сложны, то наша новая ИИ-архитектура снимает эти ограничения: позволяет получить результат быстрее, точнее и с меньшими вычислительными затратами».
Предложенная исследователями архитектура объединяет две параллельные ветви нейронной сети. Временная ветвь использует сеть долгой краткосрочной памяти, которая обрабатывает сырые сигналы электроэнцефалограмм и улавливает изменения, связанные с эмоциональными состояниями. А спектральная ветвь с помощью сверточной нейросети извлекает из ЭЭГ-сигналов признаки. Результаты обеих ветвей объединяются, а итог классифицируется с помощью компактной нейросети. Ученые также придумали ввести механизм кросс-модального улучшения, который позволяет двум этим ветвям обмениваться информацией и обогащать друг друга признаками, что делает прогноз эмоций точнее.
В сравнении с существующими моделями, решение исследователей на тех же наборах данных превзошло или сравнялось с известными результатами.
На наборе данных с негативными, нейтральными и положительными эмоциями лучший результат был 95,99% — новая модель показала 96,49% точность. На наборе данных с спокойным, стрессовым и радостным состояниями прежний лучший результат составлял 98,55%, а предложенная модель достигла точности в 99,99%. В дальнейшем ученые планируют адаптировать модель для онлайн-распознавания эмоций по потоковым данным ЭЭГ и интегрировать ИИ-архитектуру для использования с другими методами и данными психофизиологической диагностики: электрокардиограммами, фотоплетизмограммами и электродермальной активностью.