Исследователи представили новаторскую технологию, способную распознавать человеческие эмоции в режиме реального времени, обещающую революционные применения в портативных устройствах и цифровых услугах. Результаты исследования опубликованы в научном журнале Nature Communications.
Система, известная как персонализированный лицевой интерфейс, интегрированный в кожу (PSiFI), объединяет вербальные и невербальные сигналы посредством растягивающегося датчика с автономным питанием, эффективно обрабатывая данные для беспроводной связи.
Этот прорыв, поддерживаемый машинным обучением, точно определяет эмоции даже в условиях ношения маски и был применен в сценарии «цифрового консьержа» виртуальной реальности, демонстрируя его потенциал для персонализации пользовательского опыта в интеллектуальных средах. Данная разработка является значительным шагом на пути к улучшению взаимодействия человека и машины за счет интеграции сложных эмоциональных данных.
Инновационная технология, которая может распознавать человеческие эмоции в режиме реального времени, была разработана профессором Джиюном Кимом (Jiyun Kim) и его исследовательской группой на факультете материаловедения и инженерии UNIST.
Эта инновационная технология способна произвести революцию в различных отраслях, включая носимые системы следующего поколения, предоставляющие услуги, основанные на эмоциях.
Понимание и точное извлечение эмоциональной информации уже давно является проблемой из-за абстрактной и неоднозначной природы человеческих аффектов, таких как эмоции, настроения и чувства.
Чтобы решить эту проблему, исследовательская группа разработала мультимодальную систему распознавания человеческих эмоций, которая объединяет данные вербальных и невербальных выражений для эффективного использования комплексной эмоциональной информации.
В основе этой системы лежит персонализированный лицевой интерфейс, интегрированный в кожу (PSiFI), который является автономным, простым, растягиваемым и прозрачным. Он оснащен первым в своем роде двунаправленным трибоэлектрическим датчиком деформации и вибрации, который позволяет одновременно воспринимать и интегрировать данные вербальной и невербальной экспрессии.
Система полностью интегрирована со схемой обработки данных для беспроводной передачи данных, что позволяет распознавать эмоции в реальном времени.
Используя алгоритмы машинного обучения, разработанная технология демонстрирует точные задачи распознавания человеческих эмоций в режиме реального времени, даже когда люди носят маски. Система также успешно применяется в приложении цифрового консьержа в среде виртуальной реальности (VR).
Технология основана на явлении «зарядки трением», когда при трении объекты разделяются на положительные и отрицательные заряды. Примечательно, что система является самогенерирующейся и не требует внешнего источника питания или сложных измерительных устройств для распознавания данных.
Профессор Ким прокомментировал: «На основе этих технологий мы разработали систему интегрированного с кожей лица интерфейса (PSiFI), которую можно настроить для отдельных людей». Команда ученых использовала технику полуотверждения для изготовления прозрачного проводника для фрикционных зарядных электродов. Кроме того, с помощью техники съемки под разными углами была создана персонализированная маска, сочетающая в себе гибкость, эластичность и прозрачность.
Исследовательская группа успешно интегрировала обнаружение деформации лицевых мышц и вибраций голосовых связок, что позволило распознавать эмоции в режиме реального времени. Возможности системы были продемонстрированы в приложении виртуальной реальности «цифровой консьерж», где предоставлялись кастомизированные услуги, основанные на эмоциях пользователей.
Джин Пё Ли (Jin Pyo Lee), автор исследования, заявил: «С помощью этой разработанной системы можно реализовать распознавание эмоций в реальном времени, выполнив всего несколько шагов обучения и без сложного измерительного оборудования. Это открывает в будущем возможности для портативных устройств распознавания эмоций и цифровых платформ следующего поколения, основанных на эмоциях».
Ученые провели эксперименты по распознаванию эмоций в реальном времени, собирая мультимодальные данные, такие как деформация лицевых мышц и голос. Система продемонстрировала высокую точность распознавания эмоций при минимальном обучении. Ее беспроводная и настраиваемая природа обеспечивает удобство ношения.
Кроме того, команда ученых применила систему к средам виртуальной реальности, используя ее в качестве «цифрового консьержа» для различных условий, включая «умные дома», частные кинотеатры и «умные офисы». Способность системы распознавать отдельные эмоции в различных ситуациях позволяет предоставлять персональные рекомендации по музыке, фильмам и книгам.
Профессор Ким подчеркнул: «Для эффективного взаимодействия между людьми и машинами устройства человеко-машинного интерфейса (HMI) должны быть способны собирать разнообразные типы данных и обрабатывать сложную интегрированную информацию. Это исследование иллюстрирует потенциал использования эмоций, которые представляют собой сложные формы человеческой информации, в носимых системах следующего поколения».
