Робота научили согласовывать движения рта со словами без задержки, в реальном времени

В отличие от типичных систем с задержкой реакции, новая архитектура от Колумбийского университета обеспечивает роботу упреждающее поведение. Для этого используется пара нейронных сетей: первая прогнозирует мимику собеседника, а вторая в реальном времени генерирует соответствующее выражение «лица» андроида.

Традиционные роботизированные системы копируют мимику человека с задержкой, что выглядит неестественно. Новая технология решает эту проблему с помощью двух нейронных сетей: одна предсказывает будущее выражение лица человека, а другая мгновенно генерирует реакцию робота. Система обучалась на 970 видеороликах с 45 участниками.

Робот Emo, созданный на усовершенствованной платформе Eva, способен формировать мимику всего за 0,002 секунды, что быстрее человеческой реакции. Он оснащён 26 приводами для асимметричных выражений лица, а встроенные в глаза камеры позволяют считывать мимику собеседника.

Тестирование подтвердило точность: система верно предсказала активность мимики в 72,2% случаев. Особое достижение — способность синхронизировать движения губ с речью на 11 языках, включая фонетически отличные от английского.

Разработчики видят применение технологии в образовании, уходе за пожилыми и других областях, где важна эмоциональная связь, что является шагом к интеграции роботов в общество.