В России создали ПО для управления роботами с помощью жестов

Специалисты Донского государственного технического университета (ДГТУ) совместно с коллегами из МГТУ «Станкин» разработали отечественное программное обеспечение, которое позволяет управлять роботом жестами. Об этом сообщили в пресс-службе Минобрнауки РФ.

Разработка объединяет данные обычной камеры и датчика глубины. Первая фиксирует изображение, второй измеряет расстояние до объектов. Вместе они компенсируют недостатки друг друга — например, при плохом освещении или потере глубины. Это обеспечивает более точное и надёжное распознавание действий. На основе полученных данных учёные создали дескриптор — вектор признаков, который достаточно полно описывает движение оператора.

Систему разрабатывали на базе алгоритмов компьютерного зрения и нейросетевых технологий. Программа получает данные с камеры и сенсора глубины, распознаёт жестовые команды оператора и передаёт их на контроллер робота. В контроллере заранее прописано, какому жесту соответствует то или иное действие манипулятора. Всего программа обучена распознавать десять жестовых команд.

В Минобрнауки отметили, что теперь отечественные промышленные манипуляторы смогут понимать оператора так же, как зарубежные аналоги, но без использования импортных решений. Работа выполнена в рамках гранта Российского научного фонда.