Учeныe нaучили вeб-кaмeры в режиме реального времени создавать 3D-модели движущейся руки. Об этом сообщается на страницах портала Phys.

Захват движений рук и пальцев в миллисекундах становится все более важным для многих приложений: от виртуальной реальности до взаимодействия между человеком и машиной и Industry 4.0. До сих пор его огромные технические требования ограничивали возможности применения. Ученые-компьютерщики Института информатики им. Макса Планка разработали программную систему, включающую взаимодействие различных нейронных сетей, для которой требуется только встроенная камера ноутбука. Продемонстрируют свою технологию специалисты уже вскоре, в рамках конференции в Ганновере, открывшей свои двери 11 июня.

Когда человек держит руку перед камерой для ноутбука, на экране появляется виртуальная копия. Это в итоге накладывается на красочный виртуальный скелет руки. Независимо от того, какие движения рука делает перед веб-камерой, цветные кости модели обеспечивают то же самое. Пока что никакая другая программа не может сделать это с такой недорогой камерой.

Алгоритм, используемый системой, преобразует двумерную информацию видеоизображения в реальном времени в трехмерную модель движения костей руки. Он основан на так называемой “сверточной нейронной сети”. Исследователи обучили его обнаружению костей руки. Они создали необходимые учебные данные с другой нейронной сетью. Результат: программное обеспечение вычисляет точные трехмерные позы костей руки за миллисекунды. Даже если некоторые из них закрыты, например, яблоком, удерживаемым в руке пользователя, программное обеспечение это компенсирует. Тем не менее, система все еще испытывает трудности с обработкой нескольких рук, работающих вместе, и решение этой задачи является следующей целью исследователей.

Читайте также:

Hisense HLTE310M засветился на бенчмарке TENAA

Источник: АН

Читайте наши новости в Facebook