ControllerPose: отслеживание тела с камер контроллера виртуальной реальности
Исследователи Карнеги-Меллона создали систему отслеживания тела с помощью камер в виртуальной реальности.
Потребительские системы виртуальной реальности сегодня отслеживают только положение вашей головы и рук. Ни одна система на рынке не поддерживает отслеживание туловища или конечностей, но некоторые энтузиасты виртуальной реальности на ПК прикрепляют трекеры HTC Vive Trackers к бедрам и ступням — вариант использования, поддерживаемый таким программным обеспечением, как VRChat и LIV. Поскольку каждый трекер Vive стоит 139 долларов, если у вас еще нет базовых станций SteamVR, общая дополнительная стоимость превысит 700 долларов. Существуют неофициальные решения для отслеживания тела, использующие старое оборудование с драйверами, созданными сообществом, например, для Microsoft Kinect, но они работают только с фронтальным углом, а качество отслеживания оставляет желать лучшего.
Дополнительные камеры на гарнитурах, направленные вниз на ваше тело, теоретически могут отслеживать конечности, но обзор ваших ног часто будет закрыт вашим туловищем или руками, особенно по мере того, как гарнитуры становятся тоньше. Такие компании, как Meta, могли бы в качестве альтернативы выпускать внешние беспроводные станции слежения с камерой, аккумулятором и мобильным чипсетом, работающим на алгоритмах компьютерного зрения, но разработчики не могли полагаться на то, что пользователи купят и настроят такой дорогостоящий аксессуар.
ControllerPose — это прототип решения, использующий две камеры типа «рыбий глаз», прикрепленные к каждому контроллеру виртуальной реальности и направленные на вас. Программное обеспечение объединяет изображение двух камер, чтобы получить еще более широкое поле зрения, чтобы увидеть как можно больше вашего тела. Исследователи сообщают, что их оценки позы точны с точностью до 8,59 см.
Для обработки камер исследователи испробовали два подхода: потоковая передача на ближайший компьютер и обработка на борту с помощью Raspberry Pi Compute Module 4 и Google Coral. . Использование ПК (или автономной гарнитуры) будет дешевле, но обработка данных на борту приведет к меньшей задержке.
В сентябре прошлого года появились скриншоты, на которых показаны грядущие контроллеры Project Cambria с тремя бортовые камеры для автономного отслеживания наизнанку. Эти камеры, кажется, не направлены на вас, но просочившееся обучающее видео действительно показывает отслеживание тела. Вполне возможно, что гарнитура Cambria или будущая гарнитура Meta смогут выполнять отслеживание тела, используя метод, аналогичный ControllerPose.
Недостаток ControllerPose, по словам исследователей, заключается в том, что 32% времени в виртуальной реальности” контроллеры не имеют хорошего обзора тела – они либо слишком близко, либо в стороне. Будущие системы, возможно, могли бы интегрировать камеры в контроллеры и камеры в гарнитуру, но кажется, что только внешнее решение может обеспечить полностью надежное отслеживание тела. Тем не менее, может ли такое решение работать в достаточном количестве сценариев, чтобы быть полезным для большинства людей?
