Google подтверждает, что Android XR обеспечивает сквозной доступ к камере: важный инструмент для разработчиков MR

Создатели игр смешанной реальности уже некоторое время с нетерпением ждут возможности использовать сквозные камеры в Quest. Марк Рабкин, бывший вице-президент Meta XR, упомянул, что эта функция станет доступна с появлением нового API сквозной камеры примерно в начале 2025 года. Теперь Google объявила, что Android XR предоставляет доступ к сквозным камерам, что позволяет разработчикам совершенствовать свои возможности смешанной реальности с самого начала.

По словам разработчика Энтони Витильо из Skarred Ghost, Google подтвердила, что создатели приложений Android XR могут запрашивать разрешение на использование обеих камер дополненной реальности (AR), включая камеру слежения за лицом. Примечательно, что эта камера слежения за лицом предлагает «видеопоток аватара», который, по-видимому, обеспечивает определенный уровень конфиденциальности или анонимности пользователя.

На устройствах Quest и Vision Pro сторонние разработчики не могут напрямую манипулировать или интерпретировать захваченные видеокадры для применения методов ИИ и машинного обучения, поскольку у них есть доступ только к пространственным данным и сквозному фону. Это ограничение затрудняет получение информации об окружающей среде пользователя. В настоящее время исключением являются корпоративные приложения, специально разработанные для устройств Vision Pro.

Как геймер, я в восторге от того, что разработчики приложений Android XR могут свободно использовать разнообразные API Google, такие как Camera2 и CameraX. Это означает, что мы можем выполнять анализ кадров в реальном времени, что меняет правила игры, поскольку позволяет нам напрямую направлять кадры в модель машинного обучения, помогая нам точнее понимать нашу игровую среду.

По наблюдениям Витильо, Android XR остается в стадии предварительного просмотра, и пока еще не было официального представления Samsung Project Moohan — долгожданного первого устройства с его поддержкой. В настоящее время мы можем только предполагать, какие функции будут включены, когда он в конечном итоге выйдет на публичный рынок, который предварительно запланирован для потребительского выпуска в конце этого года.

По сути, Google управляет доступом к камере на гарнитурах XR таким же образом, как он управляет разрешениями на смартфонах. Этот шаг приближает Android XR к более широкой экосистеме, которая не только включает совместимость приложений между XR и мобильными устройствами, но и обеспечивает эти необходимые запросы на согласие камеры.