Meta открывает доступ к камере Quest для разработчиков, обещая еще более захватывающие MR-игры

Мета наконец выпустила долгожданный API камеры сквозного просмотра для Quest, предоставляя разработчикам прямой доступ к RGB-камерам гарнитуры для более глубокого понимания сцены и открывая путь следующему поколению иммерсивных смешанных реальностей на Quest.

До сих пор разработчики были ограничены в том, что они могли сделать с пропускными камерами Quest, выходящими за рамки встроенных функций Meta. Тем не менее, в Connect в сентябре компания намекнула, что в конечном итоге она сделает свой проходной API камеры доступным, но не указала точную дату выпуска.

Теперь в Meta XR Core SDK V74 Meta имеет API выпуска PassThrough Camera API в качестве общедоступного экспериментального API, обеспечивая доступ к камерам Quest 3 и Quest 3S 3S.

Доступ к камере, по сути, поможет разработчикам улучшить освещение и эффекты в своих приложениях для смешанной реальности, но также применить машинное обучение и компьютерное видение в подаче камеры для таких вещей, как подробное распознавание объектов, что делает контент смешанной реальности меньше в игре догадков того, что находится в среде пользователя.

Когда это было объявлено в прошлом году, бывший вице-президент Meta VR/AR Mark Rabkin сказал, что выпуск API Quest пропустит «все виды передовых опытов MR», включая такие вещи, как отслеживаемые предметы, приложения для искусственного интеллекта, «причудливые» наложения, понимание сцены.

Это дебют, когда API открыт для публики, хотя Meta представила предварительные версии с избранными партнерами, такими как Niantic Labs, существо и игры в разрешении в прошлом. Эти компании представляют в GDC 2025 в разговоре под названием «Слияние реалий, умножна удивляться: советы экспертов по развитию смешанной реальности».

В настоящее время разработчики не могут публиковать приложения, построенные с помощью API камеры PassThrough, поскольку в настоящее время они представлены в качестве экспериментальной функции. Тем не менее, ожидается, что Meta применяет итеративный подход при выпуске всей функции этой функции.

Выпуск V74 также включает в себя микрогестры для интуитивно понятных жестов на основе большого пальца (например, Thumb Taps, Swipes), иммерсивный отладчик, чтобы разработчики могли просматривать и осматривать иерархию сцены непосредственно в гарнитуре, и новые строительные блоки, такие как друзья Friends Matchmaking и локальное составление.