Разработчики квестов теперь могут публиковать приложения, использующие камеры гарнитуры для сканирования окружающего мира.

Ранее гарнитура Quest от Meta в основном зависела от камер для отслеживания гарнитуры, контроллеров и окружения пользователя. Однако разработчики не имели прямого доступа к этим камерам. Ранее в этом году Meta предоставила разработчикам экспериментальный доступ к камерам гарнитуры для частных проектов; теперь, начиная с этой недели, разработчики могут публично выпускать приложения, использующие эту новую возможность.

Недавнее обновление API камеры PassThrough Camera для квеста позволяет разработчикам создавать и публиковать приложения в магазине Horizon, которые могут использовать фронтальные камеры устройств Quest 3 и 3S. Это расширение позволяет сторонним приложениям анализировать окружающую среду пользователя, возможности открытия, такие как выявление объектов или людей на сцене, или создание карты окружающей среды для дальнейшего изучения и взаимодействия.

Как преданный поклонник, я жаждал того дня, когда мог полностью использовать возможности аппаратного обеспечения мета -гарнитуры. Удивительно, но функции компьютерного вида, которые обычно доступны для разработчиков на смартфонах, уже давно остаются необычными на устройствах Meta. Похоже, что Meta была осторожна с расширением этой привилегии, возможно, из -за проблем с конфиденциальностью (несомненно, усугубляется последними спорами компании по конфиденциальности).

Ранее сторонние приложения могут собрать некоторые подробности о окружающей среде пользователя, таких как макет комнаты и положение объектов внутри него, но эти данные были доставлены таким образом, чтобы приложения не имели прямого доступа к тому, что камеры захватывали. Эта настройка позволила разработчикам создавать приложения смешанной реальности с некоторым пониманием пространства, окружающего пользователя. Тем не менее, это создало проблемы или даже невозможность для определенных случаев использования; Например, точно после объекта, удерживаемого пользователем.

В этом году Meta открыла прямой доступ к камерам гарнитуры, функцию, которую они первоначально анонсировали в прошлом году. В марте они начали предоставлять эту экспериментальную функциональность разработчикам, чтобы они могли создавать приложения, которые используют камеры гарнитуры. Тем не менее, эти приложения не могут быть разделены публично до сих пор.

Компания четко обрисовала в общих чертах технологические функции и ожидаемую производительность камер, доступных для разработчиков для использования, как на Quest 3, так и для Quest 3S.

• Задержка захвата изображения: 40-60 мс
• накладные расходы на графический процесс: ~ 1-2% за потоковую камеру
• накладные расходы на память: ~ 45MB
• Скорость передачи данных: 30 Гц
• максимальное разрешение: 1280 × 960
• Внутренний формат данных yuv420

Meta разъясняет, что обработка данных разработчика данных камеры в квесте следует политике использования данных разработчика. Эта политика содержит раздел под названием «Ограниченное использование пользовательских данных», в котором описываются запрещенные использование, такие как использование данных для выполнения, поддержки или инструментов поставки для действий наблюдения и индивидуально идентифицировать устройство или пользователя, за исключением случаев, явно разрешенных в рамках политики.