Arkit apple как установить: #Видео: Подборка приложений ARKit | AppleInsider.ru

Особенности разработки AR-приложений на iOS — Разработка на vc.ru

557
просмотров

Друзья, всем привет! Не так давно мы говорили о том, с чего вообще начинать разработку AR-приложений новичку, коротко прошлись по характеристикам Android и iOS в качестве платформ для разработки приложений в дополненной реальности, а также обсудили преимущества и недостатки каждой.

Сегодня мы продолжаем эту тему, а именно: углубимся в разработку дополненной реальности на платформе iOS. Почему мы решили разобрать эту тему? Ответ простой: по нашему мнению, разработки Apple всегда клиентоориентированы, и, если на первый взгляд, разработка на этой платформе сложнее, мы уверены в том, что работа приложения не была бы такой стабильной без этих сложностей.

ARKit и RealityKit — что это?

Важно отметить, что разработка приложений происходит не столько на iOS, сколько на специальной платформе — ARKit. Набор инструментов платформы позволяет распознавать габариты окружающего пространства и учитывает характер освещения, чтобы максимально точно вписать AR-контент в реальную жизнь. Кроме этого, на платформе можно работать совместно — это помогает командам разработчиков вносить коллективные решения, а также дает возможность подключить к разработке клиента в режиме зрителя: заказчик может посмотреть, как идет работа и внести свои рекомендации и замечания в режиме реального времени.

Apple также добавила возможность автоматического сохранения прогресса: работа над проектом останется на том этапе, на каком ее закончили. Это экономит время, разработчику не нужно переживать о том, что все придется начинать заново.

Конечно, Apple позаботились и об WebAR: было выпущено специальное расширение Quick Look, которое позволяет просматривать AR-контент вне приложений: эта технология использует 3D-модели в особом формате — он позволяет объединять несколько объектов, например, изображение, текст и 3D-модель в единый файл. Формат файла представляет собой незашифрованный ZIP-файл, который можно создать с помощью инструментов платформе на языке Phyton. Файл открывается через браузер Safari, а также через почту, заметки или сообщения. Всего за 1 клик пользователь получает доступ к AR-контенту, и задействовать отдельное приложение в этом случае нет необходимости.

Если дать общую оценку, то компания Apple всеми усилиями расширяет возможности платформы ARKit, чтобы сделать дополненную реальность максимально доступной и удобной для использования. Объекты дополненной реальности калибруются под реальную среду, приобретая черты осязаемого объекта — накладывание теней и бликов от расположенных рядом реальных предметов дает эффект смешения реального и виртуального миров.

На первый взгляд кажется, что разработка в ARKit очень проста. И, тем не менее, важно отметить, что платформа никак не отвечает за загрузку и рендеринг загружаемых 3D-моделей. Ранее эти две функции выполнял SceneKit, но на данный момент он уже не справляется с требованиями нынешних AR-приложений.

Apple выпустила RealityKit, и именно о нем мы сейчас поговорим. Этот фреймворк позволяет реализовывать высокопроизводительные трехмерные симуляции и их физическую визуализацию для плавной интеграции виртуальных объектов в реальный мир. Он отлично интегрируется для Swift и Metal, кроме этого, есть ряд других преимуществ, благодаря которым данный фреймворк “вытеснил” своего предшественника.

Преимущества RealityKit

Конечно, у фреймворка есть и свои недостатки, вроде отсутствия системы частиц, неспособности создавать модели из вершин и других нюансов, но его развитие также не стоит на месте, и Apple делает все, чтобы дать пользователю максимум возможностей.

ARKit тесно взаимосвязан с RealityKit, так как модуль значительно упрощает опыт дополненной реальности, беря на себя тяжелую работу по сети, например, поддержание согласованного состояния, оптимизацию трафика, обработку потерь пакетов или передачу прав собственности.

В дальнейшем мы расскажем, как ARKit реализует себя в бизнесе, но уже в следующей статье вас ждут особенности разработки на Android, и почему многие начинают путь разработчика AR-приложений именно с этой платформы.

Команда Black VR активно разрабатывает готовые AR-решения для пользователей iOS, а также выполняет индивидуальные проекты по разработке дополненной реальности в приложении и вебе. Посмотреть кейсы наших AR-решений можно здесь.

Присоединяйтесь к нам в Telegram-канале студии Black VR: мы публикуем самые свежие новости индустрии, делимся успехами команды и проводим анонсы вебинаров и прямых эфиров!

справка, история, презентация, полезные материалы • Голографика

На этой неделе Apple сделала дополненную реальность важной частью операционной системы iOS. Её инструментарий для разработчиков ARKit обладает потенциалом по превращению сотен миллионов iPad и iPhone в основные устройства дополненной реальности в мире. Сразу несколько разработчиков поторопились представить свои ранние эксперименты с новым движком дополненной реальности.

Apple сумела объединить высокое качество трекинга и абсолютную массовость. Если вы любите красивые выражения о революциях в ИТ-секторе, то это редкий случай, когда они к месту.

Справка

Фреймворк ARKit использует визуальную инерциальную одометрию (ВИО) для отслеживания поверхностей, объектов и положения в окружающем мире. Через ВИО мобильное устройство сравнивает и объединяет данные камеры с информацией фреймворка Core Motion от акселерометра, гироскопа, шагомера и контекстуальных событий. Никакой дополнительной внешней калибровки не требуется.

С помощью ARKit iPhone и iPad могут анализировать сцену, представленную камерой, и находить вокруг горизонтальные плоскости, распознавая столы и полы, а также отслеживать и размещать объекты на них и относительно них. В основе фреймворка лежит SLAM-трекинг. ARKit также использует датчик камеры для оценки общего количества света, доступного в сцене, и корректирует освещение для виртуальных объектов.

На данный момент ARKit работает на процессорах Apple A9(X) и A10(X) и операционной системе iOS 11. Движок совместим с Xcode 9, Metal, SceneKit и сторонними инструментами Unity и Unreal Engine.

Презентация

История

Революция происходит только для широких масс, которым внезапно откроется дивный новый мир, и разработчиков, которым откроется новая аудитория. С точки зрения самих технологий, это годы вдумчивой эволюции и затратные поглощения других компаний, таких как Metaio, FlyBy Media и PrimeSense.

ARKit стал результатом примерно двух лет целенаправленной разработки. Ещё в 2015 году Apple создала команду по стратегическому планированию и разработке дополненной реальности под руководством бывшего директора по передовым технологиям Dolby Майка Роквелла (Mike Rockwell). Его фирма до этого отметилась инвестициями в Meta. В команду Роквелла вошли бывший директор Meta по разработке программного обеспечения Дункан Макробертс (Duncan McRoberts), бывший ведущий инженер проекта Amazon Lumberyard Коди Уайт (Cody White), дизайнер Apple Watch Флетчер Роткопф (Fletcher Rothkopf), бывший научный сотрудник Oculus Юрий Петров, а также разработчик Microsoft Hololens и Google Earth Ави Бар-Зив (Avi Bar-Zeev) и создатель аудиостандарта THX Томлинсон Хольман (Tomlinson Holman).

До релиза ARKit издание Bloomberg отмечало, что над дополненной реальностью в той или иной мере работали сотни инженеров Apple, в том числе участники команды iPhone, которые занимались использованием мобильных камер для 3D-сканирования и наложения цифровых объектов.

ARKit выпущен в процессе подготовки релиза iOS 11 и нового iPhone. Это значит, что в следующем поколении смартфона Apple сделает большую ставку на дополненную реальность. Важнейшей частью плана должна стать «безрамочность» устройства. Остальные производители так и не нашли ей практическое применение, оставив только эстетику. Но Apple уберёт рамки, чтобы они не мешали смотреть в новую реальность — дополненную. В ней исчезающий из поля зрения телефон является не целью, а настоящим окном для доступа к информации.

Полезно

После презентации движка Apple опубликовала ряд материалов и ссылок, которые будут полезны разработчикам:

• Вся документация ARKit на сайте Apple Developer
• Слайды с презентации ARKit (PDF)
• Демо-приложение ARKit: размещение объектов в дополненной реальности
• Официальный форум

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!

Далее: Apple выпустила первый Mac для виртуальной реальности

13-шаговое руководство по настройке Apple ARKit для начала разработки мобильных приложений дополненной реальности

Последнее обновление:

Разработка дополненной и виртуальной реальности может быть сложной задачей, но настройка устройства в режим разработчика не обязательно должна быть сложной. Если ваша цель — начать разработку дополненной реальности для устройств iOS, вам следует прочитать наше руководство по настройке для разработчиков.

Но сначала, что такое ARKit?

ARKit — это платформа SDK для разработки приложений дополненной реальности в движках 3D-игр, таких как Unreal или Unity. Поскольку SDK является продуктом Apple, ARKit — это платформа, которую вы собираетесь использовать для разработки на устройствах iOS, таких как iPhone и iPad.

ARKit использует камеры и датчики вашего смартфона (или планшета) Apple для сканирования и захвата мира в направлении датчиков. Фреймворк позволяет вам использовать множество функций, таких как отслеживание лиц, привязки местоположения, геометрия сцены, обнаружение плоскости и окклюзия людей. Если у вас есть устройство, оснащенное LiDAR (модели iPhone и iPad 12 Pro на момент написания статьи), вы также можете захватывать сканер LiDAR для размещения без паузы элементов AR (которые могут быть 2D или 3D-объектами) в реальном мире без сканирования. .

Платформа бесплатна для всех. В этом руководстве мы включим ARKit для Unity.

Если у вас есть устройство Android, следуйте инструкциям для ARCore. Чтобы узнать больше о пакетах AR SDK, включая Vuforia и AR Foundation, ознакомьтесь с Ultimate AR Comparison Guide.

Я думаю, вы согласитесь, что настройка ARKit может быть сложной, когда вы только начинаете с ней работать, у нас самих были некоторые проблемы, поэтому мы решили создать краткое руководство по настройке ARKit. Конечно, если вы хотите получить более глубокое представление об ARKit и программировании с помощью Unity, ознакомьтесь с нашими курсами, доступными как для начинающих, так и для экспертов, чтобы получить более подробную информацию!

В этом посте мы сначала немного поговорим об ARKit, а затем Усман поделится 13-шаговым видеоруководством по настройке для разработки на Unity.

И, для технарей, у нас есть все технические шаги внизу поста.

Давайте начнем и настроим конфигурацию Apple ARKit Unity!

Перейти к техническим шагам

Учебное пособие по ARKit

Итак, прежде чем углубляться в это руководство, нам нужно решить несколько вопросов. Во-первых: что такое ARKit? И второе: зачем вам тоже нужно использовать Unity? Ну, это на самом деле довольно просто.

ARKit — это инструмент Apple для разработки приложений дополненной реальности. Даже если вы не знаете, что такое дополненная реальность (или AR), если вы когда-либо использовали Snapchat, вы знаете, что он делает. AR — это то, что происходит, когда вы подносите свою мобильную камеру к чему-то, и ваш телефон генерирует запрограммированный ответ — или усиление — какого-то рода. Как солнцезащитные очки. Или зомби. Или миллион Rattatas, когда вам действительно не нужна еще одна Rattata.

ARKit позволяет вам фактически создавать возможности дополненной реальности для поддерживаемых устройств Apple. Пока что совместимость ограничена новейшими моделями iPhone и iPad: iPhone 6s, 6s Plus, iPhone 7, 7 Plus, iPhone 8, 8 Plus, iPhone X, iPad (2017) и iPad Pro. Но это все еще тонна устройств. Из-за огромного рынка Apple ARKit является крупнейшей платформой дополненной реальности в мире. Разработчики стекаются в ARKit, чтобы воспользоваться преимуществами огромной пользовательской базы Apple, включая сотни миллионов людей, которые регулярно используют iOS 11. Это ваша возможность выйти на рынок дополненной реальности и воплотить в жизнь свою потрясающую идею. Но чтобы на самом деле использовать ARKit для сборки, вам нужно соединить его с программным обеспечением для разработки, таким как 9.0035 SceneKit , Swift или Unity .

Не секрет, что мы фанаты Unity . По нашему скромному, но хорошо информированному мнению, это лучший универсальный вариант разработки. Он мощный, поддерживается огромным сообществом разработчиков и бесплатный . Поэтому, если вы собираетесь использовать ARKit, чтобы воспользоваться собственными возможностями дополненной реальности Apple, мы рекомендуем использовать его с Unity. Давайте настроим вас.

Загрузите нашу 10-недельную программу курса «Разработка дополненной реальности с помощью Unity»

Прежде чем мы погрузимся в Unity…

Нам нужно пройти несколько шагов, прежде чем мы сможем открыть Unity и фактически начать создавать наш проект. Одним из наиболее важных предварительных условий является наличие доступа к компьютеру Mac, а также к устройству Apple.

Шаг 1 : Если у вас его еще нет, вам необходимо создать Apple ID. Вы можете сделать это здесь .

Шаг 2 : Теперь вам нужно получить инструмент разработчика Apple Xcode, который позволяет ARKit выполнять свою работу. Вам нужна версия 9или выше. Загрузите его из Mac App Store , если его еще нет на вашем компьютере.

Шаг 3 : Запустите программу установки Unity, убедившись, что по очевидным причинам в параметрах установки выбрана «Поддержка сборки iOS».

Шаг 4 : Откройте устройство Apple (телефон или iPad) и включите режим разработчика. Проблемы с этим? На этом этапе вам также необходимо убедиться, что на вашем устройстве установлено последнее обновление iOS 11 или выше.

Давайте начнем этот проект!

Шаг 5 : Откройте Unity. Наконец-то мы здесь. Создайте новый проект и перейдите в магазин активов, где вы сможете найти плагин Unity ARKit. Выберите его, затем загрузите и импортируйте в свой проект.

Шаг 6 : Перейдите в меню «Правка» и выберите «Настройки проекта» > «Редактор» > узел «Устройство (инспектор)». Когда окно откроется, оставьте свои параметры открытыми, выбрав «Любое устройство iOS».

Настройки сборки Unity

Теперь мы собираемся настроить несколько параметров в настройках сборки. Вы можете найти параметры сборки в меню «Файл» вверху.

Шаг 8 : Первое изменение, которое мы хотим сделать, это переключить платформу на iOS. Итак, шаг за шагом, Файл> Настройки сборки> выберите iOS. Также отметьте «Development Build» в этом окне и отметьте «ARKitScene» в разделе «сцены» параметров сборки.

Шаг 9 : Вернитесь в Файл > Настройки сборки, потому что мы собираемся настроить некоторые параметры в нашем инспекторе проигрывателя. Поэтому нажмите «Настройки проигрывателя», затем «Другие настройки (Инспектор)». Здесь вам нужно будет ввести уникальный «Идентификатор пакета». Убедитесь, что вы сопоставляете его с названием вашей компании и продукта. Дважды проверьте, что описание использования камеры не является пустым, а затем установите целевую минимальную версию iOS на 11.0.

Шаг 10 : Вернитесь в настройки сборки и нажмите «Сборка и запуск». Не паникуйте! Xcode запустится с ошибкой сборки. Это именно то, чего мы хотим.

В Xcode

Шаг 11 : В левом верхнем углу нажмите Buildtime, затем выберите папку Unity-iPhone и найдите раздел «Подписание» в средней панели. Нажмите «Команда», чтобы открыть раскрывающееся меню, и выберите свою учетную запись разработчика Apple. Если у вас нет такой опции, добавьте ее.

Шаг 12 : В разделе «Развертывание» выберите свое устройство Apple (iPhone или iPad). Перейдите в меню «Продукт» и нажмите «Создать». После завершения сборки вернитесь в меню «Продукт» и нажмите «Выполнить».

На вашем iPhone или iPad

Шаг 13 : Возможно, ваше приложение не будет развернуто сразу. Это нормально! Перейдите в меню настроек вашего устройства, затем выберите «Основные» > «Профили» > «Управление устройством» > «Разработка». Оказавшись там, выберите вариант «доверять своему компьютеру/приложению». Вуаля!

Технические шаги

Предварительные условия:

1. Создайте Apple ID, перейдите на developer.apple.com и зарегистрируйте свою учетную запись в качестве разработчика.
2. Загрузите последнюю версию Xcode (версия 9.0 или выше).
3. Убедитесь, что при установке Unity3D включена поддержка сборки iOS. В противном случае снова запустите установщик и отметьте только «Поддержка сборки iOS», а затем «Установить».
4. Включите режим разработчика на своем устройстве Apple и убедитесь, что оно обновлено до программного обеспечения iOS 11 или более поздней версии.
   1. Откройте приложение «Настройки» на мобильном устройстве.
   2. Запустите Xcode на своем компьютере и подключите устройство. Затем вы должны увидеть значок молотка с надписью «Разработчик» в приложении настроек. Коснитесь значка молотка, и на вашем устройстве будет включен режим разработчика.

Редактор Unity:

1. Создайте новый проект и перейдите в хранилище ресурсов в Unity. Загрузите и импортируйте «Плагин Unity ARKit».
2. Выберите «Правка» > «Настройки проекта» > «Редактор» > «Устройство» (инспектор) и выберите «Любое устройство iOS»
3. Перейдите в файл > Настройки сборки >
   1. Выберите iOS для переключения платформы.
   2. Проверить сборку разработки
   3. Проверить «ARKitScene» в сценах в разделе сборки
4. Перейдите в «Файл» > «Настройки сборки» > «Настройки проигрывателя» > «Другие настройки» (Инспектор) >
   1. Введите уникальный «Идентификатор пакета», сопоставьте это с названием компании и продукта
   2. Использование камеры Assure Описание не пустое
   3. Установите «Целевая минимальная версия iOS» на 11. 0
5. Перейдите в меню «Файл» > «Настройки сборки» > нажмите «Сборка и запуск». » и посмотрите раздел «Подписание» на средней панели, щелкните раскрывающийся список «Команда», чтобы выбрать свою учетную запись разработчика Apple. Если нет, добавьте учетную запись. В разделе развертывания выберите свое устройство Apple iPhone/iPad.
6. Выберите Продукт > Сборка. После завершения сборки перейдите в «Продукт» > «Выполнить 9».0128

iPhone/iPad:

1. Если ваше приложение не будет развернуто сразу, перейдите в настройки устройства > Общие > Профили и управление устройствами > Разработка и выберите «Доверять своему компьютеру/приложению»

Вы хотите создать AR для Android?

Вы ищете руководство по разработке для Android с помощью ARCore или инструкции по использованию Vuforia с Unity? Вот некоторые другие руководства по установке:

• Создание AR с Vuforia (+ Unity)
• Создание дополненной реальности с помощью ARCore (+ Unity)

Загрузить разработку XR с помощью программы Unity

ARKit 6 — дополненная реальность

Смотрите «Откройте для себя ARKit 6» с WWDC22

ARKit 6 представляет видео 4K, так что вы можете снимать потрясающие видеоролики с высоким разрешением в AR — идеально подходит для профессионального редактирования видео, производства фильмов, приложений для социальных сетей и многого другого. Возможности видео и захвата расширены за счет поддержки HDR-видео и захвата фонового изображения высокого разрешения. ARKit 6 также добавляет привязки к местоположению в новые города, такие как Монреаль, Сидней, Сингапур и Токио, и содержит улучшения для захвата движения.

Видео 4K

ARKit 6 представляет возможность захвата видеопотока 4K с помощью задней камеры во время сеанса ARKit. Видео 4K идеально подходит для приложений, которые объединяют виртуальный и реальный контент для создания видео, таких как социальные сети, профессиональное видеоредактирование и приложения для производства фильмов.

Требуется iPhone 11 или новее или iPad Pro (5-го поколения).

API глубины

Расширенные возможности понимания сцены, встроенные в сканер LiDAR, позволяют этому API использовать попиксельную информацию о глубине окружающей среды. В сочетании с данными 3D-сетки, созданными геометрией сцены, эта информация о глубине делает окклюзию виртуального объекта еще более реалистичной, позволяя мгновенно размещать виртуальные объекты и плавно смешивать их с физическим окружением. Это может открыть новые возможности в ваших приложениях, такие как более точные измерения и применение эффектов к пользовательской среде.

Instant AR

Сканер LiDAR обеспечивает невероятно быстрое обнаружение плоскости, позволяя мгновенно размещать объекты AR в реальном мире без сканирования. Мгновенное размещение AR автоматически включается на iPhone 12 Pro, iPhone 12 Pro Max и iPad Pro для всех приложений, созданных с помощью ARKit, без каких-либо изменений кода.

Depth API и Instant AR предназначены только для устройств, оснащенных сканером LiDAR: iPad Pro 11 дюймов (2-го поколения), iPad Pro 12,9 дюйма (4-го поколения), iPhone 12 Pro, iPhone 12 Pro Max.

Захват движения

Захват движения человека в режиме реального времени с помощью одной камеры. Понимая положение тела и движение как последовательность суставов и костей, вы можете использовать движение и позы в качестве входных данных для опыта дополненной реальности, помещая людей в центр дополненной реальности. Оценка роста улучшается на iPhone 12, iPhone 12 Pro и iPad Pro во всех приложениях, созданных с помощью ARKit, без каких-либо изменений кода.

Одновременная передняя и задняя камера

Одновременно используйте отслеживание лица и мира на передней и задней камерах, открывая новые возможности. Например, пользователи могут взаимодействовать с содержимым дополненной реальности с помощью задней камеры, используя только свое лицо.

Улучшения захвата изображений и видео

С помощью ARKit 6 вы можете захватывать фоновое изображение с высоким разрешением во время сеанса ARKit, что отлично подходит для обеспечения более качественной реконструкции виртуальных объектов и для приложений фотографии, которые хотят направлять пользователей к идеальному снято с максимальным качеством конечного изображения. В ARKit 6 также представлена ​​поддержка HDR-видео и добавлены теги EXIF, такие как экспозиция и баланс белого, к каждому кадру ARKit. И теперь вы можете напрямую управлять настройкой экспозиции, баланса белого и фокусировки камеры во время сеанса ARKit.