Содержание
Как работает инструмент Apple ARKit, дополненная реальность в айфоне или айпаде
Как работает инструмент Apple ARKit, дополненная реальность в айфоне или айпаде
8 (8342) 54-62-22
Своё название инструмент Apple ARKit получил в соответствии с главной функцией — предоставить
набор инструментов (Kit) разработчикам приложений, чтобы те могли задействовать дополненную
реальность (AR). Технология Apple ARKit включена в iOS 11 — версию операционной системы для
айфонов и айпадов, которая увидела свет в 2017 году.
Что такое ARKit? Главный успех
Фактически, это готовая, унифицированная платформа для создания приложений с использованием
дополненной реальности. По этой причине многие обозревали сравнили запуск ARKit с созданием
каталога App Store.
По масштабности эти два события действительно сопоставимы, и вот почему.
В отличие от прежних версий операционной системы, дополненная реальность в iOS 11 стала
полноценным инструментом, доступным каждому разработчику. Так же как в 2008 году App Store
унифицировал использование сенсорного дисплея, ARKit в 2017 году вывел на единый уровень
возможности, связанные с дополненной реальностью.
Теперь разработчикам не нужно тратить уйму времени и сил, чтобы самостоятельно «учить»
устройство на iOS анализировать окружающий мир и создавать AR в оперативной памяти.
Как создаётся дополненная реальность в iPhone и iPad
Вне зависимости от того планируется использовать созданное приложение для развлечения или для
практических задач, инструментальные средства используются одни и те же:
- камеры устройства получают визуальное изображение;
- микрофон и некоторые другие датчики получают звук, считывают сведения о вибрациях и о других
изменениях; - процессор обрабатывает поступающую информацию и согласовывает её с командами, которые
подаются из самого приложения.
Оснащённые набором инструментов AR iPhone и iPad теперь «умеют» самостоятельно обнаруживать
горизонтальные и вертикальные поверхности, определять источники света и тени, различать голоса и
лица и многое другое. Процессоры семейства A9 и более поздние модели в полной мере справятся с
тем, чтобы задействовать поступающую информацию и создавать дополненную реальность.
Чем дальше, тем больше становится коммерческих, обучающих и игровых программ. Инструменты,
созданные командой Apple, применяются разработчиками по всему миру.
как разработчики используют дополненную реальность в серьезных задачах — Маркетинг на vc.ru
Рынку дополненной реальности для мобильных приложений пророчат золотые горы: Markets&Markets прогнозируют, что в ближайшие четыре года его объем вырастет в четыре раза – с $7,6 млрд до $29,5 млрд в 2025.
На момент запуска платформы ARKit в 2017 году, у Apple было около 300 приложений с элементами дополненной реальности. По данным на конец 2020 года, их оказалось уже несколько десятков тысяч с самыми разными сферами применения – от конструктора Lego и виртуальных питомцев до ловли драконов, монстров и других существ. Все это развлекательные приложения: игры, редакторы селфи и т.д. А как ARKit используют в бизнес-задачах – например, чтобы помогать клиентам или повышать продажи? Мы в ABBYY собрали небольшую подборку интересных идей.
832
просмотров
1. IKEA Place: «примерить» мебель в квартире
IKEA неоднократно применяла инновации для привлечения новых клиентов. На ее счету и доставка товаров на электрокарах, и разработки в области «умного дома». Компания одной из первых попробовала возможности дополненной реальности в дизайне интерьеров. Чтобы использовать приложение, пользователь должен отсканировать квартиру с помощью камеры смартфона. В ходе примерки можно свободно перемещать и масштабировать все предметы мебели из каталога.
Так можно убедиться, что стол или кресло с непроизносимым названием поместится в крохотный уголок на кухне или в прихожей.
Подойдет ли это кресло к моему сканди-интерьеру?
2. Vuforia Chalk: техподдержка, которая может «объяснить на пальцах»
Бывало ли такое, что вы звоните в клиентскую поддержку, а вам пытаются с 15-й попытки объяснить, где на пульте находится нужная кнопка ввода IP-адреса? Это приложение создано для наглядной демонстрации функций и настроек. Технический специалист может навести камеру на объект, сделать пометки и выделить детали в режиме реального времени.
Мастер показывает, какие кнопки надо нажать на кофе-машине, чтобы она заработала
3. ABBYY FineScanner: отсканировать и распечатать нестандартный документ на принтере
Мы в ABBYY тоже используем ARKit в приложении ABBYY FineScanner для iOS. В последней версии с помощью дополненной реальности можно измерить документ: определить размер, к примеру, паспорта, водительского удостоверения, визитной карточки.
Укажите полученный размер в свойствах и получите корректное отображение документа на бумаге при печати на принтере.
Вот так FineScanner измеряет размер документа
Выбрали мы такое применение AR не случайно: по данным нашего внутреннего исследования, более половины пользователей приложения отправляют созданные документы на email или в мессенджеры, чтобы затем сохранить на ПК или распечатать их. Теперь сделать это стало немного проще.
4. Augment: показать заказчику продукт во всей красе
Это приложение – мечта маркетолога. С его помощью любой желающий может загрузить свои трехмерные или двухмерные модели через удобную форму. Модели товаров в масштабе один к одному можно расположить в квартире, на прилавках – реальных или виртуальных. Клиенты интернет-магазинов смогут не только «поставить» интересующий товар на свой стол, но даже повертеть его в руках.
Рассмотреть будущее приобретение со всех ракурсов
5.
AxisBank: найти на карте АТМ, офис или получить скидку в компаниях-партнерах
Индийский Axis Bank одним из первых попробовал дополненную реальность для трансформации опыта своих клиентов. Используя опцию ARView, пользователи могут увидеть в приложении указатели к ближайшему банкомату, офису или, например, точке питания, с которой сотрудничает банк.
Город полон ATM
А какие интересные применения AR в мобильных приложениях видели вы? Делитесь в комментариях.
ARKit 6 — Дополненная реальность
Смотрите «Откройте для себя ARKit 6» с WWDC22
ARKit 6 представляет видео 4K, так что вы можете снимать потрясающие видеоролики с высоким разрешением в AR — идеально подходит для профессионального редактирования видео, производства фильмов, приложений для социальных сетей и многого другого. Возможности видео и захвата расширены за счет поддержки HDR-видео и захвата фонового изображения высокого разрешения.
ARKit 6 также добавляет привязки к местоположению в новые города, такие как Монреаль, Сидней, Сингапур и Токио, и содержит улучшения для захвата движения.
Видео 4K
ARKit 6 представляет возможность захвата видеопотока 4K с помощью задней камеры во время сеанса ARKit. Видео 4K идеально подходит для приложений, которые объединяют виртуальный и реальный контент для создания видео, таких как социальные сети, профессиональное видеоредактирование и приложения для производства фильмов.
Требуется iPhone 11 или новее или iPad Pro (5-го поколения).
API глубины
Расширенные возможности понимания сцены, встроенные в сканер LiDAR, позволяют этому API использовать попиксельную информацию о глубине окружающей среды. В сочетании с данными 3D-сетки, созданными геометрией сцены, эта информация о глубине делает окклюзию виртуального объекта еще более реалистичной, позволяя мгновенно размещать виртуальные объекты и плавно смешивать их с физическим окружением.
Это может открыть новые возможности в ваших приложениях, такие как более точные измерения и применение эффектов к пользовательской среде.
Instant AR
Сканер LiDAR обеспечивает невероятно быстрое обнаружение плоскости, что позволяет мгновенно размещать объекты AR в реальном мире без сканирования. Мгновенное размещение AR автоматически включается на iPhone 12 Pro, iPhone 12 Pro Max и iPad Pro для всех приложений, созданных с помощью ARKit, без каких-либо изменений кода.
Depth API и Instant AR предназначены только для устройств, оснащенных сканером LiDAR: iPad Pro 11 дюймов (2-го поколения), iPad Pro 12,9 дюйма (4-го поколения), iPhone 12 Pro, iPhone 12 Pro Max.
Захват движения
Захват движения человека в режиме реального времени с помощью одной камеры. Понимая положение тела и движение как последовательность суставов и костей, вы можете использовать движение и позы в качестве входных данных для опыта дополненной реальности, помещая людей в центр дополненной реальности.
Оценка роста улучшается на iPhone 12, iPhone 12 Pro и iPad Pro во всех приложениях, созданных с помощью ARKit, без каких-либо изменений кода.
Одновременная передняя и задняя камера
Одновременно используйте отслеживание лица и мира на передней и задней камерах, открывая новые возможности. Например, пользователи могут взаимодействовать с содержимым дополненной реальности с помощью задней камеры, используя только свое лицо.
Улучшения захвата изображений и видео
С помощью ARKit 6 вы можете захватывать фоновое изображение с высоким разрешением во время сеанса ARKit, что отлично подходит для обеспечения более качественной реконструкции виртуальных объектов и для приложений фотографии, которые хотят направлять пользователей к идеальному снято с максимальным качеством конечного изображения. В ARKit 6 также представлена поддержка HDR-видео и добавлены теги EXIF, такие как экспозиция и баланс белого, к каждому кадру ARKit. И теперь вы можете напрямую управлять настройкой экспозиции, баланса белого и фокусировки камеры во время сеанса ARKit.
Геометрия сцены
Создайте топологическую карту вашего пространства с метками, обозначающими полы, стены, потолки, окна, двери и сиденья. Это глубокое понимание реального мира раскрывает окклюзию объектов и физику реального мира для виртуальных объектов, а также дает вам больше информации для улучшения ваших рабочих процессов AR.
Перекрытие людей
AR-контент реалистично проходит позади и впереди людей в реальном мире, делая опыт AR более захватывающим, а также обеспечивая эффекты в стиле зеленого экрана практически в любой среде. Оценка глубины улучшается на iPhone 12, iPhone 12 Pro и iPad Pro во всех приложениях, созданных с помощью ARKit, без каких-либо изменений кода.
Дополнительные улучшения
Захват движения теперь включает отслеживание левого и правого уха с улучшенным определением положения тела в целом. Обнаруживайте до 100 изображений одновременно и автоматически оценивайте физический размер объекта на изображении. Обнаружение 3D-объектов более надежно, поскольку объекты лучше распознаются в сложных средах.
Обзор RealityKit — дополненная реальность
Платформа RealityKit была создана с нуля специально для дополненной реальности с фотореалистичным рендерингом, эффектами камеры, анимацией, физикой и многим другим. Благодаря нативным API Swift, интеграции с ARKit, невероятно реалистичному рендерингу на основе физики, трансформации и скелетной анимации, пространственному звуку и физике твердого тела, RealityKit делает разработку дополненной реальности быстрее и проще, чем когда-либо прежде .
Object Capture
Превратите фотографии с iPhone или iPad в фотореалистичные 3D-модели, оптимизированные для дополненной реальности, за считанные минуты* с помощью нового API захвата объектов в macOS. Object Capture использует фотограмметрию, чтобы превратить серию снимков, сделанных на вашем iPhone или iPad, в 3D-модели, которые можно мгновенно просмотреть в AR Quick Look или интегрировать в ваш проект Xcode.
Узнать больше
Пользовательские шейдеры
RealityKit плавно смешивает виртуальный контент с реальным миром, используя реалистичные, физически обоснованные материалы, отражения окружающей среды, тени от земли, шум камеры, размытие движения и многое другое, чтобы сделать виртуальный контент практически неотличимым от реальности.
RealityKit дает вам больший контроль над конвейером рендеринга с помощью настраиваемых целей рендеринга и материалов, поэтому вы можете точно настроить внешний вид своих объектов и сцены AR.
Пользовательские системы
Создайте свою собственную систему Entity Component, чтобы вы могли организовать активы в своей сцене AR и встроить более сложные функции в системный уровень.
Окклюзия объектов
Объединяя информацию от сканера LiDAR и обнаружения краев в RealityKit, виртуальные объекты могут взаимодействовать с вашим физическим окружением так, как вы ожидаете. Виртуальные объекты можно размещать под столами, за стенами или за углами, и вы будете видеть только те части виртуального объекта, которые ожидаете увидеть, с четким определением того, где физический объект скрывает часть виртуального.
Видеотекстура
Теперь в RealityKit можно добавлять видеотекстуры к любой части сцены. Это оживляет объекты, поверхности и даже персонажей, добавляя богатое видео для анимации виртуальных телеэкранов, чтобы воспроизводить фильм или заставлять виртуального персонажа улыбаться.
Swift API
Простой в использовании, но невероятно мощный, RealityKit использует богатые языковые функции Swift для автоматического предоставления полного набора функций, поэтому вы можете создавать приложения дополненной реальности еще быстрее, без необходимости написания стандартного кода.
Динамические активы
Включите настраиваемую загрузку для активов, чтобы предоставить вам больше гибкости для адаптации вашего опыта на основе RealityKit — например, программное изменение изображения или сетки для каждого кадра.
Контроллер персонажей
Легко создавайте персонажей, управляемых игроком, с помощью этого мощного API Swift, чтобы ваши пользователи могли прыгать, масштабироваться и исследовать миры дополненной реальности и игры на основе RealityKit, которые вы создаете.
Масштабируемая производительность
Используя новейшие функции Metal, чтобы получить максимальную отдачу от графического процессора, RealityKit в полной мере использует кэш-память ЦП и несколько ядер для обеспечения невероятно плавных визуальных эффектов и физического моделирования.