Ar ios: ‎App Store: AR vid дополненная реальность

Содержание

Зачем в iPhone нужна AR (и как она изменила нашу жизнь)

На WWDC 2017 Apple представила разработчикам набор инструментов ARKit. При этом тогда даже сама компания не смогла объяснить, зачем нам нужна дополненная реальность, кроме строительства виртуальных домиков и бегания за покемонами. Но к 2019 году AR прочно вошла в жизнь пользователей смартфонов. И я вам расскажу о самых интересных вариантах её применения в продуктах Apple и не только.

Погрешность стандартного приложения «Линейка»

Начнём с простого. iOS 12 принесла нам приложение «Линейка». Да, оно, не очень точное и пока для серьёзных измерений вряд ли подходит, но начало было положено, Apple должна в iOS 13 сделать всё красиво, как мы любим.

Сторонние компании используют дополненную реальность куда интересней. Например, вы всё ещё при посещении «Икеи» не можете понять, как это кресло будет смотреться в гостиной? У шведов есть решение — приложение Ikea Place.

Интерфейс приложения Ikea Place

Бесплатное приложение с лаконичным дизайном позволяет примерить большинство изделий из ассортимента мебельной компании в своей квартире. Оно работает достаточно шустро, адекватно понимает горизонтальные поверхности. Всё можно покрутить, поносить по помещению, самому подойти поближе и рассмотреть со всех сторон. Просто незаменимо как для покупающих всю обстановку с нуля, так и для тех, кто не может определиться с выбором пуфика в прихожую.

Аналогичную фишку внедрила на сайте и сама Apple. Сразу после презентации можно было в дополненной реальности посмотреть на новый iPhone. Люди, которые на утро увидели это фото, были в серьёзном недоумении. Ведь они не читают наш Telegram-канал и не в курсе новых фишек Apple.

iPhone 11 Pro в дополненной реальности

Вы встречали людей, которым тяжело ориентироваться по картам, особенно в незнакомом месте? Для них «Яндекс» внедрил в свои «Яндекс.Карты» интересную функцию. Нажмите на синий кружок внизу карты после построения маршрута – и почувствуйте себя героем компьютерной игры вроде Grand Theft Auto.

Дополненная реальность в Яндекс.Картах

Синие стрелочки помогут найти маршрут даже на самых запутанных улицах. Чтобы не было скучно бродить одному, «Яндекс» добавил всякие «пасхалки». Попробуйте пройтись по Пушкинской или Лубянской площади в Москве, например.

Приложение INKHUNTER на iPhone

Ещё в App Store есть любопытное приложение INKHUNTER. Сделано оно для тех, кто готовится нанести татуировку, но не знает, как она будет смотреться. Дополненная реальность спешит на помощь. Рисуем на руке квадратный «смайлик», загружаем эскиз будущей татуировки, наводим камеру на уже нанесённую метку, и приложение меняет её на рисунок. Сколько бы ошибок избежало человечество с этой программой!

Приложение Magicplan на iPhone

Иногда требуется создать план какого-нибудь помещения. Раньше для этого требовалась рулетка, линейка, бумага, карандаш, прямые руки, навыки черчения и много времени. Сегодня же загружаешь Magicplan на свой iPhone — и вперёд. Даже мебель перемещать не потребуется. Как и в случае с «Линейкой», пользователь сам выбирает точку начала и окончания измерения для каждого выступа внутри помещения. А электронную версию плана квартиры или комнаты программа автоматически формирует сама.

Дополненная реальность поможет и начинающим художникам. Долой копирки и световые планшеты! Тренироваться в создании своих рисунков на основе уже готовых можно с помощью программы SketchAR.

Приложение SketchAR на iPhone

Сначала нужно сфотографировать то изображение, которое вы хотите воспроизвести, а затем навести камеру на белый лист, по периметру которого карандашом нанесены круглые метки. Дальше дело техники – обвести картинку по линиям и добавить в неё что-то своё.

Теперь уже совсем фантастика из области медицины. В Самаре испытывают систему AUTOPLAN, которая станет для хирурга навигатором и штурманом.

Прототип системы AUTOPLAN

Сначала после компьютерной томографии рентгенолог строит индивидуальную анатомическую модель внутренних органов и тканей пациента. На основе полученной 3D-модели хирург планирует будущую операцию. Перед началом операции врач надевает AR-очки, и система визуализации спроецирует на кожу 3D-модель. Хирургу остается выполнять свою работу, руководствуясь подсказками AUTOPLAN. На протяжении всего процесса навигационная система контролирует положение инструментов хирурга и их траекторию в соответствии с подготовленным заранее планом. Еще один плюс — время операции сокращается в полтора раза, а подготовка занимает не более 15 минут. И если раньше операция сопровождалась наблюдением с помощью мобильной рентгеновской установки, то теперь необходимости в дополнительной лучевой нагрузке для врача и пациента нет.

Эта установка уже помогла провести более 500 операций. В этом году её использовали даже в сложнейшей операции на позвоночник.

Развлекательный же потенциал оказался куда выше Pokémon GO. Про Stories в Instagram и FaceApp нет смысла даже говорить. Все пользователи этим летом разделились на два лагеря: одни делали маски и старили свои лица, а другие их за это ненавидели.

Приложение FaceApp на iPhone

А ведь FaceApp мог бы стать крутым инструментом, например, парикмахера. Теперь на вопрос: «А мне пойдёт рыжий?» можно показать: «Смотри, Маша, ты похожа на Эда Ширана».

Читайте также: Apple запатентовала систему управления взглядом

В апреле этого года на фестивале Coachella Эминем впервые решил поставить вредную привычку многих зрителей стоять с поднятыми смартфонами на службу искусству. Запись зрелищного AR-шоу мгновенно разлетелась по всему интернету. В дальнейшем оно применяется на всех концертах тура рэпера в США и Европе.

Несомненно, дополненная реальность – очень перспективное направление в производстве, развлечениях и повседневной жизни, и оно будет развиваться. Возможно, уже в следующем году мы увидим Apple Tag со всеми её прелестями.

ARKitiOS 13Обновление iOS и устройств Apple

Развертывание в Android и iOS (AR Foundation) [экспериментальная возможность] — MRTK 2

Twitter

LinkedIn

Facebook

Адрес электронной почты

Статья

06/27/2022

Чтение занимает 2 мин

Установка необходимых пакетов

Скачайте и импортируйте пакет Microsoft. MixedReality.Toolkit.Unity.Foundation из GitHub или диспетчер пакетов Unity

В диспетчер пакетов Unity (UPM) установите следующие пакеты:

Unity 2018.4.x

Android	iOS	Комментарии
AR Foundation Версия: 1.5.0 — предварительная версия 6	AR Foundation Версия: 1.5.0 — предварительная версия 6	Для Unity 2018.4 этот пакет включен в предварительную версию. Чтобы просмотреть пакет, выполните следующие действия. `Window`>`Package Manager`>`Advanced`>`Show Preview Packages`
Подключаемый модуль ARCore XR Версия: 2.1.2	Подключаемый модуль ARKit XR Версия: 2.1.2

Unity 2019.4.x

Android	iOS
AR Foundation Версия: 2. 1.8	AR Foundation Версия: 2.1.8
Подключаемый модуль ARCore XR Версия: 2.1.11	Подключаемый модуль ARKit XR Версия: 2.1.9

Unity 2020.3.x

Android	iOS
AR Foundation Версия: 3.1.3	AR Foundation Версия: 4.0.12
Подключаемый модуль ARCore XR Версия: 3.1.4	Подключаемый модуль ARKit XR Версия: 4.1.7

Обновите скрипты MRTK UnityAR, вызывая пункт меню: Смешанная реальность > Toolkit > Utilities > UnityAR > Update Scripting Defines

Добавление сцены MixedRealityToolKit в проект

Выбор Смешанная реальность —> Набор средств —> добавление в сцену и настройка

Включение поставщика параметров камеры Unity AR

Следующие шаги предполагают использование объекта MixedRealityToolkit. Действия, необходимые для других регистраторов служб, могут отличаться.

Выберите объект MixedRealityToolkit в иерархии сцены.
Выберите » Копировать и настроить «, чтобы клонировать профиль MRTK, чтобы включить пользовательскую конфигурацию.
Нажмите кнопку «Клонировать» рядом с профилем Камера.
Перейдите на панель Inspector в раздел системы камеры и разверните раздел «Поставщики Камера Параметры«.
Щелкните «Добавить Камера Параметры поставщика» и разверните только что добавленную запись параметров камеры.
Выбор поставщика Камера Параметры Unity AR
Дополнительные сведения о настройке поставщика параметров камеры Unity AR: поставщик параметров камеры Unity AR.

Примечание

Эта установка проверяет (при запуске приложения), если компоненты AR Foundation находятся в сцене. В противном случае они автоматически добавляются для работы с ARCore и ARKit.
Если вам нужно задать определенное поведение, необходимо добавить необходимые компоненты самостоятельно.
Дополнительные сведения о компонентах и установке AR Foundation см. в этой документации.

Создание сцены для устройств Android и iOS

Убедитесь, что в сцену добавлен поставщик Камера Параметры UnityAR.
Переключение платформы на Android или iOS в Параметры сборки Unity
Убедитесь, что связанный поставщик управления подключаемым модулем XR включен.
iOS управления подключаемым модулем XR:
Сборка и запуск сцены

См. также статью

Камера Параметры Unity AR

IOS: разработка Xcode-ARKit-замена модели в AR

Apple выпустила новую среду дополненной реальности ARKit на WWDC, позволяющую разработчикам быстрее создавать приложения дополненной реальности для iphone или ipad, что, несомненно, делает ios крупнейшей в мире платформой для разработки дополненной реальности. Поэтому мы также открыли новую серию руководств по обмену технологиями ARkit и разработке, чтобы помочь всем лучше понять ARKit. На этот раз я предлагаю вам быстро создавать приложения AR для iphone или ipad через Xcode (переведены и организованы на:https://next.reality.news/）

Загрузите и установите тестовую версию MacOS 10.13 и Xcode 9 на свой компьютер Mac. И обновите свой iphone или ipad до версии ios 11

Сначала создайте новый проект в Xcode.

Выберите значок приложения дополненной реальности, а затем нажмите кнопку «Далее», чтобы действовать последовательно.

После того, как все загрузилось, входим в проект:

ps: Следующие операции на самом деле неактуальны, потому что в примере Apple подготовила модель по умолчанию в проекте, вот как заменить модель

Нам нужно подготовить несколько 3D-моделей в формате dae, в демонстрации этого случая мы используем модель, похожую на рекламный щит. Мы можем скачать его на сайте TurboSquid (https://www. turbosquid.com/3d-models/free-billboard-games-3d-model/1129110）。

После завершения загрузки нам нужно разархивировать, чтобы завершить замену текстуры на билборде. Для начала готовим рисунок:

Затем откройте папку модели, которую мы загрузили, вы увидите файл billboard.dae и подпапку текстуры «tex». Откройте папку «текс».

Замените «pict1.jpg» и «pict2.jpg» изображениями, которые мы подготовили.

Эффект такой:

Проект AR по умолчанию Xcode поставляется с 3D-моделью, нам нужно заменить ее только что созданной моделью. Проверьте наш Project Navigator и найдите папку с именем art.scnassets.

Выберите «ship.scn» и «texture.png» и удалите.

Удерживая нажатой клавишу Control, выберите папку «art.scnassets». Затем выберите «Добавить файлы в art.scnassets».

Теперь наша заранее подготовленная модель импортирована.

Далее нам нужно настроить такую информацию, как местоположение модели. Нажмите на маленький значок, указанный красной стрелкой на скриншоте ниже.

Нам нужно вручную ввести наши настройки (вы можете обратиться к значениям ниже)

Position x：0.255 y： — 57 z：-87

Scale x：0.09 y：0.09 z：0.09

Нам нужно изменить строку кода в файле ViewController.swift. Дважды щелкните файл, чтобы открыть код в главном окне. Прокрутите код до строки с выделенным ниже текстом. Измените «ship.scn» на «billboard.dae».

let scene = SCNScene(named: art.scnassets/billboard.dae")!

Затем мы запускаем тест, чтобы добиться этого эффекта.

Что касается ARKit, нам нужно сосредоточиться на понимании ARSession. Это объект, который управляет отслеживанием движения и обработкой изображений, необходимых для создания опыта дополненной реальности.

В сцене AR первое, что нужно сделать, — это настроить объект ARSession для управления съемкой камеры и обработки действий устройства.

1. Получить кадры видео и информацию отслеживания из сеанса;

2. Используйте эти изображения фреймов в качестве фона и визуализируйте их в настраиваемом виде;

3. Используйте информацию отслеживания, чтобы найти и нарисовать контент AR над изображением камеры.

В ARSession есть два важных класса, а именно: ARSCNView и ARSKView. Первый в основном улучшает вид камеры с помощью содержимого 3D SceneKit, а второй — вид камеры с содержимым 2D SpriteKit.

Запускаем ARSession

override func viewWillAppear(_ animated: Bool) {
super.viewWillAppear(animated)
// Создание конфигурации сеанса
let configuration = ARWorldTrackingSessionConfiguration()
configuration.planeDetection = .horizontal
 // Запускаем просмотр сеанса
sceneView.session.run(configuration)
}

Затем используйтеSceneKitилиSpriteKitПоместите виртуальный контент в представление.

ARKitБудетSceneKit Он автоматически сопоставляется с реальным миром, поэтому для размещения виртуального объекта, чтобы он сохранял свое реальное положение, необходимо соответствующим образом установить положение модели.

НапримерВ конфигурации по умолчанию следующий код помещает куб 10 см на 20 см перед исходным положением камеры:

letcubeNode =SCNNode(geometry:SCNBox(width:0.1, height:0.1, length:0.1, chamferRadius:0))
cubeNode.position =SCNVector3(0,0, -0.2)
sceneView.scene.rootNode.addChildNode(cubeNode)

Конечно, вы можете использоватьARAnchorКласс приходитОтслеживайте местоположение в реальном мире.

НапримерПри включенииОбнаружение самолетаКогда ARKit будетКаждый обнаруженквартираДобавить и обновить точки привязки, Чтобы добавить визуальный контент к этим якорям, вы можете использовать следующие методы:ARSCNViewDelegate

func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {
guard let planeAnchor = anchor as? ARPlaneAnchor else { return }
let plane = SCNPlane(width: CGFloat(planeAnchor.extent.x), height: CGFloat(planeAnchor.extent.z))
let planeNode = SCNNode(geometry: plane)
planeNode. position = SCNVector3Make(planeAnchor.center.x, 0, planeAnchor.center.z)
planeNode.transform = SCNMatrix4MakeRotation(-Float.pi / 2, 1, 0, 0)
node.addChildNode(planeNode)
}

SpriteKit Операция намного проще, он может отображать плавающие 2D-изображения в 3D-пространстве.

var translation = matrix_identity_float4x4
translation.columns.3.z = -0.2
let transform = simd_mul(view.session.currentFrame.camera.transform, translation)
let anchor = ARAnchor(transform: transform)
view.session.add(anchor: anchor)
func view(_ view: ARSKView, nodeFor anchor: ARAnchor) -> SKNode? {
return SKLabelNode(text:"")
}

Лучшие AR-приложения в дополненной реальности для Iphone в 2020 году

В течение многих лет Apple говорила о потенциале дополненной реальности и выпустила несколько версий своих инструментов в этой области, чтобы помочь в создании AR-приложений для сторонних разработчиков. Результаты этой работы должны окупиться в 2020 году. Мы подготовили для вас список лучших приложений с дополненной реальностью в 2020 году. Если у вас есть Iphone, начиная с модели 6S, вы сможете попробовать любое из них прямо сейчас.

Google Maps

Ни для кого не секрет, что многие пользователи продуктов компании обращаются к Google Maps вместо встроенного приложения Maps, которое предустановлено на телефоне, благодаря некоторым популярным функциям в навигации. Один из них — Live View, который использует AR для ориентации в пространстве.

Этот режим помогает вам найти свой путь, накладывая виртуальные знаки и стрелки направления поверх реального мира через камеру смартфона.

Civilizations AR

Данное приложение оживляет древние сокровища и культурные ценности с помощью AR, чтобы превратить ваш Iphone в мобильный музей. Вы можете просматривать каждый объект в реалистичной 3D-модели. При помощи AR можно увеличивать масштаб, приближать и вращать все эти предметы. Кроме того, изображения сопровождаются дополнительной информацией, рассказами о происхождении и истории экспонатов.

Froggipedia

Препарирование некогда живой лягушки — это подвиг, который не все студенты медицинских вузов могут и хотят сделать. Гораздо приятнее использовать Froggipedia, чтобы посмотреть все ее внутренности. Приложение работает и на Iphone, и на Ipad. Если ваш планшет поддерживает Apple Pencil, то можно сделать дополнительный записи, пометки и рисунки.

The Machines

Данная игра оказалась настолько хороша, что Apple с ее помощью презентовала технологию дополненной реальности. Вам придется сражаться онлайн или локально с противниками в вашей комнате, стреляя и уничтожая вражеские базы.

Smash Tanks

Как и в случае с Machines, Smash Tanks превращает ваш стол в поле боя, а его действие разворачивается на дисплее телефона. Вам предстоит командовать танками для уничтожения своего врага. В игре предусмотрен многопользовательский режим для взаимодействия с людьми по всему миру. Ковер, стол, пол или улица — не имеет значения, где вы отлично проведете время.

Big Bang AR

Благодаря сотрудничеству CERN и Google Arts & Culture, Big Bang предлагает историю космоса в вашей гостиной при помощи AR, чтобы визуализировать первые секунды Вселенной. Это уникальная медиа-презентация рождения нашей Солнечной системы и планеты.

SketchAR

Отличный инструмент для рисования в AR. Приложение накладывает эскиз или линейное изображение на чистый лист бумаги, который можно использовать для создания собственного творения. Также можно воспользоваться существующей библиотекой готовых изображений.

WWF Free Rivers

Путешествие на знаменитые водные объекты планеты — весьма дорогостоящее событие. Всемирный фонд дикой природы предложил познакомиться с ними при помощи собственного приложения. Вы можете разместить уникальные природные объекты на вашем столе и досконально изучить их.

Vuforia Chalk

Это невероятно полезное решение для технической поддержки и помощи другому человеку. Оно устанавливает видеозвонок между двумя устройствами. Первый пользователь может рисовать на экране, например, указать на нужную кнопку, а второй в этом время видит все эти пометки. Таким образом можно легко помочь своей маме удаленно настроить домашний Wi-Fi.

Dance Reality

Превратите ваш Iphone в инструктора по танцам, который обучит основам работы ног и таймингу в зависимости от стиля.

Angry Birds AR: Isle of Pigs

Знаменитая игра в новой реальности. Теперь вы можете проецировать поросячьи крепости в собственной квартире и разрушать их натяжением AR-рогатки.

ARia’s Legacy

Интереснейшая приключенческая игра-головоломка, которая создает вокруг пользователя полноценную виртуальную комнату. Игра бесплатна, однако полная разблокировка четырех комнат будет стоить 2,99$.

Thyng

Занимательное решение, позволяющее самостоятельно создавать AR-объекты при помощи встроенных инструментов.

Insight Heart

С его помощью можно визуализировать «внутренности» человека. Приложение делать человеческое тело прозрачным, где видна работа внутренних органов и системы кровотока. Отлично подойдет для школьного курса биологии. Стоимость — 2,49$.

Houzz

Популярное решение для подбора мебели и интерьера собственного дома или квартиры. Оно включает в себя 3D-модели полумиллиона объектов, которые можно «примерить» с реалистичным освещением. Внутри приложения можно сразу же купить, понравившуюся вещь.

Ikea Place

Еще более конкретное приложение для обустройства вашего дома. Оно получило невероятно положительные отзывы пользователей. Мебель от известной компании можно увидеть при помощи дополненной реальности в реальном масштабе.

Sun Seeker

Приложение, отслеживающее и предсказывающее движение Солнца на небе при помощи плоского компаса и видоискателя камеры смартфона, который показывает положение звезды в заданное время и дату. Также представляется информация о прогнозируемом восходе и закате. Это будет полезно архитекторам и фотографам, планирующим использовать естественное освещение.

Google Translate

Это приложение отлично использует дополненную реальность, чтобы помочь конвертировать рукописный текст с 88 различных языков в реальном времени. Google Translate при помощи камеры Iphone применяет облачную обработку, чтобы быстро интерпретировать текст, а затем показать перевод на экране телефона.

GIPHY World

Все любят GIF-файлы, которые теперь можно помещать на видео и фотографии, при помощи приложения от самого известного хранилища этих файлов GIPHY.

Cкопировано из сайта vr-j.ru

Подписывайтесь на нашTelegram

Метки: Apple, AR, AR-игры, AR-приложения, ARKit

Приложения дополненной реальности для iPad: изучаем ситуацию в AR-индустрии

Представим, что вы задумали ремонт. Но мы же живем в XXI веке, верно? Поэтому скачиваем виртуальную рулетку и приложение мебельного магазина, измеряем доступное расстояние, примериваем нужную мебель, через планшет, видя результат, а затем нажимаем кнопку «заказать». После этого решаем «обновить» и себя: «примеряем» на руку татуировку с помощью AR, тут же бронируем время у мастера, затем отправляем ребенка учить уроки (анатомию и биологию с помощью соответствующих AR-приложений), а сами — играем в летающие по комнате виртуальные вертолеты, садящиеся на шкафы и кружащиеся вокруг головы… Сказка? Сказка. А какова же реальность?

На WWDC 2018 компания Apple представила очередную версию мобильной операционной системы iOS, и теперь в ней будет поддержка ARKit 2 и приложений, созданных на основе этого набора разработчика. Apple явно пытается сдвинуть тему приложений дополненной реальности с мертвой точки, и вполне возможно, что ARKit 2 и iOS 12 помогут ей в этом непростом деле. В частности, обещана поддержка многопользовательской игры в дополненной реальности. То есть вы и ваш соперник будете видеть через экран планшета идентичную картинку и, следовательно, сможете взаимодействовать с виртуальными объектами.

Многопользовательская AR-игра в iOS 12

Как это будет реализовано — посмотрим, когда разработчики подготовят свои проекты. А пока самое время разобраться, что же представляет собой AR на планшетах на сегодняшний день и насколько полезно дополнить дополненной реальностью свою повседневную жизнь.

Прежде всего, во избежание дальнейшей путаницы давайте разберемся, что такое дополненная реальность (augmented reality, AR) и какие ее формы нам интересны в данной статье.

Что такое AR и с чем это едят?

Дополненная реальность — это интеграция виртуальных объектов (как правило, трехмерных, но не обязательно) в реальный мир. Возможных форматов реализации — множество: начиная от проектов наподобие Google Glass (так, впрочем, не получивших массового распространения) и навигационного оборудования (мы писали о проекте AR-мотошлема) и заканчивая приложениями, использующими камеру смартфона или планшета.

Езда в мотошлеме дополненной реальности LiveMap

Если вариантов первого типа, предполагающих комбинацию ПО и аппаратной части, может быть бесконечное множество, и конкретный механизм работы будет каждый раз иным, то в случае с планшетами и смартфонами общая схема одна: вы наводите тыловую камеру устройства на какое-то пространство (иногда требуется, чтобы это была ровная единородная поверхность, иногда — какой-то конкретный объект, иногда ограничений нет), после чего на экране устройства появляется виртуальная фигура, определенным образом совмещенная с изображением с камеры.

Основные различия между приложениями для мобильных устройств начинаются как раз с этого момента. Потому что после того, как виртуальный объект отобразился на экране, встает вопрос, как можно с ним взаимодействовать. Второй ключевой вопрос: как виртуальный объект взаимодействует с реальным окружением. И третий: как вы благодаря этому приложению можете взаимодействовать с реальным пространством.

В статье мы рассмотрим разные примеры этих трех типов взаимодействий, равно как и примеры их отсутствия.

Игры

Начнем с самого очевидного — игр. Несложно догадаться, что AR многие разработчики стали использовать для создания игровых приложений. В принципе, сама технология AR уже обладает «вау-эффектом». То есть виртуальным изображением сегодня уже никого не удивишь, но если это изображение (да еще трехмерное) вдруг вписывается в знакомое пространство — тут уже становится гораздо интереснее.

Самый известный пример AR-игры — конечно же, Pokemon Go (бесплатно), правда, больше ориентированный на смартфоны, чем на планшеты, но версия для iPad тоже есть. Рассказывать о ней мы не будем, т.к все наслышаны об этом проекте. Но отметим, что Pokemon Go — как раз яркая иллюстрация тезиса о том, что настоящая дополненная реальность предполагает все три направления взаимодействия: виртуального объекта с реальной средой, пользователя с виртуальным объектом и пользователя с реальной средой.

Впрочем, именно ловля покемонов, ставшая некоторое время назад безумно модной, а потом так же стремительно из моды вышедшая, может продемонстрировать, что даже у хороших игровых проектов есть «потолок» востребованности, и в случае с AR-проектами он пока невысок.

Alice AR Quest

Другой, куда менее известный и более камерный пример любопытной игры для iPad — Alice AR Quest. Как несложно догадаться по названию, этот проект сделан на основе «Алисы в стране чудес». Однако, он не буквально повторяет сюжет, а, скорее, обыгрывает знакомые по сказке Льюиса Кэрролла ситуации. Например, следование за белым кроликом и чаепитие с мартовским зайцем.

Выбрав игровое пространство и начав игру, вы видите, как в центре пространства вырастает волшебное дерево. А около дерева — несколько норок. Вдруг в одной из нор вы замечаете кролика с часами. Вы можете подойти к нему ближе и рассмотреть. Нажав на него, вы заставите его прыгнуть в норку, после чего он покажется из другой норки. Вам надо ловить его и там. И так — пока он не побывает в пяти норках.

Наконец, вы переходите на следующий уровень — и видите, как вместо дерева появляется портал, в который приглашает вас кролик.

Вам надо физически шагнуть в него, и дальнейшая игра пойдет уже внутри портала, создающего иллюзию полного 3D-погружения. Вы можете поднять планшет и посмотреть снизу на экран, увидев «над вами» волшебные грибы, а можете опустить планшет и навести камеру на пол — там будет трава. Ну а в центре пространства — стол, за которым развернется чаепитие…

В игре Alice AR Quest неплохая анимация и забавные задания (например, найти чашки и чайник для чаепития, спрятанные вокруг или даже парящие в небе), но главное — здесь есть взаимодействие пользователя с реальным пространством. То есть вам надо перемещаться, поворачиваться, крутить вокруг себя планшет, и все это создает ощущение ожившей сказки и вашего путешествия по ней. Ну, если у вас богатое воображение 🙂 При этом, игре все равно, что представляет собой игровая зона и есть ли там что-то, кроме ровного пола и свободного пространства.

Stack AR и Let’s Stack AR

Еще две игры, уже куда более простые и работающие по одинаковому принципу (фактически, клоны) — Stack AR и Let’s Stack AR. В выбранной вами зоне появляется трехмерный прямоугольник или куб, после чего сверху над ним проплывают новые объекты. Задача игрока — в нужный момент нажать на экран, чтобы новый объект опустился на уже имеющийся и занял максимум его поверхности. Если какая-то часть нового объекта на поместится и будет свисать — она исчезнет. А поскольку фигуры двигаются довольно быстро и точно выбрать момент непросто, каждый следующий сегмент башни оказывается немного меньше предыдущего. Игра заканчивается, когда вы промахиваетесь и новый объект совершенно не попадает на башню.

При чем здесь дополненная реальность? Строго говоря, можно обойтись и без нее. И в Stack AR действительно есть режим без задействования камеры — просто ту же пирамиду вы строите в пустом пространстве. Но особое впечатление производит, конечно, строительство рядом с какими-то реальными объектами. Например, построить пирамиду выше шкафа — интересный челлендж!

Let’s Stack AR в этом плане особенно интересна, поскольку сообщает вам, какова высота построенной вами башни — например, 1,9 метра, выше среднестатистического человека.

Вообще, на этом принципе — сопоставлении объектов виртуальных и реальных — построены очень многие игры. Просто трехмерный динозавр — «ну и что?», а динозавр больше дома на заднем плане — «вау». К тому же, вы всегда можете сделать скриншот и порадовать себя или друзей забавным снимком. Но, по большому счету, говорить о взаимодействии виртуальных и реальных объектов в данном случае нельзя. То есть если бы, например, при строительстве башен можно было бы задействовать поверхности столов, шкафов и прочих объектов в комнате — тогда другое дело (допустим, вы строите башню рядом со столом, и если фигура падает так, что часть ее попадает на стол, то она не исчезает и позволяет класть на нее новые фигуры). Или если бы тот же динозавр перелезал с дома на дом, как Кинг-Конг — мы действительно могли бы говорить о полноценном взаимодействии. Но пока этого нет.

Paper Bin AR

Вот еще одна игра: Paper Bin AR. Размещаете виртуальную мусорную корзину и кидаете в нее виртуальные же шарики свайпами по экрану. Корзину можно разместить ближе или дальше, в зависимости от этого меняется сложность.

Но, опять же, что толку от AR? Более того, игру не «смущает» даже то, что корзина оказывается где-то внутри шкафа. То есть фактически настоящего AR здесь нет: игра создает свое трехмерное пространство и просто накладывает его на картинку с камеры, никак не обрабатывая получаемую с камеры информацию.

Образовательные приложения

Еще одна сфера, в которую разработчики активно внедряют AR — образование. Самый яркий пример, конечно, был продемонстрирован докладчиками Apple на весенней презентации, посвященной как раз образованию и iPad. Речь о приложении Froggipedia, призванном спасти жизни невинных лягушек, которых используют для препарирования. Вместо лягушки настоящей разработчики предлагают студентам-медикам разрезать лягушку виртуальную, используя стилус Apple Pencil вместо скальпеля. Причем, все ее внутреннее устройство показано вполне реалистично (а насколько точно — не нам судить).

В AR-режиме вам предлагается выбрать подходящую поверхность и расположить виртуальную лягушку на ней. Однако, опять-таки, большого смысла в этом с образовательной точки зрения нет.

То же справедливо и для другого приложения, связанного с анатомией — только теперь уже человеческой: Complete Anatomy 2018. Здесь вы можете увидеть трехмерную модель скелета, схему мышечной ткани и прочего. Сделано это, опять-таки, очень здорово, наглядно, и для изучающих анатомию это, видимо, действительно классное пособие.

Но размещая виртуальное тело в пространстве вашей комнаты, вы ничего не выигрываете по сравнению с его обычным трехмерным отображением. Разве что появляется соблазн не покрутить его на экране, а физически обойти с разных сторон, и этим, конечно, стоит воспользоваться.

Существует и отдельное приложение, посвященное устройству человеческого сердца: Insight Heart. Опять же, в AR-режиме вы видите объект, парящий в воздухе, можете обойти и рассмотреть его или просто покрутить жестами по экрану, не вставая с места. Но в любом случае никакого взаимодействия его с реальным пространством вы не увидите.

Последний пример в этом разделе — WWF Free Rivers. Это уже наполовину игра, наполовину просветительский проект, разработанный, чтобы показать, как вмешательство человека в естественную среду может вредить ей или, наоборот, помогать. И принцип здесь несколько иной: виртуальная среда должна быть расположена внизу, а вам предлагается смотреть на нее с высоты птичьего полета. Лучше всего использовать в качестве поверхности стол. На нем появится трехмерная модель природной области, в центре которой — река.

Следуя за подсказками, вы можете построить дамбу — и увидеть, как растения по берегам пересыхают, можете взорвать ее — и природа опять расцветет буйным цветом… Вариантов действий здесь немного, но интересна сама идея: вы можете увидеть природный ландшафт буквально на своей ладони и своими руками на него воздействовать. Однако если говорить именно о реализации AR — хвалить здесь опять-таки особенно не за что.

«Но что же вы хотите от подобных приложений? Чем вас не устраивает то, что есть?» — могут спросить читатели. Попробуем объяснить на конкретном примере.

Выше было описано приложение для изучения человеческой анатомии. А теперь представьте, что пользователи не просто видели бы трехмерную модель в воздухе, но могли навести планшет на свою руку или ногу и увидеть ее анатомию. Разумеется, это было бы сделано с известной долей условности. Никто не требует, чтобы приложение отображало именно то, что внутри конкретной руки или ноги (да и откуда ему это знать? По крайней мере, на текущем уровне развития технологий). Но просто наложив трехмерное изображение из базы на реальный объект и меняя его угол в зависимости от изменения угла этого объекта (например, если вы будете поворачивать руку), мы получили бы совсем иной уровень наглядности и вовлечения в материал. И это был бы как раз отличный пример взаимодействия реального и виртуального объекта. Но увы, пока нам предлагают нечто куда более простое.

Пожалуй, единственное исключение — действительно интересная и полезная реализация принципа AR в образовательном приложении — было нами обнаружено в SketchAR. Его идея в том, чтобы научить рисовать с помощью дополненной реальности. Вы берете лист бумаги, закрепляете его (это важно), рисуете несколько отметок, после чего смотрите на лист через смартфон (в данном случае существует только версия для iPhone, хотя на iPad можно просто включить увеличение, но по факту с планшетом здесь только тяжелее). Приложение накладывает на картинку с камеры виртуальное двухмерное черно-белое изображение — например, единорога (есть и другие фигуры, но за каждую надо платить). Вам предлагается попробовать повторить линии и сделать, таким образом, настоящий рисунок.

Понятно, что когда вы совмещаете виртуальное изображение и реальный лист, повторить линии проще, поскольку они буквально накладываются на бумагу. Это в идеале. В реальности есть некоторые сложности с тем, чтобы изображение оставалось стабильным. Не говоря уже о том, что все время оглядываться на маленький экран смартфона не очень приятно. Но все же это пример того, как дополненная реальность может стать действительно необходимой. В данном случае, пусть и в примитивном виде, есть все три формы взаимодействия: пользователя с виртуальным объектом (поскольку рисуете вы, как бы повторяя виртуальные линии, виртуального объекта с реальным пространством (изображение накладывается на лист бумаги и «удерживается» на нем с помощью меток-крестиков) и пользователя с реальным пространством (вы рисуете).

Полезные (и не очень) утилиты

Помимо игровых и образовательных приложений AR используется во многих полезных утилитах, ориентированных не на развлечение, а на выполнение каких-то практических задач. Но вот насколько они действительно полезны и как AR может помочь в повседневной жизни — мы решили разобраться.

Рулетки

Самый популярный, простой и показательный инструмент — виртуальная рулетка. В App Store представлены различные варианты, но принцип везде один: с помощью камеры смартфона приложение определяет расстояние до точки, после чего вы можете построить линию до другой точки, а на экране увидите реальное расстояние. Круто? Да! Полезно? Вроде бы да. Но когда начинаешь пользоваться в реальной жизни, энтузиазм спадает. Представьте себе, что вам надо измерить расстояние по стене от угла. Так вот, попасть виртуальной точкой аккурат в угол практически нереально. Ну а любая погрешность, даже на один сантиметр, делает приложение уже малопригодным для использования в реальности. Или другой пример: нужно измерить расстояние между двумя шкафами. Но виртуальная рулетка не «знает», где начинается один шкаф и заканчивается другой.

В новой iOS 12 рулетка будет в числе предустановленных приложений. И зная перфекционизм Apple, хочется верить, что она окажется более «умной», чем те варианты, которые доступны сейчас.

Ikea Place

Еще одно «мебельное» приложение — Ikea Place. Идея, опять-таки, лежит на поверхности: вы можете выбрать из каталога известного мебельного магазина какие-то товары (диваны, шкафы, кресла и т. п.), после чего разместить их полноразмерные трехмерные модели в своей квартире.

Реализовано это достаточно просто, и для примерной прикидки — «как оно будет тут стоять?» — вполне действенно. Проблемы начинаются, как только вы пытаетесь «придвинуть» вашу виртуальную мебель вплотную к стенам или расположить несколько объектов рядом (такая возможность есть). Ikea Place не «считывает» стены или уже существующие объекты. Поэтому, например, выяснить, поместится ли этот диван здесь или нет, вы не сможете.

Конечно, развиваться надо именно в этом направлении: в идеале приложение само должно размещать выбранный предмет мебели точно в углу или вдоль стены и предупреждать пользователя, если что-то не получается. Ну а совсем прекрасно было бы, если бы после расстановки виртуальной мебели приложение обрабатывало получившуюся картинку и выдавало фотореалистичный снимок интерьера.

Christie’s

Помочь усовершенствовать свой интерьер призвана и AR-функция приложения Christie’s. Знаменитый аукционный дом, специализирующийся на продаже живописи и предметов изобразительного искусства, в прошлом году добавил возможность, позволяющую «разместить» выбранные картины в вашем интерьере.

Плюс в том, что они отображаются в реальном размере. Это, пожалуй, самая полезная опция. С другой стороны, очевидно, что именно в данном случае AR-режим — скорее развлечение. Все-таки выбирая полотно за несколько миллионов долларов (а именно такие лоты выставляются на Christie’s), покупатель вряд ли рассматривает приобретение просто как украшение интерьера.

Однако, если бы существовало приложение, через которое можно было приобрести более доступные, чисто декоративные картины, не претендующие на музейную ценность и призванные «закрыть дырку на обоях» (как говорилось в известном мультфильме), то там AR был бы как раз очень кстати. Разумеется, рассмотреть произведение в деталях вы все равно не смогли бы, но, по крайней мере, прикинуть размер, формат, оценить, как оно сочетается по цветовой гамме с обоями и мебелью — вполне можно было бы.

InkHunter

И последнее приложение, о котором мы расскажем, посвящено татуировкам — InkHunter. Идея простая: помочь пользователю понять, как татуировка будет смотреться на его теле. Казалось бы, вот идеальный пример практической пользы AR! Но, опять же, реальность вносит свои коррективы.

Для начала вам надо нарисовать на руке (на самом деле нарисовать — шариковой ручкой) крест, чтобы приложение могло ориентироваться по нему при размещении тату. Следующий ход — выбор собственно рисунка из базы. И, наконец, вы можете «расположить» этот рисунок на руке и через экран смартфона (в данном случае требуется смартфон, а не планшет) посмотреть на результат.

И в этот момент вас ждет разочарование: татуировка не «ложится», как должна была бы, она дергается, немного приподнимается над телом и, конечно, не повторяет его контуры. Поэтому понять, как действительно она будет смотреться на руке или ноге, проблематично.

Заключение

Знакомство с существующими AR-приложениями для iPad позволяет сделать невеселый вывод: индустрия приложений дополненной реальности пока находится в зачаточном состоянии. И проектов, по настоящему задействующих возможности этой технологии (точнее, возможности целого комплекса технологий, в сумме дающих настоящий AR), пока единицы.

Попытки использовать AR для практических целей в большинстве случаев демонстрируют сильный разрыв между классной идеей и несовершенным воплощением, делающим их применение в обычной жизни малополезным. Интереснее ситуация с играми: помимо нашумевшей Pokemon Go здесь есть и другие неплохие примеры использования дополненной реальности, хотя, опять же, говорить о серьезной игровой индустрии в сфере AR пока не приходится.

В случае с образовательной сферой AR и вовсе пока кажется фантомом. Мы нашли только одно приложение (SketchAR), где необходимость применения дополненной реальности была обусловлена самой сутью работы. В остальных же AR-режим никак не влиял на функциональность.

И это выявило базовую проблему AR-приложений: в подавляющем большинстве случаев их разработка начиналась совсем не с AR. Просто позже, на волне хайпа, было решено добавить еще и AR-режим — как говорится, до кучи. Но мало где его необходимость по-настоящему обоснована.

А для того, чтобы эта необходимость была, приложение должно обеспечивать те три формы взаимодействия, о которых мы писали выше: «пользователь — виртуальный объект», «виртуальный объект — реальное пространство», «пользователь — реальное пространство». Если есть хотя бы два из них, тогда AR имеет смысл. Если же нет — это не более чем попытка выехать на волне хайпа.

Гайд по виртуальным мирам: AR и VR

Дополненная реальность (англ. augmented reality) – это технология, которая расширяет физический мир, накладывая на него слои цифровой информации: звуки, видео, графику.

1.1. Виды AR

Обычно рассматривают четыре типа дополненной реальности:

на основе маркера (marker-based),
безмаркерная (markerless),
на основе проекции (projection-based),
на основе суперпозиции (superimposition-based).

В marker-based AR требуется конкретный шаблон, маркер, например, QR-код, поверх которого накладывается виртуальный объект.

Рис. 1. Маркерная AR

Как видно из названия, для разработки markerless приложения маркер не нужен. На окружающую среду накладывается сетка и обнаруживаются ключевые точки, к которым привязывается виртуальная модель.

Рис. 2. Безмаркерная AR

Projection-based AR разработан для того, чтобы сделать заводские предприятия умнее, безопаснее и эффективнее. Проектор устраняет необходимость в бумажных инструкциях, создавая цифровой слой практически на любой рабочей поверхности.

Projection-based AR

Superimposition-based AR частично или полностью заменяет исходное представление объекта дополненным представлением того же самого объекта.

Рис. 3. Superimposition-based AR

1.

2. Софт для AR

Чтобы создать приложение дополненной реальности, понадобится набор средств разработки (software development kit, SDK). Ниже мы рассмотрели наиболее популярные SDK.

ARKit

ARKit – это SDK для создания приложений дополненной реальности и игр для iPhone и iPad. Для него характерны следующие черты:

Надежное отслеживание лиц – легко применять эффекты для лица или создавать мимические выражения.
Отслеживание уровня освещенности среды для корректной постановки светового окружения виртуальных объектов.
Обнаружение 2D-объектов: горизонтальных, вертикальных и наклонных плоскостей. То есть, к примеру, столов и стен.

Интеграция с Unity и Unreal Engine.

Reality Composer – редактор для создания 3D-моделей.

RealityKit – рендеринг и анимация.

Поддерживаемые платформы: iOS 11.0 и выше.

Цена: бесплатно.

ARCore

На ARKit компания Google ответила своей разработкой – ARCore.

ARCore использует камеру телефона для определения функциональных точек и изменения их положения во времени. Визуальная информация комбинируется с данными, полученными от датчиков, для вычисления положения и ориентация телефона в пространстве.
Обнаружение плоских и наклонных поверхностей.
Автоматическая регулировка освещенности. Например, если вы находитесь в комнате с тусклым освещением, ARCore автоматически скорректирует изображение.
Привязка виртуальных объектов (котенок) к физическим объектам (стол). Если выйти из комнаты и вернуться, котенок останется на прежнем месте.
Интеграция с Unity и Unreal Engine.

Поддерживаемые платформы: Android 7.0 и выше, iOS 11 и выше.

Цена: бесплатно.

Vuforia

Официальный сайт. Особенности:

Распознавание текста и различных типов визуальных объектов (коробка, цилиндр, плоскость).
Поддерживает создание маркерных и безмаркерных AR.
3D-сканирование окружения.
Обнаружение нескольких объектов.
Режим Simulation Play, позволяющий проходить сквозь или вокруг 3D-модели и наблюдать за этим на компьютере.
API: C# для Unity, С++ для iOS, Java для Android.

Поддерживаемые платформы: Android 4.4.4 и выше, iOS 11 и выше.

Цена: от 99$/мес.

EasyAR

Официальный сайт. Характеристики:

Сканирование среды и генерация 3D-сетки в реальном времени.
Совместимость с Android смартфонами, которые ARCore не поддерживает.
Отслеживание 3D объектов.
Распознавание и отслеживание плоских изображений в режиме реального времени.
Запись экрана в форматах H.264/AAC/MP4.
Интеграция с Unity.

Поддерживаемые платформы: Android, iOS.

Цена: бесплатно.

Lens Studio

Официальный сайт. Возможности:

Отслеживания лица, шеи, локтей, рук.

Изменение цвета волос и наложение масок на лица.

Отложенная публикация «линз».

Создание 3D-моделей без написания кода в Material Editor.

Поддерживаемые платформы: Snapchat.

Цена: бесплатно

Spark AR

Официальный сайт. Функции:

Создание масок для Instagram.

Цветовые фильтры.

Трекинг лица, частей тела.

Поддерживаемые платформы: Instagram.

Цена: бесплатно

Виртуальная реальность (англ. virtual reality) – компьютерная симуляция альтернативной реальности.

2.1. Виды VR

Автономная VR работает сама по себе, без необходимости использования дополнительного внешнего оборудования (компьютер, консоль), например, Oculus Quest. Всё, что нужно, – это гарнитура и контроллеры VR.

Oculus Quest

VR на базе ПК – это любые гарнитуры, требующие постоянного подключения к ПК, такие как: PC Oculus Rift S, Valve Index, HTC Vive, Pimax и Windows Mixed Reality.

HTC Vive

Когда говорят о VR для консоли, обычно имеют ввиду PlayStation VR для PlayStation 4.

Рис. 4. PlayStation VR

2.2. Типы отслеживания движения

Наиболее распространенный способ отслеживания движений – система Inside-Out с камерами, встроенными в гарнитуру. Такой подход реализован в Oculus Rift S, HTC Vive Cosmos и всех гарнитурах Windows Mixed Reality.

Существует также схема отслеживания Outside-In с размещением базовых станций в углах комнаты, помогающих гарнитуре и контроллерам отслеживать их точное местоположение (HTC Vive Cosmos Elite, Valve Index).

Рис. 5. Отслеживание Outside-In и Inside-Out

В продвинутых гарнитурах используют одновременную локализацию и построение карты (SLAM), отслеживающую особенности физической среды, окружающей человека.

Пример работы SLAM

2.3. Базовые термины и понятия

Поле зрения (FOV). В контексте гарнитур VR поле зрения относится ко всему, что вы можете видеть в виртуальном мире при использовании гарнитуры.

Рис. 6. Поле зрения (FOV)

Степени свободы (DoF). Чем больше степеней свободы, тем больше физических движений будет отслеживаться гарнитурой. 3DoF (3 степени свободы) отслеживает только перемещение головы: крен, тангаж, рыскание, но не положение в пространстве по координатам (x, y, z). В современных гарнитурах используется 6DoF, отслеживающий как движения головы, так и ее координаты.

Рис. 7. Степени свободы 3DoF и 6DoF

Frames Per Second (FPS) – количество кадров в секунду.

Screen Resolution – количество пикселей, отображаемых на экране.

Spatial Audio (3D аудио) – пространственное звучание (используется для создания звука, который исходит из определенной точки виртуального мира).

Рис. 8. Spatial Audio (3D аудио)

2.4. VR через веб-браузер

WebGL – кроссплатформенный API для 3D-графики в браузере. Исполняется как элемент HTML5 и поэтому является полноценной частью объектной модели документа (DOM API) браузера. Может использоваться с языками программирования, поддерживающими DOM API: JavaScript, Rust, Java, Kotlin и др.

Для упрощения работы с WebGL существуют различные фреймворки. Все они распространяются под свободной лицензией (MIT, Apache 2 или BSD), написаны на JavaScript и имеют сходный набор функций: работа с геометрией, материалом, светом, анимацией, камерами, шейдерами, текстом и 3D-аудио. Вот некоторые из них:

three.js – сайт, GitHub, MIT.

Babylon.js – сайт, GitHub, Apache 2.

A-Frame – сайт, GitHub, MIT.

PlayCanvas – сайт, GitHub, Apache 2.

React 360 – сайт, GitHub, BSD.

AR.js – GitHub, MIT.

2.5. Программное обеспечение

Blender

Blender – это профессиональное и свободное ПО, предназначенное для создания трехмерной компьютерной графики . Он включает в себя инструменты для моделирования, анимации и рендеринга.

Unity

Unity является наиболее распространенным инструментом для разработки VR. С его помощью можно импортировать модели, созданные в Blender, настроить взаимодействие с этими моделями, а также их физику. Для скриптинга используется C# и UnityScript, напоминающий JavaScript. На этом движке можно создавать приложения для WebGL, Oculus Rift и HTC Vive. Также есть интеграция с ARCore, ARKit.

Цена: бесплатно и не требует отчислений с прибыли.

Ограничение: объем привлеченных инвестиций не более 100 тыс. долл. за последние 12 мес.

Unreal Engine

Основной конкурент Unity – Unreal Engine. В нем можно писать на C++ и Blueprints (визуальное программирование). Поддерживаемые платформы: AR (Android, iOS), VR (Google VR, Oculus, Gear VR, SteamVR, Windows MR)

Цена: бесплатно.

Ограничение: 5% от выручки с продаж, если ежеквартальная выручка превышает 3 тыс. долл.

Сравнение Unreal Engine и Unity

3.1. AR

Вводный курс в дополненную реальность и ARCore
AR Madness — ваш open source ARKit игровой туториал
Как использовать Vuforia в Unity для создания AR-приложений

3.2. VR

Разработка VR вместе с Unity
C# программирование для разработки игр на Unity
Blender: основы
Создание вашей первой VR-игры
3D модели для виртуальной реальности

***

Итак, для разработки AR-приложений основными инструментами являются ARkit и ARCore. Если вы пишете на JavaScript, обратите внимание на AR фреймворки, работающие через веб-браузер. С языками в VR всё очевидно: C# в Unity, C++ в Unreal Engine. Рынок AR и VR будет расти, так что успейте запрыгнуть в поезд, пока он не ушел!

Больше полезной информации вы найдете на наших телеграм-каналах «Библиотека программиста» и «Книги для программистов».

Интересно, перейти к каналу «Библиотека программиста»

Дополненная реальность — Apple

Что, если бы границы между вашим воображением и реальным миром не существовало? С дополненной реальностью это не только возможно, но и здесь.

AR меняет то, как вы работаете, учитесь, играете, делаете покупки и общаетесь с окружающим миром. Это идеальный способ визуализировать то, что иначе было бы невозможно или непрактично увидеть.

Apple обладает крупнейшей в мире платформой дополненной реальности с сотнями миллионов устройств с поддержкой дополненной реальности, а также тысячами приложений дополненной реальности в App Store. А поскольку аппаратное и программное обеспечение Apple с самого начала разрабатывалось для дополненной реальности, нет лучшего способа испытать дополненную реальность.

Посмотрите фильм

Вот лишь несколько отличных способов испытать дополненную реальность.

Зажимы.

AR Spaces расширяет вашу реальную среду с помощью игривых, захватывающих эффектов. Используя LiDAR для определения глубины, ¹ AR Spaces позволяет запускать взрывы конфетти, создавать виртуальный танцпол в своей комнате или оставлять за собой след из звезд. Запишите забавное сообщение или объявление — или видео просто так — в вертикальной или горизонтальной ориентации, готовой для социальных сетей, а затем поделитесь своим новым дополненным миром.

Снэпчат.

Общайтесь с друзьями весело и восхитительно с помощью эффектов дополненной реальности в Snapchat. С помощью сканера LiDAR (¹) ваше пространство превращается в волшебный лес с травой на полу, цветами на столе, виноградными лозами на стене и бесконечным звездным небом.

АРки.

ARki помогает вам визуализировать 3D-проекты в дополненной реальности, чтобы вы могли четко просматривать, делиться и сообщать о своих проектах. Использование новейших технологий LiDAR и People Occlusion в ARKit, ¹ ARki позволяет размещать и визуализировать объекты в мировом масштабе для максимальной реалистичности — или в виде миниатюры на вашем столе.

Уорби Паркер.

Получите доступ к сотням очков и солнцезащитных очков и посмотрите, как они смотрятся на вашем лице. С камерой TrueDepth на iPhone вы можете мгновенно увидеть себя в очках, прежде чем решить, стоит ли их покупать.

Для всего человечества: капсула времени.

Откройте для себя мир популярного сериала Apple TV+ Для всего человечества прямо к вам домой. Присоединяйтесь к Дэнни Стивенсу — сыну астронавтов Гордо и Трейси Стивенс — в интерактивном опыте с дополненной реальностью, когда он раскрывает воспоминания о десятилетии между сезонами 1 и 2. Изучите памятные сувениры, полные подробностей их жизни за кадром, где каждый объект рассказывает историю.

Цифровая зеркальная камера.

Снимайте и записывайте захватывающие кадры. Нет необходимости вручную маскировать объекты или людей. Сканер LiDAR фиксирует глубину, поэтому текст и графику можно перемещать за людей и объекты за считанные секунды. ¹

Место ИКЕА.

IKEA Place позволяет вам представить, как товары будут выглядеть, ощущаться и вписываться в ваш дом, даже не открывая входную дверь. С помощью сканера LiDAR, ¹, вы сможете обставить свою комнату умными предложениями продуктов, которые сочетаются с вашей существующей мебелью и вписываются в ваше пространство.

Музей живой.

Museum Alive использует возможности дополненной реальности, чтобы вернуть к жизни вымерших существ. Под руководством сэра Дэвида Аттенборо вы откроете для себя древних существ и фотореалистичные 3D-версии окаменелостей, которые они оставили.

Аппаратное и программное обеспечение, разработанное для AR.

Аппаратное и программное обеспечение Apple разрабатываются вместе для максимально эффективного использования дополненной реальности. Усовершенствованные камеры, потрясающие дисплеи, датчики движения и мощные графические процессоры в сочетании с пользовательским машинным обучением и передовыми инструментами разработки обеспечивают реалистичные и увлекательные возможности дополненной реальности. А поддержка дополненной реальности встроена непосредственно в iOS и iPadOS, поэтому вы можете использовать дополненную реальность не только в приложении, но и в Safari, почте, сообщениях, файлах и т. д. с помощью AR Quick Look.

Узнайте больше о дополненной реальности

в App Store.

Постоянно разрабатываются новые приложения, использующие преимущества дополненной реальности. И многие из ваших любимых приложений добавляют новые функции дополненной реальности. Найдите их все прямо сейчас в App Store.

Посмотреть приложения дополненной реальности в App Store

Внесите немного чуда в мир

с помощью ARKit 5.

ARKit 5 и RealityKit — это передовые платформы, которые позволяют разработчикам легко создавать увлекательные приложения дополненной реальности для iPhone и iPad. Начните делать что-то, чем можно удивиться сегодня.

Узнайте больше о разработке для AR

Узнайте, поддерживает ли ваше устройство iOS или iPadOS

AR. ²

iPhone 13
iPhone 13 мини
iPhone 13 Pro
iPhone 13 Pro Max
iPhone 12
iPhone 12 мини
iPhone 12 Pro
iPhone 12 Pro Max
iPhone 11
iPhone 11 Pro
iPhone 11 Pro Max
iPhone XSiPhone 10 s
iPhone XS MaxiPhone ten s Max
iPhone XRiPhone 10 R
iPhone X
iPhone 8
iPhone 8 Plus
iPhone 7
iPhone 7 Plus
iPhone 6s
iPhone 6s Plus
iPhone SE
(1-го поколения)
iPhone SE
(2-е поколение)

iPad Pro 12,9 дюйма
(5-го поколения)
iPad Pro 11 дюймов
(3-го поколения)
iPad Pro 12,9 дюйма
(4 поколения)
iPad Pro 11 дюймов
(2-го поколения)
iPad Pro 12,9 дюйма
(3 поколения)
iPad Pro 11 дюймов
(1-го поколения)
iPad Pro 12,9 дюйма
(2-го поколения)
iPad Pro 12. 9дюйм
(1-е поколение)
iPad Pro 10,5 дюйма
iPad Pro 9,7 дюйма
iPad Air (5-го поколения)
iPad Air (4-го поколения)
iPad Air (3-го поколения)
iPad (9-го поколения)
iPad (8-го поколения)
iPad (7-го поколения)
iPad (6-го поколения)
iPad (5-го поколения)
iPad mini
(6-е поколение)
iPad mini
(5-го поколения)

iPod touch
(7-го поколения)

Дополненная реальность — Apple (RU)

Вот лишь несколько отличных способов испытать дополненную реальность.

Зажимы.

AR Spaces расширяет вашу реальную среду с помощью игривых, захватывающих эффектов. Использование LiDAR для определения глубины, ¹ AR Spaces позволяет запускать взрывы конфетти, создавать виртуальный танцпол в своей комнате или оставлять за собой след из звезд. Запишите забавное сообщение или объявление — или видео просто так — в вертикальной или горизонтальной ориентации, готовой для социальных сетей, а затем поделитесь своим новым дополненным миром.

Снэпчат.

Общайтесь с друзьями весело и восхитительно с помощью эффектов дополненной реальности в Snapchat. С сканером LiDAR ¹ вы увидите, как ваше пространство превращается в волшебный лес с травой на полу, цветами на столе, лианами на стене и бесконечным звездным небом.

АРки.

ARki помогает вам визуализировать 3D-проекты в дополненной реальности, чтобы вы могли четко просматривать, делиться и сообщать о своих проектах. Используя новейшие технологии LiDAR и People Occlusion в ARKit, ¹ ARKi позволяет размещать и визуализировать объекты в мировом масштабе для максимальной реалистичности — или в виде миниатюры на вашем столе.

Цифровая зеркальная камера.

Снимайте и записывайте захватывающие кадры. На iPhone 12 Pro нет необходимости вручную маскировать объекты или людей. Сканер LiDAR фиксирует глубину, поэтому текст и графику можно перемещать за людей и объекты за считанные секунды.

Горячая лава.

Классическая игра «Горячая лава» в Apple Arcade скоро станет захватывающей игрой на новом iPad Pro со сканером LiDAR, превратив вашу гостиную в полосу препятствий, заполненную лавой. Гоняйте со своим персонажем по трассе, отскакивая от реальных и виртуальных объектов, чтобы завершить ее.

Музей живой.

Подорожник.

Проследите путь жизни растения и изучите сложную внутреннюю анатомию корня, стебля, листа и цветка. Наблюдайте за различными стадиями прорастания и узнавайте об оптимальных условиях роста с помощью собственного виртуального растения.

Аппаратное и программное обеспечение, разработанное для AR.

Аппаратное и программное обеспечение Apple разрабатываются вместе для максимально эффективного использования дополненной реальности. Усовершенствованные камеры, потрясающие дисплеи, датчики движения и мощные графические процессоры в сочетании с пользовательским машинным обучением и передовыми инструментами разработки обеспечивают реалистичные и увлекательные возможности дополненной реальности. А поддержка дополненной реальности встроена непосредственно в iOS и iPadOS, поэтому вы можете использовать дополненную реальность не только из приложения, но и в Safari, почте, сообщениях, файлах и т. д. с помощью AR Quick Look.

Узнайте больше о дополненной реальности

в App Store.

Посмотреть приложения дополненной реальности в App Store

Внесите немного чуда в мир

с помощью ARKit.

ARKit и RealityKit – это передовые платформы, которые упрощают разработчикам создание захватывающих приложений дополненной реальности для iPhone, iPad и iPod touch. Начните делать что-то, чем можно удивиться сегодня.

Узнайте больше о разработке для AR

Узнайте, поддерживает ли ваше устройство iOS или iPadOS

AR. ²

iPhone 13
iPhone 13 мини
iPhone 13 Pro
iPhone 13 Pro Max
iPhone 12
iPhone 12 мини
iPhone 12 Pro
iPhone 12 Pro Max
iPhone 11
iPhone 11 Pro
iPhone 11 Pro Max
iPhone XSiPhone 10 s
iPhone XS MaxiPhone ten s Max
iPhone XRiPhone 10 R
iPhone X
iPhone 8
iPhone 8 Plus
iPhone 7
iPhone 7 Plus
iPhone 6s
iPhone 6s Plus
iPhone SE
(1-го поколения)
iPhone SE
(2-е поколение)

iPad Pro 12,9 дюйма
(5-го поколения)
iPad Pro 11 дюймов
(3-го поколения)
iPad Pro 12,9 дюйма
(4 поколения)
iPad Pro 11 дюймов
(2-го поколения)
iPad Pro 12,9 дюйма
(3 поколения)
iPad Pro 11 дюймов
(1-го поколения)
iPad Pro 12,9 дюйма
(2-го поколения)
iPad Pro 12. 9дюйм
(1-е поколение)
iPad Pro 10,5 дюйма
iPad Pro 9,7 дюйма
iPad Air (5-го поколения)
iPad Air (4-го поколения)
iPad Air (3-го поколения)
iPad (9-го поколения)
iPad (8-го поколения)
iPad (7-го поколения)
iPad (6-го поколения)
iPad (5-го поколения)
iPad mini
(6-е поколение)
iPad mini
(5-го поколения)

iPod touch
(7-го поколения)

Дополненная реальность — Apple (RU)

Посмотрите фильм

Вот лишь несколько отличных способов испытать дополненную реальность.

Зажимы.

Снэпчат.

Общайтесь с друзьями весело и восхитительно с помощью эффектов дополненной реальности в Snapchat. С помощью сканера LiDAR, ¹, вы увидите, как ваше пространство превращается в волшебный лес с травой на полу, цветами на столе, виноградными лозами на стене и бесконечным звездным небом.

АРки.

Уорби Паркер.

Для всего человечества: Капсула времени.

Принесите мир популярного сериала Apple TV+ For All Mankind прямо к себе домой. Присоединяйтесь к Дэнни Стивенсу — сыну астронавтов Гордо и Трейси Стивенс — в интерактивном опыте с дополненной реальностью, когда он раскрывает воспоминания о десятилетии между сезонами 1 и 2. Изучите памятные сувениры, полные подробностей их жизни за кадром, где каждый объект рассказывает историю.

Цифровая зеркальная камера.

Место ИКЕА.

Музей живой.

Аппаратное и программное обеспечение, разработанное для AR.

Аппаратное и программное обеспечение Apple разрабатываются вместе для максимально эффективного использования дополненной реальности. Усовершенствованные камеры, потрясающие дисплеи, датчики движения и мощные графические процессоры в сочетании с пользовательским машинным обучением и передовыми инструментами разработки обеспечивают реалистичные и увлекательные возможности дополненной реальности. А поддержка дополненной реальности встроена непосредственно в iOS и iPadOS, поэтому вы можете испытать дополненную реальность не только из приложения, но и в Safari, почте, сообщениях, файлах и т. д., используя AR Quick Look.

Узнайте больше о дополненной реальности

в App Store.

Посмотреть приложения дополненной реальности в App Store

Внесите немного чуда в мир

с помощью ARKit 5.

Узнайте больше о разработке для AR

Узнайте, поддерживает ли ваше устройство iOS или iPadOS

AR. ²

iPhone 13
iPhone 13 мини
iPhone 13 Pro
iPhone 13 Pro Max
iPhone 12
iPhone 12 мини
iPhone 12 Pro
iPhone 12 Pro Max
iPhone 11
iPhone 11 Pro
iPhone 11 Pro Max
iPhone XSiPhone 10 s
iPhone XS MaxiPhone ten s Max
iPhone XRiPhone 10 R
iPhone X
iPhone 8
iPhone 8 Plus
iPhone 7
iPhone 7 Plus
iPhone 6s
iPhone 6s Plus
iPhone SE
(1-го поколения)
iPhone SE
(2-е поколение)

iPad Pro 12,9 дюйма
(5-го поколения)
iPad Pro 11 дюймов
(3-го поколения)
iPad Pro 12,9 дюйма
(4 поколения)
iPad Pro 11 дюймов
(2-го поколения)
iPad Pro 12,9 дюйма
(3 поколения)
iPad Pro 11 дюймов
(1-го поколения)
iPad Pro 12,9 дюйма
(2-го поколения)
iPad Pro 12. 9дюйм
(1-е поколение)
iPad Pro 10,5 дюйма
iPad Pro 9,7 дюйма
iPad Air (4-го поколения)
iPad Air (3-го поколения)
iPad (9-го поколения)
iPad (8-го поколения)
iPad (7-го поколения)
iPad (6-го поколения)
iPad (5-го поколения)
iPad mini
(6-го поколения)
iPad mini
(5-е поколение)

iPod touch
(7-го поколения)

7 лучших приложений дополненной реальности для iPhone

Дополненная реальность (AR) появилась на наших карманных компьютерах с тихим стуком, когда смартфоны были еще новыми. Ранние реализации AR были интересными, но печально известными ошибками. Это привело к тому, что многие списали эту технологию как уловку, а не как серьезный инструмент для работы и развлечений.

Перенесемся в июнь 2017 года, когда Apple анонсировала ARKit со значительными изменениями. AR больше не уловка, а мощный инструмент, который выглядит и ощущается естественно.

Давайте посмотрим, что такое ARKit, а затем перейдем к нашим любимым примерам лучших приложений дополненной реальности, доступных в настоящее время в App Store для iPhone.

Что такое ARKit и какие устройства его поддерживают?

AR означает дополненную реальность, которая, говоря простым языком, представляет собой трехмерную среду, созданную путем объединения элементов реальной жизни и виртуального контента. Вы можете добавить виртуальный контент в реальный мир вокруг вас для потрясающего сценария.

В реальном мире существует множество приложений дополненной реальности, которые вы можете проверить.

ARKit — это платформа дополненной реальности Apple для устройств iOS. Это позволяет разработчикам приложений интегрировать AR в свои приложения. Если вы пользователь, это не имеет к вам особого отношения, кроме того, что вы знаете, что именно благодаря ARKit в App Store существуют фантастические AR-приложения.

Вы можете загрузить все перечисленные ниже приложения, если у вас iPhone 6S или новее. Чем новее ваше устройство, тем на лучшую производительность вы можете рассчитывать.

Вот все лучшие бесплатные AR-приложения и игры для iPhone…

1. Место ИКЕА

3 изображения

Вы когда-нибудь хотели примерить мебель в своей комнате, прежде чем купить ее? Теперь это возможно с IKEA Place. В приложении представлены сотни шведских предметов мебели и украшений, которые вы можете виртуально разместить в непосредственной близости, чтобы посмотреть, как они выглядят.

ИКЕА обещает точное представление о размере, дизайне и функциональности выбранного вами предмета. Вероятно, к визуализации стоит отнестись с недоверием, но это отличный инструмент для создания виртуальной комнаты, которую затем можно преобразовать в цифровой список покупок.

Приложение постоянно добавляет больше товаров, и независимо от того, купите ли вы товар в ИКЕА или нет, приятно примерить мебель, чтобы оценить размер и решить, подходит ли что-то к вашему интерьеру.

Скачать: IKEA Place для iOS (бесплатно)

2. Цивилизации AR

3 изображения

Прогуляйтесь и осмотрите древнюю египетскую мумию, знаменитые произведения искусства Беллини и Тернера, римские шлемы, Розеттский камень и другие выставки. Артефакты очень детализированы, и вы можете перемещать их, увеличивать и видеть их реальный размер одним нажатием кнопки.

Мало того, что предмет увлекательный, это также отличный пример того, как дополненная реальность может переносить нас в места и позволяет нам испытать их так же, как если бы мы были в одной комнате.

Если вы хотите узнать больше, существует множество сайтов, которые оживляют историю, например приложение BBC Civilizations AR

Скачать: Civilizations AR для iOS (бесплатно)

3. TapMeasure

3 изображения

ARKit на удивление точен, но работает ли он как виртуальная рулетка? Это именно то, что пытается сделать TapMeasure. Приложение представляет собой виртуальную рулетку, трехмерный конструктор комнат и ватерпас — все в одном.

Хотите изменить дизайн своего дома? Вы можете создавать 3D-чертежи своих комнат с точными размерами, чтобы сохранять их и просматривать в любое время. Поделитесь своими 3D-моделями со своим дизайнером интерьеров или архитектором и сделайте весь процесс эффективным и простым.

Вы можете использовать его, чтобы узнать, поместится ли предмет мебели в вашу комнату, не передвигая его, или правильно ли повешены рамы на вашей стене.

Скачать: TapMeasure для iOS (бесплатно)

4. Эскиз AR

3 изображения

Это приложение позволяет вам очень легко рисовать и создавать наброски самым простым способом. Все, что вам нужно сделать, это навести камеру iPhone на свой блокнот или поверхность и проследить виртуальные линии, которые приложение создает для вас.

Кроме того, он позволяет мгновенно преобразовывать ваши изображения в уникальные иллюстрации. Вы также можете поиграть в веселые игры или выбрать различные курсы, которые помогут вам научиться рисовать портреты, мультфильмы, граффити и многое другое. Есть много других забавных инструментов, которые вы можете попробовать в приложении, чтобы помочь вашей творческой стороне расцвести.

Приложение имеет трехдневную бесплатную пробную версию, после чего вам необходимо подписаться на ежемесячный или годовой план по вашему выбору.

Загрузка: Sketch AR для iOS (доступны бесплатные покупки в приложении)

5. Гифский мир

3 изображения

Если вы помешаны на GIF, это для вас. GIPHY — лучшее место для поиска различных GIF-файлов, и теперь у них есть приложение AR, которое позволяет вам изменять мир вокруг себя с помощью GIF-файлов и наклеек.

Найдите свои любимые, выберите их и разместите в пространстве вокруг себя одним касанием.

Хотите показать друзьям? Вы также можете записать видео о том, что вы создали, или поделиться ссылкой. Если вам не нравится что-либо из уже существующей коллекции, не волнуйтесь. Вы можете использовать инструменты рисования Giphy World и создавать свои собственные стикеры.

Скачать: Giphy World для iOS (бесплатно)

6. Большой взрыв, дополненная реальность

3 изображения

Это приложение подняло дополненную реальность на совершенно новый уровень, визуально изображая, как на самом деле выглядел Большой взрыв. Как это круто?

Ученые

CERN и Google Arts and Culture объединили воедино фактические исследования и создали вокруг вас мир, в котором вы можете наблюдать за созданием пространства, времени и Вселенной в режиме реального времени.

Обратите внимание, что для работы этого приложения требуется часть вашей батареи, а также доступ к вашему местоположению, вашей камере и вашей галерее, чтобы вы могли сделать селфи со звездами вокруг вас и загрузить его в свою фотопленку. Однако в нем указано, что ваша личная информация всегда будет защищена.

Скачать: Big Bang AR для iOS (бесплатно)

7. Ночное небо

3 изображения

Зачем идти в планетарий, если можно заставить планетарий приехать к вам? Лягте на траву, наведите iPhone на ночное небо и определите все созвездия, звезды и планеты над вами. Вы даже можете найти Международную космическую станцию!

Вы можете получать уведомления, когда над вами вот-вот пролетят спутники Starlink. Функция «Карты» помогает вам искать определенные объекты в небе и перемещаться в пространстве. Затем проверьте свои знания с помощью их викторины, чтобы увидеть, как много вы узнали.

Night Sky также работает с Siri, если вы любите ярлыки. Не знаю, что-то? Наведите на нее камеру и спросите: «Эй, Сири, что это за звезда?» и получить ответ.

В этом приложении есть несколько потусторонних функций, которые вам обязательно нужно попробовать.

Скачать: Night Sky для iOS (бесплатно, доступна подписка)

Восход дополненной реальности

ARKit является доказательством того, что, казалось бы, мимолетное увлечение всегда может выиграть от поддержки и стандартизации, которые может предоставить такая компания, как Apple. И если этот разговор об AR покажется вам знакомым, помните, что дополненная реальность и виртуальная реальность — это разные вещи.

По мере роста популярности дополненной реальности в App Store появляется все больше и больше приложений ARKit. Если вы хотите обустроить свой дом, изучить астрономию или поиграть в игры в дополненной реальности, все это доступно для вас сейчас.

Все, что мы знаем на данный момент

Работа Apple в области дополненной и виртуальной реальности

Содержимое

Работа Apple с дополненной и виртуальной реальностью
Гарнитура AR/VR

Дизайн

Дисплей

Cameras

Control Methods

Processors

Naming

realityOS Operating System

WiFi 6E

Development Troubles

Development History

Pricing

Дата выпуска

Очки Apple

Команда Apple по AR/VR

AR/VR Приобретения и партнерство

Патенты на AR/VR

Гарнитура AR/VR второго поколения

Будущие планы Apple на AR/VR

Хронология Apple Glasses

Apple изучает технологии виртуальной и дополненной реальности почти 20 лет на основе патентных заявок, но Популярность виртуальной и дополненной реальности резко возросла с запуском ARKit, и попытки Apple становятся все более серьезными, и ожидается, что где-то в 2023 году они приведут к созданию продукта AR/VR.

В Apple есть исследовательское подразделение, над которым работают сотни AR и VR и изучение способов использования новых технологий в будущих продуктах Apple. За последние несколько лет количество найма AR/VR увеличилось, и Apple приобрела несколько компаний, занимающихся AR/VR, поскольку продвигает свою работу в сфере AR/VR.

Apple работает как минимум над двумя проектами AR, которые включают в себя гарнитуру дополненной реальности, которая будет выпущена в 2023 году, а затем более элегантные очки дополненной реальности, которые появятся позже. Эти два проекта вызвали некоторую путаницу в отношении того, что и когда будет, но теперь ясно, что будет выпущена гарнитура AR/VR (или смешанной реальности), а затем очки дополненной реальности.

Первоначально предполагалось, что гарнитура Apple AR/VR выйдет где-то в 2022 году, возможно, на WWDC в июне, но есть проблемы с разработкой, которые Apple необходимо решить. На данный момент похоже, что мы не увидим гарнитуру AR/VR до 2023 года. Надежные источники, такие как аналитик Apple Минг-Чи Куо и Марк Гурман из Bloomberg указал, что гарнитура, скорее всего, будет выпущена в 2023 году, а очки появятся в 2024 или 2025 году. Процессоры серии A, производительность которых будет на уровне компьютеров Mac от Apple. Внутри него будет два чипа, которые позволят ему выполнять сложные задачи и управлять возможностями виртуальной реальности, а также он сможет работать независимо от iPhone или Mac.

По дизайну гарнитура будет похожа на другие гарнитуры на рынке, такие как Facebook Oculus Quest, но будет иметь более гладкий дизайн и легкий вес для обеспечения комфорта. Два микро-OLED-дисплея высокого разрешения с разрешением до 3000 пикселей на дюйм обеспечат захватывающий просмотр, а также может быть дополнительный дисплей сбоку для периферийного зрения.

Apple встраивает в гарнитуру более дюжины камер для отслеживания движений рук и жестов, что станет одним из методов контроля наряду с отслеживанием взгляда. Apple также может включать изношенные устройства ввода, одно из которых может напоминать наперсток, надетый на палец.

Несколько модулей 3D-датчиков будут включены для обнаружения жестов рук и объектов, которые находятся вокруг владельца, и оно будет поддерживать голосовое управление, обнаружение кожи, пространственное определение и определение выражения. Наряду с захватывающим видео, гарнитура также будет использовать пространственный звук для иммерсивного звука.

Apple разрабатывает App Store для гарнитуры, и контент будет сосредоточен на играх, потоковом видео и видеоконференциях. Он будет работать под управлением «rOS», новой операционной системы, разработанной специально для гарнитуры.

Поскольку гарнитура AR/VR — это совершенно новая категория продуктов, использующая передовые технологии, она не будет дешевой. По слухам, он может стоить более 2000 долларов.

Гарнитура будет ориентирована на виртуальную реальность с некоторыми ограниченными возможностями дополненной реальности, но Apple имеет более глубокие амбиции в области дополненной реальности. Ожидается, что после гарнитуры AR/VR Apple выпустит набор очков дополненной реальности, которые будут похожи на стандартные очки, но с возможностями AR.

В мае Apple продемонстрировала свою гарнитуру AR/VR членам совета директоров Apple, предполагая, что устройство находится на продвинутой стадии разработки, а это означает, что оно приближается к запуску. Ожидается, что он выйдет в 2023 году.

Примечание: Увидели ошибку в этом обзоре или хотите оставить отзыв? Отправьте нам письмо здесь.

Гарнитура AR/VR

Первая гарнитура Apple будет поддерживать возможности как AR, так и VR, технологии, которую обычно называют «смешанной реальностью». Дополненная реальность (AR) и виртуальная реальность (VR) — похожие технологии, но их потенциальное применение значительно различается.

Под виртуальной реальностью понимается полное погружение в виртуальный мир, а под дополненной реальностью понимается модифицированный взгляд на реальный мир. В виртуальной реальности реальный мир в значительной степени закрыт, чтобы сосредоточиться на полностью виртуальном опыте, но дополненная реальность накладывает виртуальные элементы на ваш взгляд на реальный мир.

Google Glass, продукт Google, который в настоящее время в значительной степени не существует, является примером устройства дополненной реальности для ношения на голове, в то время как Oculus и PlayStation VR являются примерами устройств виртуальной реальности для ношения на голове. Apple работает над обеими этими технологиями, но первоначальный продукт будет больше похож на Oculus, чем на Google Glass.

Виртуальная реальность особенно ориентирована на иммерсивное потребление контента, потому что она заставляет владельца чувствовать, что он действительно переживает то, что происходит в моделируемом мире, посредством визуальной, тактильной и звуковой обратной связи. Виртуальная реальность прямо сейчас связана с играми, но она также может воссоздавать реальный мир для образовательных или обучающих целей.

Дополненная реальность не зависит от иммерсивного контента, и, хотя она менее захватывающая, поскольку дополняет реальность, а не заменяет ее, она имеет более широкий спектр потенциальных применений, и Apple, похоже, больше всего заинтересована в этой технологии. Гарнитура Apple будет поддерживают как AR, так и VR, что называется смешанной реальностью, и это то, что мы видели в таких продуктах, как HoloLens от Microsoft.

Смешанная реальность объединяет реальный и виртуальный контент для создания новых сред, в которых физические и цифровые объекты можно просматривать и взаимодействовать вместе. На практике мы еще не знаем, какой именно опыт обеспечит гарнитура Apple, но мы можем рассчитывать на иммерсивные игры, более интерактивные FaceTime и чаты, а также новые инструменты обучения.

Дизайн

Гарнитура AR/VR от Apple будет похожа на некоторые другие VR-гарнитуры, представленные на рынке, с дизайном, не слишком далеким от гарнитуры виртуальной реальности Facebook Oculus Quest. Некоторые детали дизайна были раскрыты в слухах, и Информация даже видел прототип, так что у нас есть хорошее представление о том, чего ожидать.

В гарнитуре используются ткани и легкие материалы, обеспечивающие удобную посадку. Он был описан как имеющий «гладкий изогнутый козырек, прикрепленный к лицу с помощью сетчатого материала, и сменные повязки на голову». Представленные ниже рендеры от дизайнера Яна Зелбо основаны на описаниях этих наушников.

Ремешок сзади, сделанный из материала, похожего на ремешок Apple Watch, будет удерживать гарнитуру на голове пользователя, а мягкая сетка обеспечивает удобную посадку на передней части лица. Ободки сменные и имеют возможность регулировки размера.

Одно оголовье предположительно оснащено технологией пространственного звука, такой как AirPods Pro, для объемного звучания, а другое обеспечивает дополнительное время автономной работы в пути. Гарнитура также сможет реагировать на движения глаз и жесты рук владельца, а один прототип гарнитуры также имел физический циферблат на стороне козырька.

Дизайн блокирует периферийное зрение, чтобы предотвратить попадание света в поле зрения владельца, и, возможно, будет иметь обращенный наружу козырек для показа графики другим.

Текущие прототипы гарнитур весят от 200 до 300 граммов, но Apple стремится уменьшить окончательный вес до 100-200 граммов, если удастся решить технические проблемы, что сделает гарнитуру легче, чем существующие устройства виртуальной реальности.

Дисплей

По слухам, гарнитура AR/VR будет иметь от двух до трех дисплеев. Будет два дисплея micro OLED с разрешением 4K и разрешением до 3000 пикселей на дюйм. Ожидается, что Sony поставит модули дисплея, которые будет использовать Apple, хотя Apple также может использовать некоторые OLED-дисплеи от Samsung.

Дисплеи Micro OLED изготавливаются непосредственно на чип-пластинах, а не на стеклянной подложке, что делает дисплеи тоньше, меньше по размеру и более энергоэффективными. Они позволяют использовать пиксели размером от 4 до 20 микрометров по сравнению со стандартными OLED-панелями от 40 до 300 микрометров, а также имеют более быстрое время отклика, составляющее микросекунды, что делает их идеальными для приложений дополненной реальности (AR) и виртуальной реальности (VR). .

Гарнитура AR/VR также будет включать внешний внешний дисплей, который будет представлять собой стандартный OLED-дисплей, поставляемый LG Display. Стандартный OLED-дисплей будет простым внешним индикатором, для которого не требуется более качественная микро-OLED-технология, используемая для обеденного дисплея.

Apple использует линзы «Pancake», которые позволяют сделать устройство тонким и легким. Линзы-блинчики дороже, чем технология линз Френеля, используемая в других гарнитурах виртуальной реальности, но они делают устройство намного тоньше.

Из-за плотного прилегания гарнитуры к лицу пользователи не смогут носить очки, поэтому поверх экранов может быть предусмотрена возможность надевания линз по рецепту.

Камеры

Гарнитура будет оснащена более чем дюжиной оптических камер для отслеживания движений рук, отображения окружающей среды и проецирования визуальных впечатлений. Говорят, что одной из отличительных особенностей гарнитуры являются реалистичные аватары с точными чертами лица, запечатленными встроенными камерами.

Сообщается, что восемь модулей камеры будут использоваться для прозрачной дополненной реальности для пользователя, а еще шесть модулей будут использоваться для «инновационной биометрии». Одна камера также будет доступна для обнаружения окружающей среды.

Будет набор камер с функцией обнаружения глаз, которые предположительно позволят пользователям «читать мелкий шрифт» и видеть других людей, стоящих перед виртуальными объектами и позади них.

Гарнитура сможет точно отображать поверхности, края и размеры комнат.

Методы управления

Apple изучает несколько методов ввода для гарнитуры AR/VR, включая жесты рук, отслеживание взгляда и ввод с носимого устройства, подключенного к гарнитуре.

Усовершенствованная система слежения за глазами обеспечивает интуитивно понятный визуальный опыт, который плавно взаимодействует с внешней средой, а также облегчает управление движениями глаз. Распознавание радужной оболочки глаза будет включено в систему слежения за глазами, которая может быть методом аутентификации.

Будет четыре модуля 3D-сенсора для обнаружения жестов рук и близлежащих объектов посредством пространственного обнаружения, а гарнитура также будет иметь голосовое управление и поддержку команд Siri. Он также обнаружит кожу и сможет отслеживать выражение лица.

Apple работает над несколькими методами управления, включая «устройство, похожее на наперсток, которое можно носить на пальце».

Процессоры

Два процессора M2 уровня Mac будут включены в гарнитуру AR/VR для беспрецедентной вычислительной мощности носимого устройства. Apple использует те же чипы, что дебютировали в MacBook Air. Сообщается, что Apple примет 9Адаптер питания на 6 Вт для зарядки гарнитуры за счет мощных чипов.

Основной процессор высокого класса будет использоваться вместе с процессором более низкого уровня для управления аспектами устройства, связанными с датчиками. Один из этих чипов может быть 4-нанометровым, что является новейшей технологией TSMC, а другой — 5-нанометровым. Гарнитура не будет зависеть от iPhone или Mac в плане вычислительной мощности, она будет иметь независимое питание и хранилище.

Apple завершила работу над SoC для гарнитуры AR/VR и оптимизирует беспроводную передачу данных, сжатие и распаковку видео, а также энергоэффективность для максимального времени автономной работы, хотя у них нет нейронного движка, как у некоторых других продуктов Apple. чипсы.

Именование

В заявках на товарные знаки предполагается, что Apple может назвать гарнитуру смешанной реальности, которая находится в разработке, «Reality Pro» или «Reality One». Apple зарегистрировала эти названия в дополнение к «Reality Processor», так что похоже, что мы могли бы получить имена, связанные с реальностью.

Apple зарегистрировала эти названия в США, Великобритании, Канаде, Австралии, Новой Зеландии, Саудовской Аравии, Коста-Рике и Уругвае, используя подставные компании.

Операционная система realOS

Ожидается, что гарнитура AR/VR будет работать под управлением новой операционной системы под названием «realityOS», что означает операционная система Reality. Намеки на название rOS были найдены в исходном коде Apple, так что, скорее всего, это будет имя, которое будет использовать Apple.

Apple хочет создать магазин приложений для гарнитуры с упором на игры, потоковое видео и видеоконференции. Он был описан Bloomberg как «всеохватывающая трехмерная цифровая среда», предназначенная для игр, потребления мультимедиа и общения. Apple, возможно, планирует работать с медиа-партнерами для создания контента, который можно будет смотреть в виртуальной реальности, и может быть VR-подобный FaceTime опыт с Animojis и другими функциями.

Когда вы общаетесь с кем-то по FaceTiming, вместо того, чтобы видеть его реальное лицо, вы можете вместо этого увидеть его трехмерную версию Memoji-персонажа. Гарнитура сможет считывать выражения и черты лица, сопоставляя их в режиме реального времени для реалистичного общения в чате. SharePlay, функция, представленная в iOS 15, также может быть сильно интегрирована, и ожидается, что гарнитура будет интегрироваться с существующими сервисами Apple, такими как Apple TV+ и Apple Arcade.

Apple подала заявку на регистрацию товарных знаков для «realityOS», название, ожидаемое для гарнитуры AR/VR. Заявки на товарные знаки были поданы в декабре 2021 года, и крайний срок подачи иностранных заявок — 8 июня 2022 года, но эта дата является требованием закона и не имеет отношения к WWDC.

WiFi 6E

Готовящаяся к выпуску гарнитура смешанной реальности Apple будет предлагать поддержку WiFi 6E, которая является последней спецификацией WiFi. Говорят, что Apple планирует внедрить Wi-Fi 6E, чтобы обеспечить высококачественный, захватывающий опыт с надежной беспроводной связью. WiFi 6E обладает всеми преимуществами WiFi 6, но добавляет спектр 6 ГГц в дополнение к диапазонам 2,4 ГГц и 5 ГГц для увеличения пропускной способности и уменьшения помех между устройствами.

Проблемы разработки

Выпуск гарнитуры AR/VR от Apple может столкнуться с очередной задержкой, поскольку Apple сталкивается с проблемами разработки, которые необходимо решить. Согласно Bloomberg , Apple уже несколько раз откладывала планы выпуска гарнитуры. Первоначально Apple планировала выпустить гарнитуру в 2021 году и выпустить ее в 2022 году, а затем отложила это до WWDC 2022 года.

Теперь маловероятно, что мы увидим гарнитуру на Всемирной конференции разработчиков в этом году, потому что Apple еще предстоит решить несколько проблем. С мощным процессором внутри гарнитура перегревается, а еще бывают проблемы с камерой и софтом.

Как минимум один из чипов, разработанных для гарнитуры, не уступает M1 Pro из последних моделей MacBook Pro, а тепловые требования чипа вызывают проблемы с рассеиванием тепла.

Apple рассматривает возможность отсрочки выпуска гарнитуры AR/VR до конца 2022 или 2023 года, а партнерам компании по цепочке поставок сообщили, что она вряд ли будет выпущена до 2023 года. Однако Apple настаивает на том, чтобы поставщики были в наличии. к концу 2022 года.

Учитывая задержку, Apple планирует сосредоточиться на гарнитуре во время Всемирной конференции разработчиков 2023 года. Apple будет поощрять разработчиков к созданию приложений дополненной и виртуальной реальности для магазина приложений rOS.

История развития

Apple уже давно работает над технологиями дополненной и виртуальной реальности, и в компании работает огромная команда сотрудников, разрабатывающих продукты AR/VR для головных уборов. Считается, что в будущем устройства AR/VR заменят iPhone, что может произойти уже через 10 лет.

iPhone — самый прибыльный и важный продукт Apple, поэтому то, что технология гарнитуры AR/VR заменит iPhone, дает нам некоторое представление о том, насколько она важна для будущего Apple.

Ходят слухи, что первоначальная конструкция гарнитуры включала в себя вентилятор и мощные процессоры, но устройство было слишком тяжелым. Ранние проекты также требовали, чтобы гарнитура использовала вычислительную мощность подключенного iPhone или Mac, но Apple изменила дизайн и добавила в саму гарнитуру высокопроизводительные чипы.

Ранние прототипы описывались как имеющие дисплей 8K для каждого глаза, и ходили слухи, что гарнитура будет подключаться к «выделенной коробке» с использованием высокоскоростной беспроводной технологии ближнего действия, называемой WiGig 60 ГГц. Коробка будет оснащена специальным 5-нанометровым процессором Apple, который «более мощный, чем все, что доступно в настоящее время». Коробка, по-видимому, напоминает башню для ПК, но это «не будет настоящим компьютером Mac».

Внутренние разногласия со временем сформировали и изменили цели Apple в отношении своей гарнитуры AR, и слухи предполагают, что Apple не пошла на «коробочный» дизайн, потому что бывший дизайнер Apple Джони Айв не хотел продавать устройство, для которого потребовалось бы отдельное стационарное устройство. дополнение для полной функциональности.

Мне нужна была гарнитура с менее мощной технологией, которую можно было бы встроить непосредственно в устройство, но лидер группы AR/VR Майк Роквелл хотел более мощное устройство. Это было противостояние, которое длилось несколько месяцев, и Тим Кук в конечном итоге встал на сторону Айва, изменив направление дизайна гарнитуры Apple.

Цена

Цена на гарнитуру может начинаться примерно с 3000 долларов, что делает ее намного дороже, чем iPhone. Начнем с того, что он не будет нацелен на обычных потребителей, а будет позиционироваться как устройство для разработчиков, создателей контента и профессионалов.

Apple планирует продавать только одну гарнитуру в день в каждом розничном магазине, и она сообщила поставщикам, что ожидает продаж от семи до 10 миллионов единиц в течение первого года доступности.

Дата выпуска

Ходили слухи, что Apple нацелилась на WWDC 2022 в качестве даты презентации гарнитуры AR/VR, но из-за проблем, описанных выше, теперь похоже, что самое раннее, что мы можем увидеть, это конец 2022 года, а возможно, 2023 год. даже более вероятно.

Аналитик Apple Минг-Чи Куо полагает, что гарнитура будет анонсирована в январе 2023 года, после чего последует запуск, а Марк Гурман из Bloomberg недавно сказал, что, хотя Apple нацелилась на середину 2022 года для обнародования, теперь это было перенесено. до конца года или 2023 года.

Согласно DigiTimes , Apple в феврале 2022 года завершила ключевые производственные испытания (EVT 2) своей гарнитуры AR/VR, убедившись, что прототипы способны соответствовать целям и спецификациям Apple в отношении дизайна. DigiTimes считает, что гарнитура поступит в массовое производство в период с августа по сентябрь, а запуск состоится до конца года, но это не согласуется с другими слухами о задержках и 2023 г. запуск.

Очки Apple

За гарнитурой Apple AR/VR последует продукт дополненной реальности, который, по слухам, называется Apple Glasses. Очки Apple будут больше похожи на повседневные очки, чем на гарнитуру, поскольку они будут напоминать традиционные очки.

Говорят, что очки похожи на обычные очки, причем обе линзы оснащены дисплеями, с которыми можно взаимодействовать с помощью жестов. Будет возможность получить очки без рецептурных линз по возможной стартовой цене 49 долларов.9, с рецептурными линзами, доступными за дополнительную плату.

Согласно Bloomberg , очки находятся на ранней стадии разработки, даже раньше, чем гарнитура AR/VR, над которой работает Apple. Очки были описаны как «несколько лет».

Apple, как утверждается, планирует использовать «передовые» OLED-микродисплеи, поставляемые Sony, для своих, по слухам, очков дополненной реальности. Микродисплеи OLED от Sony отличаются сверхвысокой скоростью отклика, сверхвысокой контрастностью, широкой цветовой гаммой, высокой яркостью, низким коэффициентом отражения и встроенными драйверами для тонкой и легкой конструкции. Говорят, что очки оснащены 0,5-дюймовым дисплеем с разрешением 1280×9.разрешение 60.

Куо ожидает, что очки дополненной реальности будут продаваться как аксессуар для iPhone и в первую очередь будут играть роль дисплея, перекладывая на iPhone вычисления, работу в сети и позиционирование, а очки обеспечивают «оптическую прозрачность дополненной реальности» для мобильных устройств. Предложение очков дополненной реальности в качестве аксессуара для iPhone позволит Apple сохранить их тонкими и легкими.

Ликер Джон Проссер утверждает, что очки будут похожи на Ray-Ban Wayfarers или очки, которые носит Тим Кук, в то время как Bloomberg сообщил, что нынешний прототип напоминает высококачественные солнцезащитные очки с толстой оправой, в которой находится батарея и микросхемы.

Проссер также говорит, что Apple работает над ограниченной серией умных очков «Наследие Стива Джобса», которые выглядят как круглые безрамные очки, которые носил Стив Джобс, но Bloomberg ‘s Марк Гурман назвал этот слух «полной выдумкой».

Мы еще не знаем, когда Apple Glasses будут выпущены, но поскольку этот продукт ожидается после гарнитуры AR/VR, 2023 или 2024 год кажутся самой ранней возможной целевой датой.

Команда Apple AR/VR

Работа Apple над виртуальной и дополненной реальностью началась несколько лет назад, но слухи появились в марте 2015 года, когда появились новости о том, что у Apple есть небольшая команда людей, работающих над дополненной реальностью. В 2015 году и в начале 2016 года команда Apple росла, поскольку компания нанимала сотрудников с опытом работы с технологиями AR / VR и делала несколько связанных приобретений.

Команда Apple по AR/VR включает в себя несколько сотен инженеров Apple, каждый из которых имеет опыт работы с виртуальной и дополненной реальностью. Команда работает в офисных парках как в Купертино, так и в Саннивейле, и Apple изучает несколько аппаратных и программных проектов под кодовым названием «T288».

Команда дополненной реальности Apple сочетает в себе «сильные качества ветеранов аппаратного и программного обеспечения» и возглавляется Майком Роквеллом, пришедшим из Dolby. Над AR в Apple работают бывшие сотрудники таких компаний, как Oculus, Amazon (из команды VR), Lytro, Microsoft, 3D-анимационной компании Weta Digital и Lucasfilm.

Бывший руководитель отдела разработки аппаратного обеспечения Apple Дэн Риччио в январе 2021 года перешел на новую должность, в которой он курирует работу Apple над гарнитурой AR/VR. Проект столкнулся с трудностями при разработке, и руководители Apple считают, что внимание Риччио может помочь.

Исполнительный директор Apple по программному обеспечению Ким Форрат также входит в команду дополненной реальности, и ее называют «могущественной силой», которая следит за тем, чтобы сотрудники укладывались в сроки, а также выявляет ошибки.

Apple наняла ряд известных экспертов по AR/VR и AI, в том числе профессора компьютерных наук Дуга Боумена, бывшего инженера Magic Leap Зейу Ли, бывшего исследователя Oculus Юрия Петрова, эксперта по дополненной реальности и бывшего сотрудника НАСА Джеффа Норриса, эксперта по приложениям для виртуальной реальности Стерлинга. Криспин и производитель VR-камер Артур ван Хофф.

AR/VR Приобретение и партнерство

Многие члены команды Apple AR/VR могли присоединиться к компании в результате приобретений. С 2015 года Apple приобрела несколько компаний, которые создавали продукты, связанные с AR/VR, а некоторые из ее приобретений AR/VR датируются даже несколькими годами ранее.

Акония Голографикс

Apple в августе 2018 года купила Akonia Holographics — стартап, производящий линзы для очков дополненной реальности. Akonia Holographics рекламирует «первую в мире коммерчески доступную объемную голографическую отражающую и волноводную оптику для прозрачных элементов дисплея в умных очках».

Сообщается, что в производимых ею дисплеях используется разработанная компанией технология HoloMirror для «сверхчеткой полноцветной производительности», позволяющая создавать «самые тонкие и легкие в мире дисплеи для ношения на голове».

Врвана

В ноябре 2017 года Apple приобрела компанию Vrvana, разработавшую гарнитуру смешанной реальности под названием Totem. Totem, который так и не был выпущен для широкой публики, был разработан для объединения технологий дополненной и виртуальной реальности в одной гарнитуре, объединяя все возможности виртуальной реальности с проходными камерами для включения функций дополненной реальности на основе экрана.

Totem по сути использовал набор камер для проецирования изображений реального мира на встроенный OLED-дисплей с разрешением 1440p. Это несколько уникальный подход, отличающий его от конкурирующих продуктов, таких как Microsoft HoloLens, в котором используется прозрачный дисплей для объединения виртуального и дополненная реальность. Apple может планировать использовать некоторые технологии Totem в будущих продуктах.

PrimeSense

В 2013 году Apple приобрела израильскую компанию PrimeSense, специализирующуюся на трехмерном распознавании тела, что вызвало слухи о том, что возможности на основе движения будут реализованы в Apple TV. Технология трехмерной глубины PrimeSense и возможности обнаружения движения использовались в первоначальной платформе Microsoft Kinect.

PrimeSense использовал свет ближнего ИК-диапазона для проецирования невидимого света в комнату или сцену, который затем считывался датчиком изображения CMOS для создания виртуального изображения объекта или человека. Это позволяет управлять программными интерфейсами на основе движения, но также может выполнять такие действия, как измерение виртуальных объектов и предоставление относительных расстояний или размеров, что полезно для приложений дополненной реальности, таких как интерактивные игры, картографирование помещений и многое другое. Технология PrimeSense также может создавать высокоточные 360-градусные сканирования людей и объектов, потенциально полезные для приложений виртуальной реальности.

Метайо

Apple приобрела стартап дополненной реальности Metaio в мае 2015 года. Metaio создала продукт под названием Metaio Creator, который можно использовать для создания сценариев дополненной реальности всего за несколько минут. До покупки Apple программное обеспечение Metaio использовалось такими компаниями, как Ferrari, которые создали демонстрационный зал дополненной реальности.

Технология Metaio также использовалась в Берлине, чтобы позволить людям, посещающим место Берлинской стены, использовать смартфон или планшет, чтобы увидеть, как выглядел район, когда Берлинская стена еще стояла. Технология Metaio потенциально может быть использована для реализации возможностей дополненной реальности в приложениях Apple, таких как Карты.

Сдвиг лица

Apple приобрела Faceshift в августе 2015 года, что ознаменовало собой вторую покупку дополненной реальности в 2015 году. До того, как Apple приобрела Faceshift, компания Faceshift работала с игровыми и анимационными студиями над технологией, предназначенной для быстрого и точного захвата выражений лица с помощью 3D-сенсоров и преобразования их в анимированные изображения. лица в режиме реального времени. Faceshift также работал над продуктом, ориентированным на потребителя, который позволял бы людям превращать свои лица в мультяшные лица или лица монстров в режиме реального времени в Skype.

Технология Faceshift имеет широкий спектр возможных вариантов использования, и Apple, похоже, использует эту функцию для включения Animoji в iPhone, оснащенных системой фронтальных камер TrueDepth.

Эмотиент

Emotient, компания, которая создавала инструменты для анализа выражения лица, была приобретена Apple в январе 2016 года. Технология Emotient использует искусственный интеллект и машинное обучение для чтения человеческих эмоций, функции, которые рекламодатели использовали в реальном мире для определения эмоций. реакции на рекламу.

Есть множество вещей, которые Apple может сделать с Emotient, начиная от лучшего распознавания лиц в приложении «Фотографии» и заканчивая анализом чувств клиентов в розничных магазинах Apple и разблокировкой устройств iOS, но у него также есть потенциальные возможности использования AR/VR. Как и Faceshift, технологию Emotient можно использовать для анализа и преобразования выражений лица для создания виртуальных аватаров, полезных для социальных сетей и игр. Технология Emotient, вероятно, использовалась для Animoji.

Flyby Media

Купленная в начале 2016 года компания Flyby Media — еще одна компания, работавшая над дополненной реальностью. Flyby создала приложение, которое работало со смартфоном Google «Project Tango», оснащенным 3D-датчиком, позволяя прикреплять сообщения к объектам реального мира и просматривать их другими с помощью одного из устройств Google.

Взгляд на приложение Flyby Messenger до того, как оно было удалено из App Store, через TechCrunch

Например, человек может «отсканировать» достопримечательность, такую как мост Золотые Ворота в Сан-Франциско, и написать сообщение, прикрепленное к нему. . Человек, посетивший мост позже, сможет отсканировать мост с помощью приложения Flyby, чтобы увидеть сообщение. Приложение Flyby, вероятно, привлекло внимание Apple, потому что оно могло распознавать и понимать различные отсканированные объекты — технология, которую Apple могла использовать различными способами в таких приложениях, как «Фото» и «Карты».

RealFace

В феврале 2017 года Apple приобрела RealFace, компанию по кибербезопасности и машинному обучению, которая специализируется на технологии распознавания лиц, которая потенциально может быть использована для будущих функций дополненной реальности.

Компания RealFace разработала технологию распознавания лиц, интегрирующую искусственный интеллект для беспроблемного распознавания лиц. Технология RealFace, вероятно, использовалась в iPhone X, первом смартфоне Apple с функциями распознавания лиц в виде Face ID.

НекстВР

В мае 2020 года Apple приобрела NextVR, калифорнийскую компанию, которая объединила виртуальную реальность со спортом, музыкой и развлечениями, предлагая возможности виртуальной реальности для просмотра прямых трансляций на гарнитурах виртуальной реальности от PlayStation, HTC, Oculus, Google, Microsoft и других производителей. .

Пробелы

В августе 2020 года Apple приобрела VR-стартап Spaces, компанию, которая разрабатывала возможности виртуальной реальности, которые люди могли испытать в торговых центрах и других местах, например, «Терминатор: спасение: борьба за будущее». Spaces также создала возможности виртуальной реальности для приложений для видеосвязи, таких как Zoom, которые Apple потенциально может включить в будущие продукты AR/VR.

Клапан

Согласно тайваньскому сайту DigiTimes , Apple сотрудничает с разработчиком игр Valve для своей, по слухам, гарнитуры AR. Valve выпустила свою первую гарнитуру VR, Valve Index, в апреле 2019 года.

Ранее Valve работала с Apple, чтобы обеспечить встроенную поддержку гарнитуры VR в macOS High Sierra, используя поддержку eGPU с версией программного обеспечения SteamVR для Mac.

Патенты на AR/VR

Компания Apple подала несколько патентов, непосредственно относящихся к очкам виртуальной реальности, причем все они были выпущены несколько лет назад. Хотя технологии, вероятно, несколько продвинулись дальше этого, они дают интересный взгляд на идеи, которые Apple исследовала в прошлом.

Патентная заявка 2008 года касалась довольно простой «персональной системы отображения», предназначенной для имитации ощущения пребывания в кинотеатре при просмотре видео.

Во втором патенте описывалась «Система отображения на голове» с «лазерным двигателем», который проецировал изображения на дисплей из прозрачного стекла, надеваемый на глаза, похожий на очки. В этой конфигурации гарнитура подключается к портативному видеоплееру, такому как iPod, для обеспечения вычислительной мощности.

Третий патент, первоначально поданный в 2008 году, был похож по дизайну и касался видеогарнитуры, похожей на очки, предназначенной для просмотра фильмов и другого контента. В нем очерчены два регулируемых оптических модуля, выровненных с глазом пользователя, которые могут обеспечивать коррекцию зрения и позволяют просматривать 3D-контент. Apple описала это как предложение персонального просмотра мультимедиа.

Четвертый патент от 2008 года касался рамки видеогарнитуры, похожей на Google Glass, которая позволяла пользователю вставлять свой iPhone или iPod в гарнитуру для воспроизведения видео. Гарнитура была описана как продукт дополненной реальности, который позволит пользователям делать такие вещи, как смотреть видео или проверять электронную почту, не сводя глаз с окружающей обстановки.

Помимо патентов, связанных с гарнитурами, Apple также подала заявки на патенты, описывающие другие способы реализации функций виртуальной и дополненной реальности в своих устройствах. Например, патентная заявка 2009 года касается 3D-дисплеев с камерами, перспектива которых меняется в зависимости от относительного положения пользователя.

Такой дисплей будет обнаруживать движение головы, позволяя пользователю поворачивать голову, чтобы смотреть на трехмерное изображение под разными углами, а также включать элементы среды пользователя. 9Патенты 0003

2010 и 2012 годов описывают использование датчиков движения для создания 3D-интерфейса для устройств iOS с использованием методов дополненной реальности. Apple описала интерфейс как «виртуальную комнату», в которой можно управлять ориентацией устройства с помощью встроенных датчиков или жестов.

В 2011 году Apple подала патент на функцию дополненной реальности в приложении «Карты», связанную с отображением расстояния до известных ориентиров. С помощью камеры пользователь мог смотреть на область вокруг себя и получать в режиме реального времени оценки расстояния между двумя точками вместе с наложением соответствующей информации.

Патент, поданный в 2014 году и выданный в 2017 году, распространяется на мобильную систему дополненной реальности, способную обнаруживать объекты в окружающей среде и накладывать на них виртуальную информацию с помощью камер, экрана и пользовательского интерфейса. Apple описывает систему как идеальную для головного дисплея, но также показывает, что она используется в смартфонах.

Apple работает над технологией виртуальной реальности, которую можно будет использовать в автономных транспортных средствах. В нескольких патентах Apple описывается система, которая включает в себя автомобильную систему виртуальной реальности с гарнитурой VR, которую носят для развлечения и уменьшения утомления от таких задач, как чтение и работа во время движения автомобиля.

Патентная заявка от июля 2020 года охватывает возможные методы ввода с помощью Apple Glasses, описывая систему, в которой очки используют инфракрасное тепловое восприятие для обнаружения, когда кто-то касается объекта реального мира, что позволяет очкам затем проецировать элементы управления на реальный мир. поверхность.

С помощью этого метода очки Apple Glasses могут проецировать интерфейс управления дополненной реальностью на любой реальный объект в реальном мире для эффекта наложения смешанной реальности.

В феврале 2021 года Apple подала ряд патентов, связанных с ее работой над слухами о гарнитуре смешанной реальности, причем патенты охватывают элементы дизайна, регулировку объектива, технологию отслеживания взгляда и программное обеспечение.

Apple разработала несколько методов, позволяющих сделать гарнитуру более удобной для ношения, а также обеспечить ее безопасность и блокировку света, а также существует подробная система регулировки линз, которая использует жидкость для плавного смещения линз, чтобы сделать посадку индивидуальной для каждого пользователь.

Apple также подробно описывает систему отслеживания взгляда, которая использует инфракрасный свет для определения положения, а также есть патент на то, как документы можно редактировать в виртуальном трехмерном пространстве с помощью гарнитуры и распознавания жестов.

Apple запатентовала системы для записи видео с гарнитуры, в которых встроенные датчики отслеживания взгляда могут указывать, куда в данный момент смотрит человек, что может направлять встроенную камеру для записи сцены, где находятся глаза пользователя. позиционируется вместо того, чтобы просто записывать то, что находится перед пользователем.

Еще одна патентная заявка, поданная в феврале 2021 года, показала, что Apple исследует устройство для крепления на пальце с набором датчиков и тактильной обратной связью, которое будет использоваться в качестве устройства управления для гарнитуры смешанной реальности.

Устройство управления имеет форму, позволяющую пользователям естественным образом ощущать объекты в своем окружении и точно определять, как пользователь двигает пальцем и взаимодействует с поверхностями. Говорят, что система настолько точна, что может определять, насколько сильно пользователь нажимает на поверхность, и точное направление этой силы, обеспечивая в ответ тактильную обратную связь.

В сочетании с гарнитурой AR или VR Apple заявляет, что это устройство, устанавливаемое на палец, может «обеспечить пользователю ощущение взаимодействия с физической клавиатурой, когда пользователь нажимает пальцами на поверхность стола» или «позволить пользователю обеспечить ввод с помощью джойстика» для игр, использующих только движение кончиков пальцев пользователя.

Гарнитура AR/VR второго поколения

Хотя гарнитура AR/VR первого поколения еще не выпущена, Apple уже работает над версией второго поколения, по словам аналитика Apple Минг-Чи Куо. Ожидается, что гарнитура AR/VR, которая появится в 2025 году, будет иметь обновленный дизайн, который станет легче, а также будет иметь новую систему батарей и более быстрый процессор. Куо считает, что в 2025 году Apple выпустит более качественную конфигурацию и доступный вариант, разнообразив доступную линейку продуктов.

Хотя Куо полагает, что гарнитура AR/VR второго поколения появится в 2025 году, по слухам с корейского сайта ETNews , она может выйти раньше и дебютировать в 2024 году.

LG готовит дисплеи micro-OLED для По слухам, это второе поколение гарнитуры Apple AR/VR. LG предоставляет некоторые компоненты для версии первого поколения, но также предоставит дисплеи для модели второго поколения.

Будущие планы Apple на AR/VR

Аналитик Apple Минг-Чи Куо считает, что Apple может планировать «контактные линзы» с дополненной реальностью, которые могут появиться где-то в 2030-х годах.

По словам Куо, линзы перенесут электронику из эпохи «видимых вычислений» в «невидимые вычисления». В настоящее время контактные линзы «невидимы», и это не гарантированный продукт, который Apple будет разрабатывать.

Apple Augmented Reality by Tutorials, Chapter 1: AR Quick Start

Добро пожаловать на ваш первый шаг в удивительный мир дополненной реальности (AR) от Apple!

Эта глава была разработана с нуля, чтобы удовлетворить потребность в создании приложения дополненной реальности с помощью Xcode как можно быстрее и нетерпеливее. Кто хочет читать страницы за страницами информации, прежде чем перейти к самой интересной части? Что ж, вам повезло, ведь самое интересное начинается прямо сейчас!

В этой главе вы создадите забавное маленькое приложение дополненной реальности с помощью Xcode. К концу этой главы у вас будет полностью дистанционно управляемый крошечный игрушечный танк. Вы сможете управлять им и заставлять его целиться и стрелять во все подряд. Звучит неплохо? Большой! Пришло время добраться до него.

Создание проекта дополненной реальности с помощью Xcode

В следующем разделе вы создадите небольшой проект приложения дополненной реальности с помощью Xcode.

Запустите Xcode , затем создайте новый проект, выбрав File ▸ New ▸ Project… . Когда вас попросят выбрать новый шаблон для вашего проекта, выберите iOS ▸ Приложение ▸ Приложение дополненной реальности , затем нажмите Далее , чтобы продолжить.

Введите TinyToyTank для Название продукта и выберите RealityKit в качестве Content Technology .

Убедитесь, что для интерфейса установлено значение Storyboard , прежде чем нажать Next для продолжения.

Выберите безопасное место для сохранения вашего проекта. Для простоты настольный компьютер — это всегда хорошее место. После этого нажмите Create , чтобы завершить процесс создания проекта.

Отлично, вы только что создали приложение дополненной реальности с помощью Xcode. Поздравляю, глава готова! :]

Подожди, а кто-нибудь упоминал о крошечном игрушечном танке? О, конечно, да, тогда продолжайте.

Примечание : не стесняйтесь делать быструю сборку и запускать на этом этапе. Вы увидите великолепный куб, сидящий на ближайшей плоской поверхности перед вами. Как скучно! Вот если бы это был красивый танк, было бы куда интереснее.

Изучение проекта

Чтобы не тратить на это слишком много времени, взгляните на некоторые ключевые компоненты, сгенерированные Xcode для вашего приложения дополненной реальности:

AppDelegate. swift : Это начальная точка вашего приложения.
ViewController.swift : здесь находится весь код, лежащий в основе работы с дополненной реальностью. Вы также добавите в этот файл намного больше кода.

Experience.rcproject : Это проект Reality Composer. Он содержит все 3D-ресурсы, анимацию и звуки, которые вы будете использовать для работы с дополненной реальностью. Вы замените его собственным проектом, содержащим всю графику, анимацию и звуковые эффекты для игры Tiny Toy Tank AR.

Assets. xcassets : здесь вы найдете стандартные активы приложения, например, значок приложения. Здесь вы добавите несколько изображений для кнопок.
Main.storyboard : содержит весь пользовательский интерфейс для вашего приложения. Здесь вы добавите несколько основных кнопок управления для крошечного игрушечного танка.

Info.plist : это важно при работе с приложениями дополненной реальности. Именно здесь ваше приложение запрашивает доступ к различным аппаратным компонентам, таким как камера, например, для предоставления возможностей дополненной реальности.

Отлично, много всего готово для вас прямо из коробки. Теперь, когда вы знаете, что содержится в шаблоне проекта по умолчанию, вы можете начать добавлять пользовательский контент.

Запрос разрешения для камеры

Чтобы представить возможности дополненной реальности, пользователь должен предоставить вашему приложению доступ к камере устройства. Для этого добавьте свойство Privacy — Camera Usage Description в Info. plist . Ваш Info.plist уже имеет это свойство, но ему все еще нужно правильное описание.

При открытом Info.plist установите значение Конфиденциальность — Описание использования камеры – Для использования дополненной реальности требуется доступ к камере .

Теперь, когда ваше приложение запускается, оно будет запрашивать доступ к камере, объясняя пользователю, что этот доступ необходим для работы с дополненной реальностью.

Добавление пользовательских ресурсов

Все 3D-ресурсы, необходимые для Tiny Toy Tank, содержатся в одном файле проекта Reality Composer. Сейчас вы добавите его в свой проект.

Используя Finder, найдите starter/resources/TinyToyTank/TinyToyTank.rcproject . Перетащите этот файл в свой проект, поместив его сразу под Опыт.rcproject .

Когда будет предложено выбрать вариант добавления файла, выберите Копировать элементы при необходимости , чтобы добавить в проект копию файла, а не ссылку. Выберите Готово , чтобы завершить процесс.

Выберите TinyToyTank. rcproject в иерархии проектов и познакомьтесь с героем вашего AR-приложения — великолепным Tiny Toy Tank .

Исследование реальности Композитор проект

Вам может быть интересно, что находится внутри этого файла проекта Reality Composer . Чтобы посмотреть поближе, нажмите кнопку Open in Reality Composer в правом верхнем углу экрана. Проект откроется в Reality Composer, сопутствующем приложении, которое устанавливается вместе с Xcode.

В верхней панели выберите Сцены для просмотра панели Сцены и выберите Свойства для просмотра свойств текущей сцены.

Обратите внимание, что этот проект содержит только одну сцену с именем TinyToyTank и что он использует тип якоря Горизонтальный .

Выберите параметр Behaviors , чтобы открыть панель «Поведения» внизу.

Здесь вы найдете набор из вариантов поведения , которые оживляют танк и воспроизводят звуковые эффекты. Выберите поведение TurretLeft , затем нажмите маленькую кнопку Play рядом с Action Sequence .

Башня наверху танка повернется влево, издавая храповой звук. Когда это будет сделано, турель вернется в исходное положение. Вы будете использовать все эти варианты поведения для перемещения и поворота танка.

Пока хватит об этом, вы узнаете больше о Reality Composer и его возможностях в другой главе. А пока закройте Reality Composer и вернитесь в Xcode.

Представление пользовательской сцены

В настоящее время интерфейс дополненной реальности показывает только окно. Вам нужно изменить его, чтобы вместо этого отображался танк.

Откройте ViewController.swift , чтобы вы могли внести некоторые изменения в код.

Объявите следующую переменную в верхней части ViewController :

 var tankAnchor: TinyToyTank._TinyToyTank?

Это объявляет tankAnchor как тип _TinyToyTank , который вы инициализируете, загружая сцену TinyToyTank из проекта Reality Composer .

Заменить содержимое viewDidLoad() на:

 // 1
super. viewDidLoad()
// 2
tankAnchor = попробуй! TinyToyTank.load_TinyToyTank()
// 3
arView.scene.anchors.append(tankAnchor!)

Посмотрите, что здесь происходит:

Это гарантирует вызов суперкласса viewDidLoad() .
Xcode сгенерировал методы доступа к TinyToyTank.rcproject . Здесь вы используете load_TinyToyTank() для загрузки сцены и сохранения ее в tankAnchor .

Отлично, теперь вы представляете только что добавленную сцену TinyTankScene вместо старой сцены Box из Experience. rcproject .

Чтобы ваш проект был хорошо организованным и чистым, сейчас самое время удалить Experience.rcproject из вашего проекта. Щелкните правой кнопкой мыши и выберите Удалить . При появлении запроса выберите Переместить в корзину , чтобы полностью удалить его.

Ваше приложение запускается и запрашивает разрешение на доступ к камере. Как только вы предоставите это разрешение, направьте камеру на плоскую поверхность. Крошечный танк появится из ниоткуда, расположившись прямо на этой поверхности. Удивительно!

Это действительно симпатичный маленький танк, но он не двигается? Это не весело! Вы позаботитесь об этом дальше.

Настройка пользовательского интерфейса

Вам потребуется добавить некоторые экранные элементы управления, чтобы пользователь мог управлять резервуаром. Есть несколько изображений кнопок, которые вы можете использовать в разделе start/resources/Buttons .

Выберите Assets. scnassets , затем перетащите в него все изображения.

Настройка ARView

Теперь, когда вы добавили изображения, вам нужно настроить пользовательский интерфейс. Имейте в виду, что эта глава посвящена не созданию пользовательского интерфейса, а созданию опыта дополненной реальности. Имея это в виду, и чтобы все было как можно проще, вы будете использовать некоторые ярлыки при создании пользовательского интерфейса.

Откройте Main. storyboard , затем выберите ARView Scene ▸ ARView ▸ Ar View .

Нажмите Backspace , чтобы удалить его. Вы не можете использовать текущий ARView отдельно в качестве контейнера для других элементов пользовательского интерфейса; вместо этого вы должны использовать UIView .

Откройте библиотеку объектов , выбрав значок + вверху, затем найдите UIView . Перетащите его на контроллер представления ARView .

Снова откройте библиотеку объектов , затем найдите ARView . Перетащите RealityKit AR View в представление дизайна.

Вручную отрегулируйте контрольные точки так, чтобы они помещались на весь экран. Затем в Size Inspector включите оба по горизонтали и по вертикали Autoresizing . Это позволит постоянно поддерживать полноэкранный режим ARView .

Поскольку вы воссоздали ARView с нуля, вам необходимо повторно подключить его к розетке arView в ViewController. swift .

Создайте параллельный вид, чтобы вы могли видеть Main.storyboard с одной стороны и ViewController.swift с другой.

Со стороны контроллера просмотра щелкните, перетащите и подключите выход arView к RealityKit ARView .

Представление переименует себя: Ар Вид .

Наконец, вы готовы добавить кнопки.

Добавление кнопок

Откройте библиотеку объектов и найдите кнопку . Перетащите кнопку в режим конструктора.

Переименуйте кнопку TankRight , затем в Attributes Inspector выберите для нее изображение TankRight .

В инспекторе размеров установите ширину и Высота от до 80 . Под Autoresizing привяжите кнопку к Bottom-Right .

Наконец, переместите кнопку в правый нижний угол представления дизайна.

Перейдите в режим параллельного просмотра и откройте ViewController.swift рядом с Main.storyboard . Удерживая нажатой кнопку Control , щелкните и перетащите кнопку TankRight в контроллер представления.

Вставьте Action с именем tankRightPressed . Выберите Подключить , чтобы завершить новое подключение.

Когда вы закончите, вы увидите только что созданный @IBAction .

Теперь, когда пользователь нажимает кнопку TankRight , он запускает tankRightPressed() внутри ViewController .

Выполните те же действия, что и выше, и добавьте остальные кнопки. Вот список оставшихся кнопок.

Конечный результат должен выглядеть так:

Все шесть кнопок подключены к своим выходам в ViewController . Поздравляем, вы закончили работу с пользовательским интерфейсом.

Добавление анимации танка

Теперь, когда пользовательский интерфейс настроен, вам нужно заставить танк двигаться по команде. Для этого вам нужно всего лишь вызвать те модели поведения, которые вы видели ранее, в рамках проекта Reality Composer.

Начните с движения танка. Добавьте следующую строку в tankRightPressed(_:) :

 tankAnchor!.notifications.tankRight.post()

Вы можете получить доступ к любому из доступных вариантов поведения через уведомлений . Вы вызываете их, вызывая post() для поведения.

Продолжайте добавлять другие варианты поведения.

Добавьте следующую строку кода в tankForwardPressed(_:) :

 tankAnchor!.notifications.tankForward.post()

И этот код для tankLeftPressed(_:) :

 tankAnchor!.notifications.tankLeft.post()

Соберите и запустите, чтобы протестировать.

Отлично, танк движется, когда вы нажимаете вперед, влево и вправо. Но подождите, что-то ужасно неправильно. Башня наверху танка не двигается вместе с ним. Что тут происходит?

Родительские сущности

Проблема, с которой вы столкнулись, заключается в том, что башня в настоящее время является отдельной сущностью — она не связана с танком. Чтобы соединить башню с танком, вам нужно установить танк в качестве родителя башни. Таким образом, когда объект резервуара движется и вращается, его дочерние объекты будут двигаться и вращаться вместе с ним.

Добавьте следующую строку кода в viewDidLoad() сразу после инициализации tankAnchor :

 tankAnchor!. turret?.setParent(
  tankAnchor!.tank, сохранениеWorldTransform: true)

Устанавливает объект танк в качестве родителя объекта башни . Сохранение World Transform при привязке танка к башне сохраняет текущее положение башни относительно текущего положения танка, как вы видите в сцене.

Соберите и запустите снова, и вы увидите, что хорошо прикрепили башню к танку.

Добавление анимации башни

Наконец, теперь вы можете продолжить добавлять поведение башни, чтобы вращать ее влево и вправо — и не забывайте о крайне важном поведении, чтобы стрелять из орудия.

Добавьте следующую строку кода в turretRightPressed(_:) :

 tankAnchor!.notifications.turretRight.post()

Затем добавьте следующее в turretLeftPressed(_:) :

 tankAnchor!.notifications.turretLeft.post()

И чтобы заставить пушку стрелять, добавьте следующую строку кода в cannonFirePressed(_:) :

 tankAnchor!.notifications.cannonFire.post()

Вот и все, теперь у вас есть полный контроль над вашим танком. Соберите и запустите снова, чтобы проверить это.

Танк движется по команде, башня остается соединенной с танком и движется вместе с ним. Башня движется независимо от танка и стреляет из пушки, как чемпион. Но подождите, есть еще одна проблема.

Последние штрихи

Когда пользователь немного доволен триггером и нажимает кнопку слишком энергично, анимация становится грушевидной. При нажатии кнопки во время воспроизведения анимации следующая анимация накладывается поверх воспроизводимой в данный момент анимации, что имеет некоторые нежелательные побочные эффекты. Например, это может привести к тому, что турель застрянет в воздухе.

Лучший способ решить эту проблему — запретить воспроизведение любых других анимаций, пока анимация активна в данный момент.

Добавьте следующее объявление в начало ViewController :

 var isActionPlaying: Bool = false

Когда запускается анимация, вы устанавливаете isActionPlaying на true . Затем, пока это true , вы можете предотвратить запуск любых других анимаций.

Для этого добавьте следующий код в начало всех обработчиков событий «нажатие кнопки»:

 if self. isActionPlaying { return }
иначе { self.isActionPlaying = true }

Теперь, когда пользователь нажимает кнопку для запуска анимации, он сначала проверяет, не выполняется ли уже анимация. Если есть, он будет игнорировать нажатие кнопки. Если нет, он установит флаг, указывающий на то, что сейчас идет анимация, прямо перед удалением фактической анимации.

Вам по-прежнему необходимо сбросить isActionPlaying после завершения анимации. Чтобы решить эту проблему, поведение уже настроено для отправки уведомления после завершения последовательности анимации. Просто нужно на это реагировать.

Добавьте следующий код в viewDidLoad() сразу после установки танка в качестве родителя башни:

 tankAnchor?. actions.actionComplete.onAction = { _ in
  self.isActionPlaying = ложь
}

Каждое поведение будет отправлять уведомление actionComplete после завершения последовательности анимации. Здесь вы создаете небольшой обработчик, который гарантирует, что isActionPlaying сбрасывается на false , что позволяет воспроизводить другую анимацию.

Готово. Собери и запусти в последний раз и испытай великолепный крошечный игрушечный танк.

Самое время отвести взгляд, потому что медвежонок вот-вот доберется! :]

Примечание . Для полноты картины есть несколько значков приложений, которые вы можете использовать в разделе starter/resources/AppIcons . Просто перетащите их в компонент AppIcon файла Assets.xcassets .

Вы можете найти копию финального проекта в папке final/TinyToyTank .

Ключевые точки

Поздравляем с окончанием этой главы. Теперь вы знаете, как быстро и легко создать AR с помощью Xcode.

Взгляните на некоторые ключевые моменты, которые вы узнали на этом пути:

Xcode AR Templates : С помощью Xcode очень просто создать AR-опыт. Он поставляется с коллекцией готовых шаблонов AR, что дает вам быструю отправную точку для ваших проектов AR.
Пользовательский интерфейс : Вы научились создавать очень простой пользовательский интерфейс, позволяющий пользователю взаимодействовать с содержимым дополненной реальности. Вы можете легко расширить это с помощью сенсорных жестов или даже голосовой активации для более интуитивного взаимодействия. Позже вы также узнаете, как создать пользовательский интерфейс на основе SwiftUI.
Reality Composer : В этом проекте вы быстро познакомитесь с Reality Composer. Вы узнаете больше об использовании этого чрезвычайно мощного инструмента в следующих главах.
RealityKit : Вы очень быстро познакомились с RealityKit. Теперь вас не должен пугать кодовый компонент создания дополненной реальности. В следующих главах вы узнаете больше об этом на нескольких примерах проектов.
г.
Виртуальный 3D-контент : В этой главе вы использовали готовый виртуальный 3D-контент, но это не тот случай, когда вы работаете над собственными проектами с нуля. В следующих главах вы узнаете гораздо больше о создании контента, что является чрезвычайно важной частью создания AR-приложений.

Покатайтесь на своем крошечном игрушечном танке и постреляйте в нескольких существ.

MenuMenu

Зачем в iPhone нужна AR (и как она изменила нашу жизнь)

Развертывание в Android и iOS (AR Foundation) [экспериментальная возможность] — MRTK 2

Установка необходимых пакетов

Добавление сцены MixedRealityToolKit в проект

Включение поставщика параметров камеры Unity AR

Создание сцены для устройств Android и iOS

См. также статью

IOS: разработка Xcode-ARKit-замена модели в AR

Лучшие AR-приложения в дополненной реальности для Iphone в 2020 году

Приложения дополненной реальности для iPad: изучаем ситуацию в AR-индустрии

Что такое AR и с чем это едят?

Игры

Alice AR Quest

Stack AR и Let’s Stack AR

Paper Bin AR

Образовательные приложения

Полезные (и не очень) утилиты

Рулетки

Ikea Place

Christie’s

InkHunter

Заключение

Гайд по виртуальным мирам: AR и VR

1.1. Виды AR

1.

ARKit

ARCore

Vuforia

EasyAR

Lens Studio

Spark AR

2.1. Виды VR

2.2. Типы отслеживания движения

2.3. Базовые термины и понятия

2.4. VR через веб-браузер

2.5. Программное обеспечение

Blender

Unity

Unreal Engine

3.1. AR

3.2. VR

Дополненная реальность — Apple

Вот лишь несколько отличных способов испытать дополненную реальность.

Зажимы.

Снэпчат.

АРки.

Уорби Паркер.

Для всего человечества: капсула времени.

Цифровая зеркальная камера.

Место ИКЕА.

Музей живой.

Аппаратное и программное обеспечение, разработанное для AR.

Узнайте больше о дополненной реальности

Внесите немного чуда в мир

Узнайте, поддерживает ли ваше устройство iOS или iPadOS

Дополненная реальность — Apple (RU)

Вот лишь несколько отличных способов испытать дополненную реальность.

Зажимы.

Снэпчат.

АРки.

Цифровая зеркальная камера.

Горячая лава.

Музей живой.

Подорожник.

Аппаратное и программное обеспечение, разработанное для AR.

Узнайте больше о дополненной реальности

Внесите немного чуда в мир

Узнайте, поддерживает ли ваше устройство iOS или iPadOS

Дополненная реальность — Apple (RU)

Вот лишь несколько отличных способов испытать дополненную реальность.

Зажимы.

Снэпчат.

АРки.

Уорби Паркер.

Для всего человечества: Капсула времени.

Цифровая зеркальная камера.

Место ИКЕА.

Музей живой.

Аппаратное и программное обеспечение, разработанное для AR.