Дополненная реальность apple: В приложении Clips появились новые пространства с дополненной реальностью

В приложении Clips появились новые пространства с дополненной реальностью

Открывается в новом окне

НОВОСТЬ

26 апр 2021

Приложение Clips версии 3.1 позволяет сканировать пространство с помощью технологии LiDAR на iPhone 12 Pro и iPad Pro и создавать интересные иммерсивные видеоэффекты, погружая пользователя в миры дополненной реальности

В приложении Clips 3.1 появились совершенно новые пространства с дополненной реальностью. Благодаря им и возможностям сканера LiDAR пользователи могут записывать и публиковать видео с потрясающими эффектами.

Clips, удобное приложение Apple для создания видео на iPhone и iPad, порадует пользователей новыми увлекательными возможностями видеосъёмки. Совершенно новые пространства с дополненной реальностью задействуют возможности сканера LiDAR на iPhone 12 Pro и iPad Pro. С их помощью можно преобразить любую комнату, добавив иммерсивные видеоэффекты в точном соответствии с её очертаниями, а затем поделиться результатом с кем угодно. Пространства с дополненной реальностью в приложении Clips — прекрасный пример совместной работы аппаратного и программного обеспечения Apple и ещё один необычный способ удивить друзей и близких или опубликовать забавные видеоролики в социальных сетях. Кроме того, в Clips ежемесячно добавляются новые фильтры, стикеры и другие возможности для самовыражения.

Новые пространства с дополненной реальностью преобразуют вашу комнату

Передовой сканер LiDAR, впервые представленный на прошлогодней модели iPad Pro, работает на некоторых моделях iPhone и iPad,¹ демонстрируя удивительные возможности определения глубины в пространстве, невиданные для мобильного устройства. Передовая технология измеряет дальность с помощью светового луча и использует информацию о глубине пикселей для более быстрого создания естественно выглядящих эффектов дополненной реальности. Благодаря слаженной совместной работе аппаратного и программного обеспечения Apple приложение Clips 3. 1 позволяет записывать потрясающие видео с волшебными эффектами, созданными на основе рельефа окружающего пространства.

Эффекты пространств с дополненной реальностью в Clips 3.1 дают возможность сканировать окружающее пространство и сразу видеть результат добавления таких эффектов, как динамическое освещение, падающие объекты и иммерсивные декорации. Пользователю достаточно навести заднюю камеру поддерживаемой модели iPhone или iPad² на пол, стены, мебель и другие поверхности или объекты, чтобы увидеть, как на них отображаются заданные эффекты.

Для построения пространств с дополненной реальностью на iPhone 12 Pro и iPad Pro используется сканер LiDAR. Можно выбрать любой из семи эффектов: Prism (Призма), Confetti (Конфетти), Disco (Диско), Dance Floor (Танцпол), Sparkles (Блёстки), Stardust (Звёздная пыль) и Hearts (Сердца).

В приложении Clips 3.1 можно выбрать любой из семи новых эффектов — пространств с дополненной реальностью.

• Prism: все стены и поверхности в комнате раскрашиваются радужными лучами света.

• Confetti: праздничные конфетти разлетаются по комнате и скапливаются на горизонтальных поверхностях.

• Disco: яркие лучи света отражаются от граней диско-шара, висящего под потолком.

• Dance Floor: яркие пятна света ритмично движутся по полу.

• Sparkles: пространство заполняется золотистыми эмодзи «искорка» и белыми блёстками.

• Stardust: волшебные следы звёздной пыли окружают пользователя в кадре и следуют за ним шлейфом.

• Hearts: воздушные шары в форме сердечек заполняют пространство.

Для создания эффектов дополненной реальности в приложении Clips применяется сегментация и окклюзия. Приложение распознаёт людей на видео и проектирует видеоэффекты за ними и перед ними, создавая ощущение движения вокруг объектов и во всём пространстве. К эффекту пространства с дополненной реальностью можно добавить анимированные стикеры, текстовые подписи и эмодзи, а затем записать видеоролик с любым поддерживаемым в Clips соотношением сторон, включая вертикальное видео 9:16, горизонтальное 16:9 или квадратное.

Пользователи могут записать видеоролик с эффектом дополненной реальности — можно использовать любое поддерживаемое в Clips соотношение сторон и добавлять в видео анимированные стикеры, эмодзи и текстовые подписи.

Ежемесячные обновления для новых идей

Теперь в приложении Clips каждый месяц будет появляться ещё больше возможностей для творческого самовыражения. Пользователи Clips могут рассчитывать на регулярные обновления библиотеки фильтров, живых субтитров, текстовых подписей, стикеров и постеров в соответствии с временем года или культурными веяниями. В версии 3.1 пользователи могут настроить уведомления о выходе нового контента.

О приложении Clips

В приложении Clips для iPhone и iPad пользователи могут создавать персональные видеосообщения, короткие видеоролики для социальных сетей, учебные проекты и многое другое. Среди великолепных функций — видеоэффекты, добавляющие в окружающее пространство элементы дополненной реальности с использованием сканера LiDAR, живые субтитры, автоматически создаваемые для речи пользователя, и эффекты камеры TrueDepth, такие как иммерсивные панорамные селфи-сцены и выразительные персонажи Memoji. В Clips любое видео может стать средством самовыражения — достаточно добавить фильтры, анимированные стикеры и полноэкранные анимированные постеры. Приложение включает более 100 вариантов звуковых дорожек, которые автоматически обрезаются в соответствии с длиной видеоролика.

Доступность

Начиная с сегодняшнего дня приложение Clips 3.1 доступно в App Store в качестве бесплатного обновления для iPhone и iPod touch с iOS 14.5 или новее либо iPad с iPadOS 14.5. Для записи HDR‑видео требуется любая модель iPhone 12; для редактирования и публикации HDR‑видео требуется iPhone SE (2‑го поколения), iPhone 8 Plus, iPhone X или новее, iPad mini (5‑го поколения), iPad (7‑го поколения или новее), iPad Air 3 или новее либо iPad Pro 10,5 дюйма или новее. Для работы функции «Селфи‑сцены» и Memoji требуется iPhone или iPad с камерой TrueDepth.

Поделиться

1. Сканер LiDAR доступен на iPhone 12 Pro, iPhone 12 Pro Max и iPad Pro (4‑го и 5‑го поколений).
2. Эффекты пространств с дополненной реальностью лучше всего работают в помещении.

Последние новости

ЗАЯВЛЕНИЕ APPLE

Новая информация об AirTag и нежелательном отслеживании

10 февр 2022

ПРЕСС-РЕЛИЗ

Первая в истории Apple номинация на «Оскар» в категории «Лучший фильм» за драму «CODA: ребёнок глухих родителей» и другие номинации

8 февр 2022

НОВОСТЬ

Обновлённый магазин Apple Yas Mall открылся в Абу‑Даби

3 февр 2022

Apple создаст свою метавселенную и видеосервис для гарнитуры дополненной реальности

Дополненная реальность — Apple (RU)

Что, если бы границы между вашим воображением и реальным миром не существовало? С дополненной реальностью это не только возможно, но и здесь.

AR меняет то, как вы работаете, учитесь, играете, делаете покупки и общаетесь с окружающим миром. Это идеальный способ визуализировать то, что иначе было бы невозможно или непрактично увидеть.

Apple обладает крупнейшей в мире платформой дополненной реальности с сотнями миллионов устройств с поддержкой дополненной реальности, а также тысячами приложений дополненной реальности в App Store. А поскольку аппаратное и программное обеспечение Apple с самого начала разрабатывалось для AR, нет лучшего способа испытать это.

Посмотрите фильм

.

Вот лишь несколько отличных способов испытать дополненную реальность.

Зажимы.

AR Spaces расширяет вашу реальную среду с помощью игривых, захватывающих эффектов. Используя LiDAR для определения глубины, ¹ AR Spaces позволяет запускать взрывы конфетти, создавать виртуальный танцпол в своей комнате или оставлять за собой след из звезд. Запишите забавное сообщение или объявление — или видео просто так — в вертикальной или горизонтальной ориентации, готовой для социальных сетей, а затем поделитесь своим новым дополненным миром.

Снэпчат.

Общайтесь с друзьями весело и восхитительно с помощью эффектов дополненной реальности в Snapchat. С помощью сканера LiDAR ¹ вы увидите, как ваше пространство превращается в волшебный лес с травой на полу, цветами на столе, виноградными лозами на стене и бесконечным звездным небом.

АРки.

ARki помогает вам визуализировать 3D-проекты в дополненной реальности, чтобы вы могли четко просматривать, делиться и сообщать о своих проектах. Использование новейших технологий LiDAR и People Occlusion в ARKit, ¹ ARKi позволяет размещать и визуализировать объекты в мировом масштабе для максимальной реалистичности — или в виде миниатюры на вашем столе.

Майнкрафт Земля.

Откройте для себя совершенно новое измерение Minecraft, создавая, исследуя и выживая в реальном мире. Делитесь своими сборками с друзьями и взаимодействуйте с их персонажами в мире Minecraft в натуральную величину.

Для всего человечества: капсула времени.

Принесите мир популярного сериала Apple TV+ For All Mankind прямо к себе домой. Присоединяйтесь к Дэнни Стивенсу — сыну астронавтов Гордо и Трейси Стивенс — в интерактивном опыте с дополненной реальностью, когда он раскрывает воспоминания о десятилетии между сезонами 1 и 2. Изучите памятные сувениры, полные подробностей их жизни за кадром, где каждый объект рассказывает историю.

Цифровая зеркальная камера.

Снимайте и записывайте захватывающие кадры. Нет необходимости вручную маскировать объекты или людей. Сканер LiDAR фиксирует глубину, поэтому текст и графику можно перемещать за людей и объекты за считанные секунды. ¹

Горячая лава.

Классическая игра «Горячая лава» в Apple Arcade скоро станет захватывающей игрой на новом iPad Pro со сканером LiDAR, превратив вашу гостиную в полосу препятствий, заполненную лавой. Гоняйте со своим персонажем по трассе, отскакивая от реальных и виртуальных объектов, чтобы завершить ее.

Место ИКЕА.

IKEA Place позволяет вам представить, как товары будут выглядеть, ощущаться и вписываться в ваш дом, даже не открывая входную дверь. С помощью сканера LiDAR, ¹ , вы сможете обставить свою комнату умными предложениями продуктов, которые сочетаются с вашей существующей мебелью и вписываются в ваше пространство.

Музей живой.

Museum Alive использует возможности дополненной реальности, чтобы вернуть к жизни вымерших существ. Под руководством сэра Дэвида Аттенборо вы откроете для себя древних существ и фотореалистичные 3D-версии окаменелостей, которые они оставили.

Аппаратное и программное обеспечение, разработанное для AR.

Аппаратное и программное обеспечение Apple разрабатываются вместе для максимально эффективного использования дополненной реальности. Усовершенствованные камеры, потрясающие дисплеи, датчики движения и мощные графические процессоры в сочетании с пользовательским машинным обучением и передовыми инструментами разработки обеспечивают реалистичные и увлекательные возможности дополненной реальности. Поддержка дополненной реальности встроена непосредственно в iOS и iPadOS, поэтому вы можете использовать дополненную реальность не только в приложении, но и в Safari, почте, сообщениях, файлах и других приложениях с помощью функции быстрого просмотра дополненной реальности.

Узнайте больше о возможностях дополненной реальности

в App Store.

Постоянно разрабатываются новые приложения, использующие преимущества дополненной реальности. И многие из ваших любимых приложений добавляют новые функции дополненной реальности. Найдите их все прямо сейчас в App Store.

Посмотреть приложения дополненной реальности в App Store

Внесите немного чуда в мир

с помощью ARKit 5.

ARKit 5 и RealityKit — это передовые платформы, которые позволяют разработчикам легко создавать захватывающие возможности дополненной реальности для iPhone и iPad. Начните делать что-то, чем можно удивиться, уже сегодня.

Узнайте больше о разработке для AR

Узнайте, поддерживает ли ваше устройство iOS или iPadOS

 AR. ²

• iPhone 14
• iPhone 14 Plus
• iPhone 14 Pro
• iPhone 14 Pro Max
• iPhone 13
• iPhone 13 мини
• iPhone 13 Pro
• iPhone 13 Pro Max
• iPhone 12
• iPhone 12 мини 
• iPhone 12 Pro
• iPhone 12 Pro Max
• iPhone 11
• iPhone 11 Pro
• iPhone 11 Pro Max
• iPhone XSiPhone 10
• iPhone XS MaxiPhone ten s Max
• iPhone XRiPhone 10 R
• iPhone X
• iPhone 8
• iPhone 8 Plus
• iPhone 7
• iPhone 7 Plus
• iPhone 6s
• iPhone 6s Plus
• iPhone SE
  (3-го поколения)
• iPhone SE
  (2-го поколения)
• iPhone SE
  (1-го поколения)

• iPad Pro 12,9 дюйма
  (6-го поколения)
• iPad Pro 11 дюймов
  (4-го поколения)
• iPad Pro 12,9 дюйма
  (5-го поколения)
• iPad Pro 11 дюймов
  (3-го поколения)
• iPad Pro 12. 9дюймов
  (4-е поколение)
• iPad Pro 11 дюймов
  (2-го поколения)
• iPad Pro 12,9 дюйма
  (3-го поколения)
• iPad Pro 11 дюймов
  (1-го поколения)
• iPad Pro 12,9 дюйма
  (2-го поколения)
• iPad Pro 12,9 дюйма
  (1-го поколения)
• iPad Pro 10,5 дюйма
• iPad Pro 9,7 дюйма
• iPad Air (5-го поколения)
• iPad Air (4-го поколения)
• iPad Air (3-го поколения)
• iPad (10-го поколения)
• iPad (9-го поколения)
• iPad (8-го поколения)
• iPad (7-го поколения)
• iPad (6-го поколения)
• iPad (5-го поколения)
• iPad mini
  (6-го поколения)
• iPad mini
  (5-го поколения)

• iPod touch
  (7-го поколения)

Гарнитура AR/VR от Apple: что может появиться в 2023 году

Эта история является частью Focal Point iPhone 2022, сборника новостей, советов и советов CNET по самому популярному продукту Apple.

Apple интегрировала дополненную реальность в свои устройства в течение многих лет, но похоже, что компания прыгнет прямо на территорию Meta, Microsoft и Magic Leap с долгожданной гарнитурой смешанной реальности в 2023 году. 

Планируемая дата эта гарнитура AR / VR продолжает смещаться, а последний отчет в начале декабря от известного аналитика Мин Чи-Куо предполагает появление во второй половине 2023 года. С объявлением о событии, которое может произойти уже в январе, мы находимся в точке где каждое мероприятие Apple, кажется, похоже на то, где они наконец-то могут снять покровы с этого устройства.

2023 год выглядит как год, полный гарнитур виртуальной реальности, которые мы изначально ожидали в 2022 году, включая PlayStation VR 2 и Meta Quest 3. Apple уже заложила множество подсказок AR, намекая на то, что может быть в будущем смешанной реальности, и уже много лет активно работает с дополненной реальностью на своих iPhone и iPad.

Что касается того, на что может быть похоже его устройство, велики шансы, что гарнитура может работать по тому же сценарию, что и недавняя высококачественная гарнитура Meta, Quest Pro, с упором на работу, смешанную реальность и отслеживание взгляда на борту.

Вот что мы ожидаем.

Сейчас играет:
Смотри:

Мероприятие Apple по выпуску гарнитуры виртуальной реальности будет другим

10:17

Это называется Reality Pro? Программное обеспечение называется xrOS?

В последнем отчете известного репортера Apple Марка Гурмана из Bloomberg предполагается, что операционная система для этой гарнитуры может называться «xrOS», но это может не указывать на название самой гарнитуры. Недавние заявки на товарные знаки, о которых сообщило агентство Bloomberg, показали, что имя «Reality» часто встречается: Reality One, Reality Pro и Reality Processor. Существующая программная среда Apple AR для iOS называется RealityKit, и в предыдущих отчетах предполагалось, что «Reality OS» может быть названием экосистемы новой гарнитуры.

На самом деле никто не ожидал названия Apple Watch (помните iWatch?), так что в какой-то степени имена не имеют значения на данный момент. Но это указывает на то, что Apple, безусловно, продвигается вперед в разработке продукта и программного обеспечения.

Одна из нескольких гарнитур?

Гарнитура давно готовилась. Отчеты поступают уже несколько лет, в том числе история, рассказанная бывшим управляющим редактором CNET Шарой Тибкен в 2018 году. Apple уже много лет встраивает более совершенные инструменты дополненной реальности в свои iPhone и iPad, готовя почву для чего-то большего.

Какой бы ни была гарнитура, в последнее время она выглядит намного более реальной. В подробном отчете The Information ранее в этом году обсуждались вероятные характеристики, в том числе то, что, по словам Марка Гурмана из Bloomberg, является последним чипом Apple M2. Согласно другому отчету Bloomberg, опубликованному ранее в этом году, совет директоров Apple уже видел демонстрацию гарнитуры смешанной реальности.

Ожидаемое появление этой гарнитуры откладывалось годами. Ранее Куо предсказывал, что гарнитура Apple VR-AR появится в четвертом квартале 2022 года с поддержкой Wi-Fi 6 и 6E. Но эта гарнитура VR может стать началом нескольких линеек продуктов, подобно тому, как Meta нацелена на будущие AR-очки. Ранее Куо предсказывал, что умные очки Apple могут появиться в 2025 году9.0003

По словам Гурмана из Bloomberg, Apple может применить подход с двумя гарнитурами, выпустив передовую гарнитуру AR-VR высокого класса, которая может быть больше похожа на то, что Meta сделала с Quest Pro. Гурман также предлагает сосредоточиться на играх, мультимедиа и общении в этой первой гарнитуре первой волны. С точки зрения общения, Гурман считает, что FaceTime, использующий слуховую гарнитуру, может полагаться на Memoji и SharePlay: вместо того, чтобы видеть человека, с которым вы разговариваете, вы увидите 3D-версию его персонализированного аватара Memoji.

Со временем планы Apple на эту гарнитуру могут стать больше. «Цель компании — заменить ‌iPhone‌ на AR за 10 лет», — объяснил Куо в записке для инвесторов, которую увидел MacRumors. По словам Куо, устройство может быть относительно легким, от 300 до 400 граммов (примерно от 10,5 до 14 унций). Это легче, чем Oculus Quest 2 от Meta. Тем не менее, он больше, чем обычная пара очков, а ранние рендеры его возможного дизайна больше похожи на футуристические лыжные очки.

Подробнее: Метавселенная только начинается: вот что вам нужно знать объединить AR и VR вместе, согласно отчету The Information за прошлый год. Этого и следовало ожидать, учитывая, что Quest Pro стоит 1500 долларов, а гарнитуры AR, такие как Magic Leap 2 и Hololens 2, стоят около 3000 долларов.

Ожидается, что он будет оснащен передовыми процессорами, вероятно, основанными на последних чипах Apple M2, и будет работать как автономное устройство. Но он также может подключаться к другим устройствам Apple. Это не удивительный ход. На самом деле, большинство отчетов о гарнитуре Apple, кажется, соответствуют тому, как развивается VR: легче, с добавленными функциями смешанной реальности с помощью более продвинутых сквозных камер. Как и Quest Pro, это, вероятно, станет мостом к будущим усилиям по созданию очков AR.

Предыдущие отчеты о дорожной карте Apple AR/VR предполагали внутренние разногласия или стратегию разделения, которая может означать сначала гарнитуру VR, а затем более нормальные умные очки дополненной реальности. Но недавние отчеты, кажется, успокаиваются, чтобы рассказать историю об определенном типе продвинутого VR-продукта, который лидирует. Что становится все более очевидным, так это то, что остальная часть ландшафта AR и VR также сталкивается с более медленным, чем ожидалось, переходом к очкам AR.

Сейчас играет:
Смотри:

На что может быть похожа дорогая гарнитура Apple 8K VR

14:56

VR, однако, является более легко достижимой целью в краткосрочной перспективе.

Все это время Apple была на подхвате без какой-либо гарнитуры, хотя устремления компании в области дополненной реальности были очевидны и хорошо заявлялись на iPhone и iPad в течение многих лет. Каждый год Apple добивалась значительных успехов в iOS благодаря своим инструментам дополненной реальности. Обсуждается, как скоро появится это оборудование: в этом году, через год или даже позже. Или будет ли Apple использовать только очки или гарнитуру смешанной реальности VR и AR.

Я носил больше гарнитур AR и VR, чем могу вспомнить, и годами отслеживал весь ландшафт. Во многих отношениях логическая траектория полета будущей гарнитуры Apple AR должна быть ясна, если просто изучить уже изложенные фрагменты. В 2020 году Apple приобрела компанию NextVR, занимающуюся потоковой передачей мультимедиа для виртуальной реальности, а в 2018 году купила производителя линз для гарнитур AR Akonia Holographics. 

— выровнен, чтобы быть именно этим. Подобно Apple Watch, которые появились среди многих других умных часов и имели множество функций, которые я видел в других формах раньше, очки Apple, вероятно, не станут большим сюрпризом, если вы обращали внимание на ландшафт AR и VR. за последнее время.

Помните Google Glass? Как насчет очков Snapchat? Или HoloLens или Magic Leap? Meta также работает над очками дополненной реальности, а также над Snap и Niantic. Пейзаж быстро наполнялся.

Вот куда Apple, вероятно, пойдет, основываясь на том, что было сообщено, и как компания может избежать ловушек этих более ранних платформ.

Apple отказалась комментировать эту историю.

Дата запуска: скорее всего, в 2023 году

О новых продуктах Apple, как правило, объявляют за несколько месяцев до их появления, а может быть, даже раньше. iPhone, Apple Watch, HomePod и iPad пошли по этому пути.

Последние отчеты Куо указывают на возможную задержку выпуска гарнитуры до второй половины 2023 года, но событие, анонсирующее гарнитуру, может произойти уже в январе. Этот срок имел бы большой смысл, давая разработчикам время для понимания концепции задолго до выпуска аппаратного обеспечения и даже, возможно, позволяя конференции разработчиков Apple WWDC (обычно в июне) обсудить особенности программного обеспечения.

В любом случае разработчикам потребуется долгое время, чтобы привыкнуть к разработке для гарнитуры Apple и заставить приложения работать и работать в соответствии с рекомендациями Apple по дизайну. Это потребует от Apple предупреждения о своем оборудовании задолго до его фактического появления.

Oculus Quest 2 от Facebook — автономная гарнитура виртуальной реальности на пути к очкам дополненной реальности. Может ли Apple пойти по тому же пути?

Скотт Стейн/CNET

Гарнитура Apple может быть во многом похожа на Meta Quest, но более высокого уровня.

В виртуальной реальности уже есть одна хорошо отполированная история успеха, и Quest 2 выглядит как лучшая модель для будущих гарнитур. В отчете Гурмана потенциальная гарнитура Apple VR звучит так же, как автономное устройство Facebook, с отслеживанием рук без контроллера и пространственным пониманием помещения, которое может быть достигнуто с помощью технологии лидарного датчика Apple, представленной на iPad Pro и iPhone 12 Pro.

Гарнитура Apple может в конечном итоге использоваться более ограниченным кругом профессионалов или творческих людей. Но это также может привести к тому, что основное внимание будет уделено играм или фитнесу. Мой опыт работы с фитнес-инструментами Oculus Quest кажется естественным направлением для Apple, теперь, когда Apple Watch распространяется на фитнес-тренировки по подписке, сопряжение с телевизорами и другими устройствами.

Сейчас играет:
Смотри:

Meta Quest 2 лучше и дешевле… с одним Facebook…

8:56

Oculus Quest 2 (теперь официально Meta Quest 2) может видеть сквозь реальный мир и расширять некоторый уровень перекрытия виртуальных объектов, таких как границы комнаты, но гарнитура Apple может в большей степени исследовать сквозную дополненную реальность. Я видел впечатляющие примеры этого в гарнитурах таких компаний, как Varjo. Это может стать ступенькой для Apple в разработке технологии дополненной 3D-реальности для очков меньшего размера в будущем.

В настоящее время нет ни одного производителя смарт-очков, способного разработать очки с нормальным внешним видом, способные создавать усовершенствованные пространственно-ориентированные трехмерные наложения голографических объектов. Некоторые устройства, такие как nReal Light, пробовали с переменным успехом. Первые умные очки Меты, Ray-Ban Stories, вообще не были дополненной реальностью. Meta работает над способами достижения этой технологии позже. Apple может применить аналогичный подход и к очкам.

Гарнитура VR может быть устройством «Pro»

В большинстве существующих отчетов говорится, что гарнитура VR от Apple, вероятно, будет настолько дорогой и мощной, что ей придется ориентироваться на ограниченную аудиторию, а не на массовую аудиторию. Если это так, то он может быть нацелен на тех же деловых и творческих профессионалов, на которых уже нацелены более продвинутые гарнитуры виртуальной реальности, такие как Varjo XR-3 и Meta Quest Pro.

Я попробовал оборудование Varjo. Мой опыт работы с ним может подсказать, на чем также может быть сосредоточена гарнитура Apple. Он имеет дисплей с гораздо более высоким разрешением (которого Apple, по-видимому, попытается достичь), может смешивать AR и VR в смешанной реальности с помощью сквозных камер и предназначен для творческих инструментов профессионального уровня. Apple может интегрировать что-то похожее на свои лидарные датчики. Quest Pro делает что-то подобное, но в автономном устройстве без столь же высококлассного дисплея.

Гарнитура Varjo и большинство профессиональных VR-шлемов привязаны к ПК несколькими кабелями. Гарнитура Apple может работать как отдельное устройство, как Quest 2 и Quest Pro, а также работать при подключении к Mac или iPad, как Quest 2 уже работает с игровыми ПК с Windows. Преимущество Apple может заключаться в создании профессиональной гарнитуры, которая намного легче и полностью автономна, чем любое другое современное устройство, готовое к работе на ПК. Но что остается неизвестным, так это то, сколько приложений и инструментов Apple сможет представить, чтобы их гарнитура выглядела как инструмент, действительно полезный для создателей контента.

Элементы управления: отслеживание рук или небольшое носимое устройство?

Предыдущие отчеты The Information о гарнитуре Apple предполагают более упрощённую систему управления, чем сложные и большие периферийные устройства, похожие на игровые контроллеры, которые сейчас используются во многих гарнитурах виртуальной реальности. Гарнитура Apple должна работать с отслеживанием рук, как уже позволяют многие гарнитуры VR и AR. Но Apple, вероятно, понадобится какой-то аксессуар типа контроллера для ввода. Решение проблемы с управлением и вводом данных кажется одним из самых больших препятствий, с которыми может столкнуться Apple.

Недавние патентные заявки указывают на возможное интеллектуальное устройство типа «кольцо», которое может работать с воздушными жестами и движением и, возможно, даже с аксессуарами. Также возможно, что Apple может использовать некоторые из существующих аппаратных средств в качестве входных данных.

Может ли этот контроллер быть Apple Watch? Возможно, но возможностей управления движением Apple Watch и сенсорного экрана может быть недостаточно для более глубоких взаимодействий, которые потребуются гарнитуре Apple. Возможно, айфоны можно было бы использовать в качестве контроллеров. Вот как Qualcomm представляет себе следующую волну очков, подключаемых к телефону.

Прототип умных очков North Focals. North была приобретена Google в 2020 году.

Север

Умные очки AR будущего также могут быть в разработке

Заставить людей надевать гарнитуру AR сложно. Мне было трудно не забыть упаковать умные очки и найти место для их ношения. Большинство из них также не поддерживают мой рецепт. Ориентированные на разработчиков очки дополненной реальности производства Snap, которые я пробовал дома, показывают, как когда-нибудь могут выглядеть повседневные очки дополненной реальности, но они все еще находятся в стадии разработки.

Планы Qualcomm по очкам дополненной реальности показывают, что между 2023 и 2025 годами появится волна устройств, но на данный момент никому не удалось создать идеальную пару. Программное обеспечение, время автономной работы и даже общие кросс-платформенные интерфейсы остаются большой проблемой.

Предсказание Куо о том, что очки дополненной реальности появятся через несколько лет после того, как гарнитура типа очков виртуальной реальности будет соответствовать тому, что обещают другие компании. Проблемы с очками AR намного сложнее, чем с VR. Никто не понял, как будет работать их постоянное ношение или как вы будете взаимодействовать с виртуальными объектами: отслеживание рук? Часы или кольцо? Голос? Нейронные входы?

Apple всегда рекламировала Apple Watch, в первую очередь, как «отличные часы». Я ожидал того же от своих очков. Если Apple сделает очки по рецепту и сделает их доступными, в стиле Warby Parker, в сезонных оправах в своих магазинах Apple, этого может быть достаточно для людей, если оправы хорошо выглядят. По словам Гурмана, гарнитура Apple VR также будет предлагать линзы, отпускаемые по рецепту. Позже это может стать ступенькой к разработке очков.

В 2020 году компания Google приобрела производителя умных очков North, который изготовил почти обычный набор очков по рецепту. Концепция Норта для очков может быть слишком похожа на Google Glass на вкус Apple, но идея о том, что очки AR можно использовать как функциональные очки, звучит очень похоже на Apple. Совсем недавно смарт-очки, запланированные Vuzix на 2021 год, показывают, насколько технологии сократились, но даже эти запланированные очки не будут иметь возможности пространственно сканировать мир и накладывать дополненную реальность: они будут больше похожи на продвинутые очки с головами. дисплеи и 3D-звук.

В отчете The Information за 2020 год говорится, что новые объективы дополненной реальности вступают в фазу пробного производства для аппаратного обеспечения дополненной реальности Apple (9to5Mac также опубликовал отчет). Эти линзы звучат намного ближе к обычным очкам, чем позволяют современные гарнитуры дополненной реальности, но когда они будут готовы?

Может ли Apple сделать свои первые умные очки чем-то более простым, позволяя Apple постепенно добавлять больше функций AR и позволять новичкам освоиться? Или Apple попытается решить проблему AR со своей первой парой очков? Дополненная реальность — странная концепция для очков и потенциально отталкивающая. Возможно, Apple будет стремиться к тонкости. Оригинальные Apple Watch были разработаны так, чтобы на них можно было смотреть всего 5 секунд за раз.

Недавняя заявка на патент также показала, что Apple стремится решить проблемы со зрением с помощью адаптивных линз. Если это правда, это может быть самое большое приложение-убийца интеллектуальных очков Apple.

Дэвид Карной/CNET

Являются ли AirPods Max признаком того, насколько дорогой может быть гарнитура?

Ориентированные на бизнес HoloLens и Magic Leap стоят тысячи долларов. Текущие гарнитуры виртуальной реальности стоят от 500 долларов и более.

Последние отчеты о ценах предлагают что-то между 2000 и 3000 долларов, что находится на территории бизнес-ориентированных гарнитур AR, таких как HoloLens 2, или гарнитур виртуальной реальности для бизнеса, таких как Varjo. Анализ TrendForce, опубликованный в феврале, также оценивает, что аппаратное обеспечение гарнитуры Apple будет стоить тысячи, и предсказывает, что Apple будет использовать «программное решение на основе ежемесячной подписки».

Наушники Apple AirPods Max указывают на то, что цены могут вырасти. 549 долларов, они стоят дороже, чем PlayStation 5. И это всего лишь наушники. Пара умных очков или продвинутая гарнитура виртуальной реальности были бы намного более продвинутыми.

iPhone тоже подключен?

AR и VR Qualcomm планирует телеграфировать следующую волну гарнитур: многие из них будут управляться телефонами. Очки с питанием от телефона могут быть легче и иметь только ключевые встроенные камеры и датчики для измерения движения и сбора информации. Тем временем телефон делает тяжелую работу и не разряжает батарею гарнитуры.

Звездное устройство Apple — iPhone, и он уже загружен передовыми наборами микросхем, которые могут выполнять множество вычислений AR и компьютерного зрения. Он уже может питать гарнитуру AR прямо сейчас; представьте, что может произойти еще через год или два.

Apple также может иметь свой собственный специализированный чип высокого класса в своей первой волне VR и AR-гарнитур, как предполагают отчеты, но они также, несомненно, будут соответствовать более продвинутым процессорам в телефонах Apple, планшетах и ​​Mac. Со временем это может означать, что очки меньшего размера будут подключаться к другим устройствам Apple или к облаку.

iPhone от Apple, скорее всего, будет двигателем.

Анджела Лэнг/CNET

Как Apple может объединить реальный мир с AR и VR

Apple уже пробует наложения дополненной реальности с реальными местоположениями: QR-код и клипы приложений с поддержкой NFC могут запускать опыт из реальных мест одним касанием или сканированием. Эти микроприложения также созданы для работы с AR: с очками или гарнитурой AR они могут в конечном итоге запускать взаимодействие одним взглядом.

Возможно, QR-коды помогут ускорить работу дополненной реальности в «тупом» мире. В iPhone от Apple также есть чип U1, который можно использовать для повышения точности размещения объектов AR, а также для более быстрого поиска других устройств Apple, которые также имеют чип U1.

AirTags от Apple появились в 2021 году с функциями, аналогичными SmartTags Plus от Samsung, в которых используется аналогичная сверхширокополосная технология. Эти теги можно увидеть через приложение для iPhone с использованием AR, которое, возможно, может быть распространено на будущие гарнитуры Apple VR или AR. Если бы все объекты Apple узнавали друг друга, они могли бы действовать как маяки в доме. Чипы U1 также могут быть инструментами внутренней навигации для большей точности.

Совместная платформа смешанной реальности Microsoft, Mesh, показывает, как встречи с людьми в виртуальных пространствах могут происходить мгновенно и в рабочей среде. Apple уже обеспечивает многопользовательскую AR в реальных местах, но следующим необходимым шагом будет создание платформы для совместной работы в AR и VR, которую разрабатывает Microsoft.

Пробую некоторые приложения AR с поддержкой LiDAR, которые я могу найти для iPad Pro 2020 года, чтобы показать сетку. Вот один из них под названием Primer, ранняя сборка для тестирования обоев на стенах pic.twitter.com/SatibguyTm

— Скотт Стейн (@jetscott) 14 апреля 2020 г.

Аппаратное обеспечение Apple для определения глубины уже здесь

Компания Apple уже вложила значительные средства в массивы камер, которые могут воспринимать мир с близкого и дальнего расстояния. Фронтальная камера TrueDepth, которую Apple использовала на каждом iPhone с Face ID, начиная с X, похожа на уменьшенный Microsoft Kinect и может сканировать на расстоянии нескольких футов, воспринимая 3D-информацию с достаточно высокой точностью, чтобы ее можно было использовать для безопасного распознавания лица. сканирование. Лидарная технология Apple в последних iPhone и iPad может сканировать гораздо дальше, на несколько метров. Это тот диапазон, который нужен очкам.

Существующая лидарная технология Apple в сочетании с камерами уже достаточно хороша для сканирования окружающей среды и трехмерных объектов. Добавьте к этому широкомасштабное лидарное сканирование, которое Apple делает в Картах, чтобы обеспечить наложение реальных местоположений на виртуальные объекты с помощью технологии, называемой привязками к местоположению, и внезапно кажется, что глубинное сканирование, которое представляет Apple, может расшириться до мировых амбиций.

Новые чипы Apple для Mac уже указывают на совместимость с VR-AR

Компьютеры Mac с поддержкой M1 от Apple и более поздние технически гораздо более способны к мощности, необходимой для запуска AR и VR, и они имеют сходство с тем, как iPhone и iPad обрабатывают графику. . Разработка общей основы для устройств может позволить гарнитуре работать на iPhone, iPad или Mac, что сделает ее универсальным аксессуаром для устройств Apple.

Это было бы важно, если бы Apple намеревалась использовать свои гарнитуры VR или AR для какой-либо роли в творческих рабочих процессах или для игр или приложений. Это одно из ограничений существующих гарнитур виртуальной реальности, которые должны работать на определенных игровых ПК с Windows и по-прежнему не так хорошо работают с телефонами iOS или Android.

AirPods превратились из абсурда в необходимость. Может ли Apple сделать то же самое для умных очков?

Сара Тью/CNET

Посмотрите на AirPods из-за простоты использования и дополненной реальности со звуком.

успех. Это доказало, что это можно принять и сделать нормальным. AirPods дороже по сравнению с проводными наушниками в коробке, но они также практичны. Они расслаблены. Если Apple работает над гарнитурами AR или VR, они должны чувствовать то же самое.

Пространственный звук AirPod Pro, который также есть в AirPods Max и AirPods 3, указывает на то, в каком направлении могут развиваться будущие идеи. Иммерсивный звук — это обычное дело, и мы делаем это постоянно. Иммерсивное видео сложно и не всегда нужно. Я мог видеть, как AR работает как подход, ориентированный на звук, как пинг. Очки Apple потенциально могут сканировать мир в пространстве, что позволит работать пространственному звуку. Тем временем Apple уже разрабатывает технологию пространственного звука, которая понадобится ее гарнитуре VR.

HoloKit X, пара очков со светоотражающим козырьком, которые превращают iPhone в гарнитуру дополненной реальности. Он может работать с Apple Watch и AirPods. Может ли это быть стратегией Apple?

Скотт Стейн/CNET

Apple Watch и AirPods могут стать отличными компаньонами

У Apple уже есть коллекция носимых устройств, которые подключаются к iPhone, и оба подходят для очков. Его AirPods могут соединяться для аудио (хотя, возможно, очки также имеют свой собственный звук, похожий на Bose Frames), в то время как Watch могут быть полезным пультом дистанционного управления. Apple Watch уже иногда действуют как пульт дистанционного управления для Apple TV или для подключения к камере iPhone. Будущие гарнитуры Apple также могут быть похожи на Watch и виртуально расширять их дисплей, предлагая улучшенные дополнительные функции, которые проявляются незаметно, например, в виде ореола. Или они могли бы использовать часы в качестве своего рода контроллера.

Apple Watch также могут предоставить то, что будет трудно получить с помощью жестов рук или сенсорных рамок на очках: тактильные ощущения. Грохочущая обратная связь на часах, возможно, может дать некоторый тактильный отклик на виртуальные вещи.

Уже есть пара недорогих очков для телефона HoloKit X, в которых используются эти идеи. Он использует iPhone для дисплея гарнитуры и камер, может передавать пространственный звук на AirPods и использовать Apple Watch для управления жестами.