Ar kit ios 11: Augmented Reality — Apple Developer

Сегодняшний iOS 11 вышел на новый уровень захвата изображения с помощью технологий Depth, AI Vision и машинного обучения.

Когда десять лет назад вышел первый iPhone технологии фотографирования и видео съемки в нем были самыми простыми. Сегодняшний iOS 11 вышел на новый уровень захвата изображения с помощью технологий Depth, AI Vision и машинного обучения. Параллельно в нем размещена новая платформа для дополненной реальности (AR), которая объединяет то, что видит камера, и графику, создаваемую устройством. Давайте попробуем разобраться, как это всё работает.

AR — это новый шаг в развитии технологий, связанных с камерой

Осенью этого года iOS 11 представила серию новых интерфейсов прикладного программирования (API), связанных с камерой и изображениями. API позволяет сторонним разработчикам использовать собственный код Apple (называемый фреймворком или иногда «набором») для специализированной работы в своих приложениях.

Новый API-интерфейс Depth позволяет разработчикам создавать приложения, которые фигурально стоят на плечах гигантской работы Apple в разработке и калибровке двухъядерных камер iPhone 7 Plus и 8 Plus, которые могут работать в тандеме, создавая карты дифференциальной глубины. Беря за основу расстояние до камеры эта технология использует выборочную настройку частей изображений.

И с его сложной концепцией Vision и CoreML, Apple позволяет разработчикам использовать библиотеку встроенного интеллекта для обнаружения лиц, объектов, текста, ориентиров и штрих-кодов, которые попадают в поле зрения камеры, а так же при помощи существующих моделей машинного обучения определить основу этих объектов.

Еще одним важным фактором в интеллектуальной API обработке изображений является то, что iOS 11 поддерживает создание визуализации дополненной реальности в качестве платформы для сторонних разработчиков, используя новую инфраструктуру Apple ARKit.

Наиболее зрелищными примерами приложений ARKit являются игры, которые создают синтетический 3D-мир анимированной графики, которая накладывается на реальный мир. Данное наложение можно наблюдать на камере.

Существует также множество других вещей, которые можно сделать в AR, от управляемой навигации и исследования моделей до измерения и отображения реального мира. Например, можно построить план дома, просто нацеливая вашу камеру на его углы.

Помимо простого наложения 3D-графики поверх реальных изображений, AR использует комбинацию данных датчика движения и визуального ввода с камеры, чтобы пользователь мог свободно исследовать 3D-графику, отображаемую в пространстве, визуализируя сложные анимированные сцены под любым углом.

Стив Джобс представил Core Motion на iPhone 4

Предоставление платформы для разработки приложений AR сложнее, чем может показаться. ARKit основывается на десятилетнем опыте Apple по оптимизации и отслеживанию данных с датчиков движения, начиная с 3-х осевого акселерометра, встроенного в оригинальный iPhone в 2007 году. Это позволило реализовать наклоны в играх и жесты, такие как «встряска для отмены».

В 2010 году iPhone 4 стал первым смартфоном с 3-осевым гироскопом. В сочетании с датчиками наклона акселерометров и цифровым компасом это обеспечило 6-осевое движение и поворот вокруг собственной оси, позволяя создать новый уровень пространственной осведомленности в играх и служебных приложениях.

Стив Джобс продемонстрировал использование гироскопического позиционирования iPhone 4 в воздухе, сыграв около двух минут в игру Jenga на сцене WWDC в 2010 году, где его стек виртуальных блоков мог вращаться в тандеме с движением телефона, а не просто наклоняться из стороны в сторону, как это было раньше.

Пять лет эволюции Core Motion

Разрабатываемые «яблочные» процессоры становятся всё более мощными и изощренными. В 2013 году для 64-битного iPhone 5s с поддержкой чипа A7 Apple представила новый маломощный M7-движок для эффективного мониторинга датчиков движения и цифрового компаса, что позволило собирать и сообщать данные Core Motion без постоянного подключения CPU.

Одно из самых очевидных и ценных применений данных движения связано с отслеживанием работоспособности. Сопроцессорное ядро ​​M8 в iPhone 6 улучшило эти показатели, добавив барометр для отслеживания изменений высоты, когда вы поднимаетесь по лестнице или движетесь по холмам.

Через некоторое время постоянно работающий, мощный энергосберегающий M9 Core Motion был подключен к мониторингу микрофона для ответа на команды Siri на iPhone 6s. Эта технология также нашла свой путь в Apple Watch, где основными функциями были Siri и фитнес-трекинг.

Core Motion + Camera vision = VIO

В 2015 году Apple приобрела компанию Metaio, которая была выведена из внутреннего проекта Volkswagen для разработки инструментов визуализации расширенной реальности. Наряду с предыдущими приобретениями, включая в 2013 году выкуп PrimeSense, а затем Faceshift, а также последующую покупку Flyby Media, Apple накапливала знания, необходимые для создания и управления новым 3D-миром датчиков движения и камер.

Некоторые из изучаемых технологий уже были применены в одиночной камере AR. Новые же устройства на iOS 11 с чипом A9 (включающим сопроцессор M9 Core Motion) могут измерять данные датчика движения для использования в позиционном отслеживании в тандеме с информацией с камеры, используя технологию VIO (визуальная инерциальная одометрия).

VIO анализирует данные камеры («визуальные») для определения ориентиров, которые она может использовать для измерения («одометрия»), определяя как устройство движется в пространстве относительно ориентиров, которые оно видит. Данные датчика движения («инерциальные») используются для заполнения пробелов при предоставлении дополнительной информации, которую устройство может сравнить с той, что оно видит, чтобы лучше понять, как оно движется в пространстве (или как ему необходимо двигаться).

По сути, VIO позволяет системе создавать анимированную 3D-графику, которая может визуализировать жизнь в 6 плоскостях, следуя сложным движениям устройства по 6 осям: вверх/вниз, назад/вперед, в/из.

создаем приложение-линейку с помощью ARKit / Хабр

Вот и прошел день долгожданного официального релиза iOS 11, а значит откладывать знакомство с ARKit – SDK производства Apple для создания приложений с дополненной реальностью — больше никак нельзя. О сути инструмента наслышаны многие: с помощью ARKit можно накладывать созданную виртуальную реальность на реальный мир вокруг нас. iPhone или iPad при этом выступают в роли смотрового окна, через которое мы можем наблюдать за происходящим и что-то в нем менять. В Интернете уже представлено немало различных демо-приложений – с их помощью можно расставлять мебель, парковать автомобиль на стоянке, рисовать в окружающем пространстве, создавать двери в другие миры и многое другое. Словом, круг возможностей широкий, нужно только разобраться с технической реализацией.

ARKit поддерживают девайсы исключительно с iOS 11 и процессором A9 или A10. Соотвественно, для написания и запуска приложения нам потребуется, во-первых, Xcode 9, во-вторых, девайс с одним из указанных процессоров и установленной последней версией iOS. Стартовый проект можно скачать отсюда.

ARKit использует данные с камеры и других датчиков девайса, чтобы распознавать ключевые точки и горизонтальные поверхности в окружающем пространстве в режиме реального времени. В скобках отметим, что процесс довольно ресурсозатратный – девайс будет нагреваться. Для начала добавим в метод viewDidLoad() строчку:

 

 sceneView.debugOptions = ARSCNDebugOptions.showFeaturePoints

Это позволит нам видеть ключевые точки, которые находит ARKit. Теперь можно запустить приложение, и через некоторое время перед нами предстанет следующая картина:

 

  /

Стоит отметить, что девайс необходимо немного перемещать в пространстве – в процессе движения в систему будет поступать больше меняющейся информации, чем в неподвижном состоянии. Обилие данных помогает ARKit определять ключевые точки, и в итоге их получается больше.

 

Для того чтобы «прощупать» возможности ARKit мы возьмем в качестве примера простое приложение-линейку и проследим весь процесс его создания. Сначала нам необходимо реализовать отрисовку линии между двумя точками, затем рассчитать ее длину, настроить вывод результата на экран – и наша примитивная линейка будет готова. Добавим переменные, которые нам понадобятся для отрисовки линии в пространстве:

    

private var points: (start: SCNVector3?, end: SCNVector3?)
private var line = SCNNode()
private var isDrawing = false 
private var canPlacePoint = false 

Кортеж points будет содержать в себе точки начала и конца линии. line – это SCNNode, объект, который добавляется в сцену SceneKit, isDrawing – переменная показывающая, закончили мы выбор точек или нет. Переменная сanPlacePoint говорит сама за себя: она показывает, можно ли расположить точку в фокусе. В нашем случае фокусом будет являться центр экрана.

 

Для того, чтобы определить, можем ли мы поместить точку в фокус, нужно использовать метод hitTest объекта ARSCNVeiw. Этот метод на основе данных ARKit определяет все распознанные объекты и поверхности, пересекающие луч, направленный от камеры, и возвращает в порядке удаления от девайса полученные данные о пересечении.

 

Использовать его мы будем в ARSCNViewDelegate, в методе

 

func renderer(_ renderer: SCNSceneRenderer, updateAtTime time: TimeInterval) 

чтобы получать данные в режиме реального времени. В итоге у нас получится как-то так:

 

func renderer(_ renderer: SCNSceneRenderer, updateAtTime time: TimeInterval) {
    DispatchQueue.main.async {
	self.measure()
    }
}
    
private func measure() {
    let hitResults = sceneView.hitTest(view.center, types: [.featurePoint])
    if let hit = hitResults.first {
        canPlacePoint = true
        focus.image = UIImage(named: "focus")
    } else {
        canPlacePoint = false
        focus.image = UIImage(named: "focus_off")
    }
}
     

Данный код проверяет наличие результатов hitTest в режиме реального времени, а дальше уже, в зависимости от них, выставляет значение canPlacePoint и изображение нашего фокуса (зеленое или красное). Также в методе hitTest есть список опций, задающий, какие объекты учитывать в реализации – в нашем случае это ключевые точки. При желании можно добавить горизонтальные поверхности.

 

Тап по экрану будет обозначать начальную либо конечную точку. Непосредственно в функции реализации тапа по экрану мы будем менять переменную isDrawing и обнулять значения начала и конца всякий раз, когда начинаем новую линию:

 

@objc private func tapped() {
    if canPlacePoint {
        isDrawing = !isDrawing
        if isDrawing {
                points.start = nil
                points.end = nil
        }
    }
}

Вернемся к функции делегата updateAtTime. Имея результат hitTest, мы получаем координаты точки и затем, в зависимости от значения переменных, ставим начальную или конечную точку линии:

     

if isDrawing {
   let hitTransform = SCNMatrix4(hit.worldTransform)
   let hitPoint = SCNVector3Make(hitTransform. m41, hitTransform.m42, hitTransform.m43)
                
   if points.start == nil {
       points.start = hitPoint
   } else {
       points.end = hitPoint
   }
}

Теперь у нас есть координаты начала и конца линии – осталось ее начертить. Для этого добавим функцию, которая будет возвращать геометрию линии (по ней SceneKit поймет, как и где рисовать SCNNode):

 

func lineFrom(vector vector1: SCNVector3, toVector vector2: SCNVector3) -> SCNGeometry {
    let indices: [Int32] = [0, 1]
        
    let source = SCNGeometrySource(vertices: [vector1, vector2])
    let element = SCNGeometryElement(indices: indices, primitiveType: .line)
        
    return SCNGeometry(sources: [source], elements: [element])  
}

И, наконец, добавим код, который будет отрисовывать нашу линию в пространстве:

 

if points.start == nil {
    points.start = hitPoint
} else {
    points.end = hitPoint
    line. geometry = lineFrom(vector: points.start!, toVector: points.end!)
    if line.parent == nil {
        line.geometry?.firstMaterial?.diffuse.contents = UIColor.white
        line.geometry?.firstMaterial?.isDoubleSided = true
        sceneView.scene.rootNode.addChildNode(line)
    }
}

Теперь, запустив приложение, мы можем провести линию между двумя точками: первый тап отмечает начало и начинает отрисовывать линию к точке в фокусе, второй тап прекращает режим отрисовки и фиксириует линию. Остается только рассчитать ее длину и вывести полученное значение на экран.

 

func distance(from startPoint: SCNVector3, to endPoint: SCNVector3) -> Float {
    let vector = SCNVector3Make(startPoint.x - endPoint.x, startPoint.y - endPoint.y, startPoint.z - endPoint.z)
    let distance = sqrtf(vector.x * vector.x + vector.y * vector.y + vector.z * vector.z)
    return distance
}

Эта функция вычисляет расстояние между двумя точками в пространстве. Дело за малым: добавить текстовое поле и выводить результат в него. В SceneKit 0.01 равняется одному сантиметру. В итоге получаем следущее:

 

 

Длина нарисованной линии, по мнению приложения, составляет 9 см, что довольно хорошо соотносится с показаниями реальной линейки. Но, на самом деле, точность не слишком высокая. Максимальная точность получается в тех случаях, когда объекты располагаются на небольшом от камеры расстоянии и измерение производится из положения девайса перпендикулярно поверхности (то есть нужно двигать телефон параллельно поверхности, а не поворачивать его). Измерение на горизонтальных поверхностях будут более точным. Также, если наводить камеру на далекие объекты, hitTest может возвращать невалидные результаты – расстояние до найденных объектов определяется неверно. Хотя здесь нужно оговориться, что все это тестировалось на iPhone 7, у которого нет двойной камеры. Да и если посмотреть на демо различных линеек в интернете, по большей части можно заметить те же самые ограничения и неточности в измерениях.

 

Вот что получилось в результате.

 

Если подытожить: ARKit – отличное SDK для создания игр и развлекательных приложений, с ним можно придумать много интересного. Существенная заслуга Apple в том, что они пустили дополненную реальность в массы: девайсов, поддерживающих ARKit, довольно много и теперь уже не нужно приобретать специальные шлемы и прочие аксессуары. К тому же, ARKit поддерживает работу как и с нативными SpriteKit SceneKit и Metal, так и с Unity и Unreal Engine, что упрощает разработку.

Новые возможности iOS 11 SDK

Эта статья в основном описывает некоторые ключевые моменты конференции разработчиков WWDC 2017.

Новые рамки

Один: Core ML

Основная функция: отвечает за упрощение и интеграцию машинного обучения.

Подробности: Core ML обеспечивает визуальное распознавание iOS за кулисамиVision Семантический анализ связанных API в рамках и фундаменте. Обычные разработчики могут напрямую воспользоваться этими API-интерфейсами высокого уровня, такими как изображение лица или распознавание текста. Эта часть контента также существует в предыдущей версии SDK, но в iOS 11 SDK они сконцентрированы в новой среде, и открыты некоторые более специфичные и низкоуровневые элементы управления. Например, вы можете использовать высокоуровневый интерфейс в Vision, но также указать модель, используемую нижним уровнем. Это открывает новые возможности для компьютерного зрения iOS.

Два: ARKit

Основная функция: ARKit для создания приложений дополненной реальности (AR).

Детали: В iOS SDK 11 Apple преподносит отличный подарок разработчикам, особенно тем, которые связаны с AR, то есть ARKit. ARKit значительно снижает барьеры, мешающие обычным разработчикам играть в AR, и это также вариант, который Apple использует для противодействия VR на данном этапе. Вы можете представить себе больше AR-игр, похожих на Pokémon Go (в сочетании с реальными виртуальными питомцами и т. Д., Возможно, проще всего придумать), которые можно сделать с помощью ARKit и SceneKit, и даже создавать AR-фильмы на основе существующих навыков iPad Pro Такое мультимедиа, которое можно отображать во всех направлениях, может больше не быть просто мечтой. Соответственно, есть набор API, которые не очень сложны. Представленное представление почти как расширение SceneKit, и реальное поведение системы уже обработано системой. Разработчикам необходимо размещать виртуальные объекты в соответствующих положениях на экране и позволять объектам взаимодействовать. Можно сказать, что использование Core ML для распознавания и взаимодействия с реальными объектами в камере делает все виды камер со спецэффектами или фотографических приложений полными воображения.

Изменения функций и новые дополнения

Один: редактор Xcode и компилятор

Подробное :. Редактор в Xcode 9 был переписан для поддержки рефакторинга кода Swift (хотя он все еще очень прост), VCS был упомянут на более важной позиции, и была добавлена ​​интеграция с GitHub, позволяющая развертывание и отладку по беспроводной сети в одной и той же локальной сети.

Два: названный цвет

Детали: теперь вы можете добавить цвет в xcassets, а затем ссылаться на этот цвет в коде или IB. Это выглядит так:

При использовании IB для создания пользовательского интерфейса одной из главных проблем является то, что дизайнер сказал, что мы должны изменить цвет темы. Возможно, вам придется искать этот цвет везде, чтобы заменить его. Но теперь вам нужно только изменить его в xcassets, чтобы отразить все места в IB.

Другие заметные изменения

• Бремя — Очень стандартный набор API для iOS. Неудивительно, что система iOS помогает нам справиться с большей частью работы, и разработчикам практически необходимо обрабатывать результаты. UITextView и UITextField изначально поддерживают перетаскивание. UICollectionView и UITableView имеют серию выделенных делегатов для указания на возникновение и конец перетаскивания. И вы также можете определить поведение перетаскивания для любого подкласса UIView. В отличие от перетаскивания на Mac, перетаскивание в iOS полностью соответствует мультитач-экрану, поэтому вам может потребоваться выполнить специальную обработку для нескольких режимов перетаскивания одновременно.

• FileProvider и FileProviderUI -Обеспечивает набор интерфейсов, похожих на приложение Файлы, позволяя вам получать файлы на устройстве пользователя или в облаке. Я верю, что в будущем это станет стандартной конфигурацией приложений, связанных с документами.

• 32-разрядные приложения больше не поддерживаются. Хотя 32-разрядные приложения все еще могут запускаться в бета-версии 1, Apple четко указала, что поддержка будет удалена в следующей бета-версии iOS 11. Поэтому, если вы хотите, чтобы ваша программа работала на устройствах с iOS 11, необходима 64-битная перекомпиляция.

• DeviceCheck Разработчики, которые используют рекламные идентификаторы для отслеживания пользователей каждый день, теперь имеют лучшие варианты (конечно, только если они используются для серьезного бизнеса). DeviceCheck позволяет вам общаться с серверами Apple через ваш сервер и устанавливать два бита данных для одного устройства. Проще говоря, вы используете DeviceCheck API для генерации токена на вашем устройстве, а затем отправляете этот токен на свой сервер, а затем ваш сервер связывается с API Apple для обновления или запроса значения устройства. Данные этих двух битов используются для отслеживания информации, например, получил ли пользователь вознаграждение.

• PDFKit -Это фреймворк, который долгое время существовал в macOS, но уже поздно в iOS. Вы можете использовать эту платформу для отображения и управления файлами PDF.

• IdentityLookup-Вы можете разработать расширение приложения для перехвата системы SMS и MMS-информации. Когда приложение системной информации получает текстовое сообщение от неизвестного, оно запрашивает все открытые расширения фильтрации. Если расширение указывает, что сообщение должно быть перехвачено, то эта информация не будет вам доставлена. Расширения имеют возможность доступа к заранее назначенному серверу для оценки (так что вы можете получать содержимое текстовых сообщений пользователя открыто, но, конечно, с учетом конфиденциальности, эти обращения являются анонимными и зашифрованными. Apple также запрещает запись таких расширений в контейнер. В).

• Core NFC -Обеспечить базовую функцию чтения в ближнем поле на iPhone 7 и iPhone 7 Plus. Это выглядит многообещающе, если у вас есть правильный тег NFC, телефон может его прочитать. Но, учитывая, что фон не может быть постоянным, практичность ставится под угрозу. Тем не менее, автор не очень знаком с этим, и, возможно, есть более подходящая сцена.

• Auto Fill -Функция получения пароля из iCloud Keychain и последующего автозаполнения теперь открыта для сторонних разработчиков. Имя пользователя и пароль добавляются в textContentType объекта UITextInputTraits, а тип содержимого соответствующего текстового представления или текстового поля может быть настроен на автоматическое заполнение над клавиатурой, когда требуются имя пользователя и пароль, чтобы помочь пользователям быстро войти в систему.

iOS 11 представлена официально: все новые функции, особенности, сроки релиза

iPhone & iPad

В понедельник на презентации в Сан-Хосе компания Apple официально представила новую операционную систему iOS 11. Анонс платформы для iPhone, iPad и iPod touch состоялся на конференции WWDC, которая пройдет с 5 по 9 июня.

В преддверии анонса iOS 11 ходили слухи о новшествах грядущей программной платформы. Некоторые из них подтвердились. Apple внедрила несколько сотен нововведений, а также оптимизировала операционную систему и уменьшила время отклика на действия.

Презентуя iOS 11, купертиновцы продемонстрировали ряд основных новшеств платформы: iMessage, Apple Pay, Музыка, Siri, Камера, Фото, Пункт управлений, App Store, Mail и другие.

Сначала Apple рассказала о приложении iMessage, которое получило синхронизацию сообщений между устройствами, сквозное шифрование данных и поддержку платежей между пользователями. При заходе с нового устройства все сообщения и изображения загружаются из iCloud, а если пользователь удаляет отправленное сообщение, оно удаляется отовсюду.

Apple Pay – номер один на рынке бесконтактных платежей. К концу года 50% всех розничных сетей. Но важнее то, что теперь можно пользоваться Apple Play для передачи денег другим людям. И все это – в фирменном мессенджере Apple. Подтверждение осуществляется пальцем через Touch ID.

Изменения в iOS 11 коснулись почти все стандартных программ. Поддержка HEVC в приложении Камера позволит сделать ролики менее объемными при неизменном качестве, а фотографии будут сохраняться в новом формате HEIF, вместо JPEG. Впервые Apple вносит программные улучшения в камеры на старых смартфонах.

В iOS 11 компания полностью обновила интерфейс Пункта управления. Во-первых, он состоит из одной страницы, в то время как в iOS 10 их было две. Во-вторых, в нем активно используется функция 3D Touch для настройки разных параметров. Выглядит гораздо проще и интуитивно понятнее.

В приложении Фото появилось три варианта обработки изображений Live Photos. Пользователи получили возможность удалять кадры из середины «живых» фотографий, зациклить воспроизведение ролика и применять эффекты съемки вроде длинной выдержки. По замыслу разработчиков, Live Photos станут самым настоящим инструментом для цифрового творчества.

Получило обновление приложение Apple Maps. Теперь оно включает внутреннюю навигацию для аэропортов и торговых центров. В режиме навигации карты не позволят пользователю отвлекаться на сообщения, и даже позволят отправлять быстрые ответы на входящие запросы в iMessage.

Платформа «умного» дома HomeKit теперь позволяет создавать сложную мультимедийную систему в разных комнатах. В Apple назвали технологию AirPlay 2, она будет совместима почти со всеми Bluetooth-динамиками.

В iOS 11 радикально обновлен интерфейс магазина приложений App Store. Приложение выполнено в стиле Apple Music с крупными заголовками, шрифтами и обложками. Новый внешний вид магазина будет доступен посетителям магазина этой осенью.

На главной странице магазина появились новые разделы «Приложение дня» и «Игра дня». Во вкладке «Игры» информация о приложении включает данные о внутриигровых покупках.

Отдельного упоминания заслуживает технология дополненной реальности. Она обеспечивает быстрое и надежное отслеживание движений и окружающего освещения. В ходе презентации Крейг Федериги показал AR-технологию в действии: iPhone с помощью камеры без специального маркера определяет поверхности – например стол, на который можно поставить чашку или конструктор Lego. Они останутся на месте при движении камеры вокруг объекта.

В рендеринге помогает и естественный свет, который определяется камерой мобильного устройства. Причем функция работает на всех актуальных моделях iPhone, так что Apple AR сразу же становится самой массовой AR-платформой в мире. Разработчикам будет доступен новый фреймворк ARKit.

Специально для iPad в iOS 11 появились новые функции: расширенная док-панель с функцией предпросмотра а-ля macOS, продвинутая многозадачность, просмотр открытых приложений в стиле Mac, технология Drag’n’Drop. Пользователи смогут перетаскивать значки приложений на экран и они будут работать в оконном режиме. Но при желании можно переключиться в режим Split View.

В состав iOS 11 входит новое приложение «Файлы» для работы с локальными файлами и данными в облачных сервисах. Поддерживаются iCloud, Dropbox, Google Drive, One Drive и другие. Из приложения можно доставать файлы для аттача в почтовом клиенте. Но главное – это то, что на iPad теперь можно создавать папки, переименовывать их, перемещать, помещать в них разные файлы.

Список устройств, совместимых с iOS 11, включает смартфоны iPhone 5s/SE/6/6 Plus/6s/6s Plus/7/7Plus, планшеты iPad Pro 9,7/12,9, iPad Air 1/2, iPad 4, iPad mini 4/3/2. Для iPhone 5 и iPhone 5c операционная система iOS 10 будет последней.

Скачать iOS 11 beta 1 могут разработчики, официально зарегистрированные в программе Apple, уже сегодня. Публичное тестирование платформы стартует позднее в этом месяце. Финальные сборки выйдут на iPhone и iPad осенью этого года.

Смотрите также:

• Apple представила новую платформу macOS High Sierra
• Анонсирован iMac Pro: самый мощный Mac в истории
• Apple официально представила 10,5-дюймовый iPad Pro
• Apple анонсировала «умную» колонку HomePod
• Apple представила обновленные MacBook, MacBook Pro и MacBook Air
• Apple анонсировала watchOS 4 – новую платформу для Apple Watch

Это возможности Apple ARKit в iOS 11 | от команды M2Mobi | M2mobi

5 июня Apple объявила о выпуске ARKit для iOS 11 во время ежегодной Всемирной конференции разработчиков (WWDC). Что такое ARKit и каковы возможности этой техники? Я объясню в этом блоге.

ARKit от Apple — это платформа, которая позволяет нам легко внедрять дополненную реальность (AR) в наши приложения. С ARKit не только стало проще внедрять AR, но и способ отображения этой технологии значительно улучшился. Прежде чем продолжить работу с ARKit от Apple, я сначала расскажу больше об AR.

Читать на веб-сайте M2mobi >

Дополненная реальность — также «дополнительная реальность» — добавляет цифровую информацию в среду пользователя в режиме реального времени. Через камеру вашего смартфона или планшета вы будете видеть реальное окружение, которое показывает дополнительную цифровую информацию. Эта комбинация создает иллюзию того, что контент находится в реальном мире. Технология с множеством возможностей, которая применяется во все большем количестве приложений.

Одним из самых известных примеров является Pokémon Go. Это приложение позволяет пользователям превращать покемонов в реальность через свой смартфон. Также все больше и больше компаний выбирают для внедрения AR. Возьмем, к примеру, IKEA: с помощью приложения пользователи могут легко расставлять мебель в своей гостиной и ходить вокруг реальных предметов, чтобы точно увидеть, как они будут выглядеть под разными углами. Таким образом, пользователи могут увидеть, подходит ли определенный цвет или стиль к их дому.

Как вы уже догадались, возможности дополненной реальности выходят за рамки размещения покемонов и мебели. В приведенных ниже примерах показана дополнительная ценность AR.

Первый пример этой дополнительной ценности можно использовать с навигацией. На видео ниже пользователь следит за синей линией, которая на самом деле размещена на его телефоне. С AR линия или даже несколько стрелок могут направить пользователя к месту назначения — Starbucks в приведенном ниже примере. С помощью GPS или Wi-Fi можно определить местоположение пользователя и, таким образом, также можно отобразить расстояние до его местоположения.

Использование этой техники также было бы отличным решением для Indoor Wayfinding. Посетители крупных объектов, таких как больницы и аэропорты, могут легко найти свое отделение или выход на посадку. Эта форма Indoor Wayfinding еще более индивидуальна, чем известная синяя линия на карте, которую мы сейчас видим на картах Apple и Google.

Комбинация дополненной реальности и определения местоположения позволяет легко найти магазин или человека. Это открывает двери для еще большего количества функций. Возьмем, к примеру, выставочный стенд на большой конференции. Пользователям, которые ищут конкретный стенд, достаточно будет навести камеру на выставочный зал, чтобы увидеть, где находится их стенд. Этот метод показан на изображении выше, где пользователь может легко увидеть, где и как далеко находятся важные здания.

В дополненной реальности нет ничего нового под солнцем. До появления ARKit мы уже видели, как эта функциональность реализована во многих приложениях. Однако возможности были ограничены, а реализация была намного сложнее.

Раньше для использования дополненной реальности смартфонам требовались так называемые маркеры. Маркер — это точка распознавания — например, QR-код или логотип — и определяет, где на экране должен отображаться 3D-объект. Как только маркер больше не виден или больше не распознается, положение 3D-объекта невозможно определить. Это вредно для пользователя, потому что пользователю может потребоваться несколько раз снова навести камеру на маркер.

Кроме того, AR не поддерживается устройствами Apple. Нам пришлось использовать внешние библиотеки для поддержки AR. «Библиотека» — это термин для фрагмента кода, который позволяет использовать определенные функции (например, AR), которые мы (разработчики приложений) можем использовать в нашем собственном проекте или коде. Разработка собственной библиотеки для AR занимает много времени. Таким образом, нам пришлось выбрать использование внешних библиотек. Не идеальное решение, так как мы хотим иметь все внутри и не хотим зависеть от третьих лиц.

Благодаря ARKit от Apple использование и внедрение дополненной реальности становится намного более доступным для разработчиков. Причина в том, что ARKit является родным и уже поддерживается многими устройствами (см. ниже в этом блоге). Нам больше не нужно будет использовать внешние библиотеки — и, следовательно, зависеть от третьих лиц — для реализации дополненной реальности в их приложении.

ARKit использует визуальную инерциальную одометрию (VIO). С помощью этой техники смартфон точно отслеживает окружающий мир, а поражающие поверхности отслеживаются в каждом кадре. Таким образом, маркеры больше не нужны. VIO объединяет данные датчика камеры с датчиками движения телефона. Результатом является точная модель положения и движения устройства в окружающей среде. Другими словами, 3D-объект имеет еще более точное положение на вашем экране, благодаря чему он выглядит так, как будто он действительно находится в реальности.

При использовании дополненной реальности интерпретация окружающей среды очень важна. Если ваш смартфон не сможет распознать определенную среду, он также не сможет виртуально размещать в ней объекты. Apple ARKit использует технологию World-tracking, которая позволяет телефону распознавать горизонтальные поверхности, такие как стол или пол. Затем эти поверхности используются в качестве опорных точек для определения места размещения и отображения объекта.

Наконец, ARKit также распознает условия освещения в комнате или окружающей среде. В результате дополненные объекты могут быть затемнены или освещены, чтобы они лучше соответствовали окружению и, следовательно, реальности.

Появление ARKit, очевидно, сопровождается рядом ограничений. Один из них заключается в том, что ваше устройство должно калиброваться, чтобы распознавать плоскую поверхность. Это не всегда так гладко, и иногда вам даже приходится некоторое время перемещать смартфон, прежде чем он найдет достаточное количество опорных точек. Это не единственные ограничения. С ARKit ваш смартфон не будет обнаруживать сложные поверхности. Гладкий пол не подойдет, а вот деревянный стол подойдет. Пока есть достаточное количество точек распознавания. Также ARKit не будет обнаруживать вертикальные поверхности, такие как стены. Это так называемое обнаружение вертикальной плоскости было бы усовершенствованием и открыло бы еще больше возможностей.

Наконец, в ARKit нет распознавания объектов. Например, при размещении объекта перед вашим дополненным объектом «настоящий» объект исчезнет за дополненным объектом. Даже если вы поместите объект дополненной реальности на стол, а затем наведете камеру под стол, вы все равно увидите объект дополненной реальности. Другими словами, стол не распознается как реальная поверхность.

Для хорошей работы ARKit вам потребуется довольно много вычислительной мощности. По словам Apple, устройства iOS должны иметь A9, чип A10 или A11, чтобы использовать ARKit. Не все iPhone и iPad соответствуют этим критериям, но все же есть много устройств, которые соответствуют:

• iPhone X
• iPhone 8 (Plus)
• iPhone 7 (Plus)
• iPhone 6s (Plus)
• iPhone SE
• iPad (2017)
• iPad Pro

Команда M2mobi для iOS постоянно ищет новые возможности с ARKit. Хотите узнать больше о дополненной реальности и ARKit или быть в курсе этой новой техники? Тогда проверьте наш блог или свяжитесь с нами.

Учебное пособие по iOS 11: как измерять объекты с помощью ARKit | Игорь Кравцов

ezmeasureapp.com

Apple ARKit framework позволяет разработчикам создавать дополненную реальность для iPhone и iPad. Он поддерживается на устройствах с поддержкой A9 и выше.

Под капотом ARKit объединяет данные с камеры устройства и датчиков движения, применяет сложные математические вычисления и обеспечивает положение устройства и преобразование в виртуальном пространстве с высокой степенью точности. Вам нужно использовать методы проверки попаданий, чтобы найти поверхности реального мира, соответствующие точке на изображении с камеры. Результаты Hit-теста используются для размещения виртуального контента в вашей сцене.

ARKit использует датчик камеры для оценки общего количества света, доступного в сцене.

В качестве бонуса сеанс ARKit можно настроить для автоматического обнаружения плоских поверхностей, таких как полы и столы, и сообщать об их положении и размерах. Когда плоскость обнаружена, ARKit может продолжать изменять положение, экстент и преобразование привязки плоскости.

ARKit предоставляет 3 способа рендеринга сцены: SceneKit ( ARSCNView ), SpriteKit ( ARSKView ) и Metal. Когда используются SceneKit и SpriteKit, ARKit автоматически отображает живое изображение с камеры в качестве фона просмотра, визуализирует 2D- или 3D-наложение контента и применяет свет, чтобы создать иллюзию того, что этот контент обитает в реальном мире. В случае Metal вам нужно сделать все вручную, используя изображения с камеры, оценку освещенности и информацию об отслеживании положения для отображения наложенного контента.

ARS-сессия . Общий объект, управляющий дополненной реальностью. Вот точка входа в ARKit. В качестве первого шага вам необходимо настроить и запустить сеанс. После этого вы можете приостановить и сбросить его.

ARAnchor — Реальное положение и ориентация, которые можно использовать для размещения объектов в сцене дополненной реальности. Пользовательские привязки добавляются и удаляются во время сеанса ARS. ARKit также автоматически добавляет якоря при включении planeDetection 9.Опция 0088 в сеансе отслеживания мира.

ARFrame — Видеоизображение и информация об отслеживании положения, снятые в рамках сеанса дополненной реальности. Он содержит необработанное изображение с камеры, текущие промежуточные результаты анализа сцены (характерные точки) и предполагаемое состояние освещения.

ARCamera — Информация о положении камеры и характеристиках изображения для захваченного видеокадра в сеансе дополненной реальности.

Требуется установка Xcode 9Бета.

Создайте новый проект из шаблона «Single View App». Установите имя проекта и язык Swift.

Добавьте ключ NSCameraUsageDescription в Info.plist

Добавьте ключ NSCameraUsageDescription в Info.plist цели с некоторой строкой, описывающей причину использования вашей камеры.

Init ARKit view

1. Import ARKit и SceneKit frameworks
2. Создание ленивой переменной sceneView для хранения Экземпляр ARSCNView
3. Добавить sceneView в наше основное представление
4. Изменить размер sceneView
5. Запустить Сеанс ARKit

Соберите и запустите, и вы увидите свое первое приложение ARKit в действии. На данный момент он отображает только неподвижный вид камеры.

Отслеживание состояния ARKit

ARKit требуется некоторое время, чтобы проанализировать текущую сцену и предоставить нам некоторые результаты. Нам нужно установить делегата в ARSCNView, чтобы отслеживать изменения его статуса.

1. Согласовать наш ViewController с протоколом ARSCNViewDelegate .
2. Создайте метку для отображения информации о состоянии.
3. Добавьте метку в основное представление.
4. Обновить положение метки.
5. Реализовать функцию протокола для отображения изменений состояния.

Поместить объект в виртуальный мир

Если статус отслеживания «нормальный», мы готовы разместить виртуальные объекты в нашей сцене. Давайте обработаем жест касания и поместим сферу в это положение. Если сфера размещена, то рассчитайте расстояние между последними сферами.

1. Инициируем UITapGestureRecognizer и добавляем нашу сцену.
2. Обработка касания экрана и получение местоположения касания в системе координат вида.
3. Выполните проверку попаданий по характерным точкам, найденным ARKit. Здесь мы ищем точку в 3D-пространстве, соответствующую 2D-точке в виде. Вот где происходит волшебство ARKit! В результате он возвращает список ARHitTestResult.
4. Получить координаты трехмерной точки из ARHitTestResult.
5. Создать SphereNode с найденными координатами. Посмотрите полный исходный код для получения дополнительной информации.
6. Добавьте сферу на нашу сцену.
7. Вычислить расстояние между двумя координатами.

Полный демонстрационный проект доступен на GitHub

ArMeasureDemo — размещение виртуальных объектов в трехмерном пространстве и расчет расстояния между объектами

https://itunes.apple.com/app/id1254004049

Если вы хотите получать последние новости и обновления, связанные с разработкой iOS и ARKit, следите за мной в Твиттере.

iOS 11: почему разработчики используют ARKit от Apple

Apple Holic

Джонни Эванс,

Компьютерный мир

|

О компании |

Appleholic, (существительное), æp·əl-hɑl·ɪk: Человек с богатым воображением, который думает о том, что делает Apple, почему и куда она движется. Предоставляем популярные новости, советы и развлечения, связанные с Apple, с 19 лет.99.

Мнение

При огромной пользовательской базе единственной проблемой для разработки дополненной реальности будут навыки разработчиков: Udacity и Unity хотят помочь.

IDG

С сотнями миллионов устройств iOS 11, которые теперь могут запускать приложения AR, Apple создала огромные возможности, но квалифицированных разработчиков просто не хватает. Udacity и Unity планируют помочь.

Разработка приложений дополненной реальности: что происходит?

Udacity и Unity представили две новые схемы обучения, чтобы помочь в подготовке новых поколений разработчиков дополненной реальности.

Это важно, учитывая, что некоторые аналитики ожидают, что к 2021 году индустрия VR/AR будет стоить около 108 миллиардов долларов.

Нельзя недооценивать потенциал AR.

Видите ли, в то время как массовый рынок сосредоточен на игровых приложениях, правда в том, что отрасли, включая здравоохранение, образование, развлечения, недвижимость и автомобилестроение, могут использовать AR, чтобы «коренным образом изменить» свои отношения со своими клиентами. Приложение Place от IKEA — отличный пример этого.

Немного прищурив глаза, вы также можете увидеть возможность для театрального самовыражения в виртуальном пространстве — музыкальные видеоклипы, которые позволяют вам виртуально наблюдать за своим выступлением на прикроватном столике и за его пределами. А как насчет огромного потенциального влияния технической поддержки и поддержки продуктов на основе виртуальной реальности? (Взгляните на мел, чтобы понять это.)

В отрасли также наблюдается некоторое движение к созданию инструментов, позволяющих потребителям создавать свои собственные возможности дополненной реальности. Идея здесь состоит в том, чтобы использовать набор инструментов ARKit и представить его в привлекательных приложениях, которые, будучи интересными в использовании, позволяют людям делать ставки в виртуальном пространстве.

Проблема, стоящая перед разработкой приложений дополненной реальности

Проблема? Конечно, разработчики, разработчики, разработчики — и победа AR в ближайшие пару лет будет определяться долей рынка и платформой, на которой разработчики сосредоточат свои первоначальные усилия.

Учитывая непосредственную потенциальную аудиторию в 400 миллионов пользователей iOS (и больше), я полагаю, что большинство разработчиков сосредоточатся на ARKit, а не на других платформах. Почему бы и нет? Создание отличных приложений требует времени и денег, и разработчики пойдут туда, где есть деньги — если у них есть навыки. Вот где вступают Unity и Udacity.

«Будущее за дополненной и виртуальной реальностью — настолько, что самые влиятельные технологические компании делают большие ставки на свой потенциал. Это прекрасное время как для опытных разработчиков, так и для новичков, чтобы отточить свои Мы гордимся тем, что работаем с Udacity, чтобы помочь сегодняшним разработчикам получить навыки для создания приложений завтрашнего дня», — пишет Джессика Линдл, глобальный руководитель отдела образования Unity Technologies.

Обучение AR и VR для всех остальных

Разработчики могут записаться на курс Learn ARKit за 200 долларов, на котором они узнают, как создавать приложения ARKit с помощью Swift или Unity. Они также могут записаться на шестимесячный курс «VR Developer Nanodegree», состоящий из трех частей, который обучает передовым навыкам разработки в виртуальной реальности.

(Разработчики, записывающиеся на эти курсы, также могут быстро ознакомиться с недавно представленной библиотекой 3D-контента Sketchfab AR.)

Введение новых схем обучения показывает, что отрасль быстро осознает возможности, которые может открыть ARKit, открывающий новые творческие возможности. Просто подождите, пока вы не увидите, что, например, исходит от GDVInteractive.

Подумайте об этом iPhone X Notch по-новому

В зависимости от цены и доступности iPhone X от Apple скоро станет самым высококлассным устройством для просмотра дополненной реальности в мире. Обычные критики захлопнули его Notch (пространство в верхней части устройства, в котором находятся технологии, управляющие FaceID), но в конечном итоге они съедят свои слова, как предполагает этот превосходный GIF.

Опытная команда по искажению реальности в Apple в очередной раз добилась чего-то довольно мощного. Он породил растущий лес AR-контента и, предоставив обширный рынок, также мотивировал разработчиков поддерживать их вплоть до залов заседаний на некоторых из крупнейших мировых предприятий.

Внедрение новых схем обучения, например, от Udacity/Unity, подтверждает достижение.

Google+?  Если вы пользуетесь социальными сетями и являетесь пользователем Google+, почему бы не присоединиться к сообществу AppleHolic Kool Aid Corner и не присоединиться к беседе, поскольку мы следуем духу новой модели Apple?

Есть история? Напишите мне в Твиттере или в комментариях ниже и дайте мне знать. Я бы хотел, чтобы вы подписались на меня в Твиттере, чтобы я мог сообщать вам, когда новые статьи публикуются здесь, в Computerworld.

Связанный:

• iOS
• Мобильный
• Разработка программного обеспечения
• яблоко
• Малый и средний бизнес

Джонни — писатель-фрилансер, который пишет (в основном об Apple и технологиях) с 1999 года.

Copyright © 2017 IDG Communications, Inc.

7 неудобных истин о тренде гибридной работы

Платформа дополненной реальности Apple ARKit — убийственная функция iOS 11

Некоторые из крупнейших технологических компаний — Apple, Google и Microsoft и многие другие — похоже, уверены, что дополненная реальность (AR) выведет смартфоны на новый уровень. До сих пор это были только разговоры, но это может измениться до конца этого года. Apple готовится выпустить ARKit, совершенно новую платформу для создания такого рода контента.

AR уже некоторое время является приоритетом для Apple. Компания потратила много времени и усилий на наем персонала и приобретение стартапов, чтобы гарантировать, что у нее будут все необходимые таланты, как только технология станет достаточно зрелой для масс. Теперь мы находимся на пороге вечеринки Apple, посвященной выпуску дополненной реальности: выпуск iOS 11.

Чтобы понять значение ARKit, мы поговорили с разработчиком, который работал над технологией дополненной реальности большую часть десятилетия и уже потратил некоторое время на то, чтобы протестировать набор разработчика Apple.

Первый этаж AR

Ян-Хейн Пулленс и его команда производят AR-контент для клиентов в сфере домашнего интерьера и недвижимости — и спрос на их работу может резко возрасти, поскольку Apple пытается донести эту технологию до масс.

Сегодня имеется достаточно оборудования и инфраструктуры, чтобы пользователи могли запускать высококачественный контент дополненной реальности.

Однако, когда Пулленс и Питер Аартс основали RoOomy в 2009 году, технологический ландшафт был совсем другим. Пройдет еще три года, прежде чем кампания Oculus Rift на Kickstarter сделает виртуальную реальность общедоступной. Google Glass, один из первых запущенных громких проектов дополненной реальности, не будет успешно прототипирован до середины 2011 года.

Пулленс и Аартс изначально были в восторге от перспективы дать людям возможность увидеть, как большие предметы мебели могут выглядеть в их собственном доме с помощью дополненной реальности. Однако аппаратное обеспечение для запуска такого программного обеспечения просто не было общедоступным.

«Восемь лет назад, например, не было iPad», — сказал Пулленс, когда говорил по телефону с Digital Trends в прошлом месяце. «У людей были настольные компьютеры и телефоны».

Настольные ПК

не идеальны для контента дополненной реальности, потому что вы не можете перемещать их, чтобы увидеть под разными углами. И тогда смартфоны были не намного лучше. У них просто не было лошадиных сил (или датчиков), необходимых для представления программного обеспечения AR.

1 из 2

Демонстрация мебели с дополненной реальностью от roOmy
Демонстрация мебели с дополненной реальностью от roOmy

Независимо от того, пытаетесь ли вы продать кому-то роскошный диван или роскошную квартиру, крайне важно, чтобы ваша виртуальная визуализация использовала сильные стороны продукта. «Это должно быть очень реалистично, иначе это будет выглядеть бесполезно и похоже на игру», — объяснил он.

Сегодня у некоторых владельцев телефонов достаточно оборудования и инфраструктуры для запуска высококачественного AR-контента. Google Tango на данный момент является самой зарекомендовавшей себя платформой. К сожалению, он совместим только с двумя смартфонами — Lenovo Phab 2 Pro и Asus Zenfone AR. Вы знаете кого-нибудь, у кого есть эти телефоны? Мы тоже. Но когда iPhone вступает в бой, внезапно огромная часть пользователей смартфонов будет поддерживать AR.

Apple открывает ворота

ARKit будет поддерживаться устройствами iOS, использующими процессоры Apple A9 или A10 — iPad 2017 года, iPhone 6S и новее. По общему признанию, это не позволяет миллионам пользователей со старым оборудованием получить доступ к контенту дополненной реальности, созданному с использованием платформы, но это абсолютно затмевает базу пользователей Google Tango, Microsoft HoloLens и любой другой платформы дополненной реальности.

Для сложных функций дополненной реальности требуются специальные датчики, такие как камера с определением глубины.

Есть еще одно осложнение. Некоторые из самых сложных функций AR требуют специальных датчиков, таких как камера с определением глубины. Это правда, что iPhone 7 Plus имеет некоторые возможности определения глубины, используя две линзы, работающие синхронно для измерения относительного расстояния. Однако в более широкой схеме технологии дополненной реальности это относительно примитивное решение.

В феврале 2017 года ходили слухи, что в следующем iPhone будет реализован инфракрасный датчик, аналогичный тому, который используется в аксессуаре Microsoft Kinect для Xbox 360, как сообщает The Verge. Такой датчик предоставит гораздо более подробную информацию об относительном положении объекта по отношению к устройству, чем текущая установка с двумя объективами. Также ходят слухи, что Apple представит какой-то компонент, который служит для этой цели, как часть обновления iPhone 2017 года (почитайте последние слухи об iPhone 8), но пока ничего официального нет.

Эти новые устройства будут считаться базой для разработчиков дополненной реальности в будущем, особенно из-за преимуществ, связанных с камерами с определением глубины. Однако комбинация ARKit и современного оборудования уже приносит свои плоды. Пулленс и его команда провели некоторое время с ранней версией комплекта для разработки, и им понравилось то, что они увидели.

«Первые результаты, которые мы получили с помощью Apple ARKit, многообещающие, они на самом деле очень многообещающие», — сказал Пулленс. Он похвалил то, как платформа справляется с окклюзией, и ее способность предотвращать взаимодействие виртуальных объектов друг с другом.

Демонстрация спальни с дополненной реальностью от roOmy

Для Пулленса самым впечатляющим аспектом ARKit является его стабильность. Виртуальные объекты часто могут «дрейфовать», если они не выровнены должным образом с реальным окружением, что может быть большой проблемой для того типа визуализации, который он и его команда в RoOomy производят.

«Под дрейфом я подразумеваю, например, стул в режиме дополненной реальности», — сказал он. «Вы бы хотели, чтобы этот стул был очень устойчивым — вы бы не хотели, чтобы он дрейфовал или дрожал. Итак, первые результаты, которые мы получили с Apple, очень многообещающие, потому что они достаточно стабильны».

Виртуальное кожаное кресло не сильно поможет, если оно упорно летит к потолку или качается, как будто под подушкой сидит кошка.

Несмотря на то, что Пуллена много хвалили, он также упомянул некоторые области, в которых Apple могла бы внести улучшения. Он отметил, что способ рендеринга карт света и теней в ARKit в порядке, но добавил, что он ожидает, что он станет еще лучше, когда платформа будет готова к выпуску. Он также предположил, что его возможности обнаружения поверхности значительно улучшатся благодаря улучшенной камере с определением глубины, поэтому было бы идеально, если бы слухи об инфракрасной камере на iPhone 8 подтвердятся.

ARKit делает все проще

Разработчики

AR в восторге от ARKit, потому что он должен открыть технологию для гораздо более широкой аудитории. Apple, похоже, активно инвестирует в AR, поэтому мы можем ожидать, что такой контент станет приоритетом для iPhone и iPad. Это привлекательное предложение для людей, создающих опыт дополненной реальности.

Можно ожидать, что такой контент станет приоритетом для iPhone и iPad.

Однако большая аудитория — не единственное преимущество комплекта разработки Apple. ARKit также направлен на то, чтобы избавиться от рутинной работы при создании программного обеспечения, позволяя разработчикам сосредоточиться на том, как они могут использовать функциональные возможности для предоставления новых и увлекательных возможностей.

«Это помогает таким разработчикам, как мы, предоставлять новые функции и эффективно использовать технологию дополненной реальности», — сказал Пулленс. «Иначе приходится строить все самому».

Например, каждому приложению AR требуется обнаружение поверхности, которое позволяет виртуальному объекту сидеть на столе или полу. Раньше разработчики могли тратить месяцы на создание собственных алгоритмов обнаружения поверхности или обходиться так себе промежуточным ПО, предоставленным другой компанией. Благодаря ARKit у них есть доступ к сложному решению, которое уже адаптировано для iOS.

«В этом наборе вы уже получаете множество функций бесплатно», — добавил Пулленс, имея в виду такие функции, как окклюзия и карты света и тени. «Это даст большой толчок сообществу разработчиков к появлению новых решений AR».

Ранние творения ARKit уже впечатляют

Разработчики, заинтересованные в предварительном просмотре ARKit, могут получить его, загрузив бета-версию Xcode 9, которая включает iOS 11 SDK. Это уже приводит к новым идеям. Лента AR и VR MixedRealityDesign создала веб-сайт под названием Made with ARKit, на котором собраны самые лучшие проекты.

Немного жуткий «Робот, танцующий в моей гостиной» демонстрирует превосходную стабильность, о которой говорил Пулленс. Андроид исполняет плавные танцевальные движения перед диваном, и, несмотря на движение камеры, сцена выглядит невероятно естественно. Особенно впечатляет тень, которую робот отбрасывает на пол.

«Межпространственный портал» помещает окно в другой мир посреди городской улицы. Графика, используемая для визуализации этого виртуального пространства, не очень совершенна, но общий эффект захватывает, особенно когда пользователь проходит через портал. Легко понять, как такая идея может быть использована в игре, основанной на местоположении, наподобие 9.0087 Покемон Го .

Хотя эти два примера забавны, «ARKit изменит то, как мы заказываем еду» гораздо более практичен. Вместо того, чтобы смотреть на плоские изображения в бумажном меню, приложение создает 3D-визуализацию вариантов выбора прямо на столе. Другой практической реализацией является «Демонстрация приложения AR Measure», которая предлагает виртуальную рулетку.

У этих проектов есть шероховатости, начиная от неуклюжих пользовательских интерфейсов и заканчивая уродливыми активами. Важно помнить, что это ранние концепции, созданные с использованием инструментов, которые были доступны в течение нескольких недель. Тем не менее, ARKit обеспечивает прочную основу, которая позволяет реализовать некоторые интригующие идеи.

Apple, как обычно, потратила время на то, чтобы сделать AR правильной, вместо того, чтобы быть первой. Первая волна результатов предполагает, что это шаг вперед по сравнению с Google Tango и другими аналогами. Следующим шагом будет предоставление передового оборудования, поддерживающего AR, в руки широкого круга пользователей, и, похоже, это произойдет, когда будет анонсирован следующий iPhone.

Рекомендации редакции

• Ожидания от Apple в октябре 2022 года: новые Mac, iPad и многое другое

• Обзоры iPhone 14 и 14 Pro: что люди любят (и ненавидят)

• Чип Apple A17 может иметь огромный 3-нм апгрейд, но только для некоторых iPhone

• Эти две смарт-часы раскрывают темную сторону Wear OS 3

• Новый Dynamic Island для iPhone 14 Pro вдохновляет на создание первой игровой идеи

12 самых крутых способов использования iOS 11 ARKit станет лучше с iPhone 8

Инновации

Выглядит невероятно.

Apple

Майк Браун

19 июля 2017 г.

Apple идет ва-банк с дополненной реальностью. Футуристическая технология, которая заставляет виртуальные объекты выглядеть так, как будто они находятся в реальном мире, вдохновила генерального директора Тима Кука на открывающиеся возможности. В интервью Кук предложил приложение Ikea, которое позволяет предварительно просмотреть мебель перед покупкой, но возможности могут простираться далеко за пределы этого.

iOS 11, грядущее обновление программного обеспечения, о котором Apple объявила в прошлом месяце, позволит разработчикам легко создавать свои собственные приложения с помощью ARKit, набора инструментов, который означает, что разработчикам не нужно создавать свои собственные системы дополненной реальности с нуля, вместо этого используя преимущества существующих исследований Apple. Некоторые из первоначальных проектов, основанных на наборе, выглядят фантастически.

Пока разработчики играли с бета-версией ARKit, эти приложения в настоящее время работают на iPhone, которые менее чем подходят для дополненной реальности. Почти все они используют один объектив камеры и зависят от программного обеспечения, которое интерпретирует расстояние до объектов, которое затем используется для передачи виртуальных объектов на канал камеры. Это работает — Pokémon Go успешно помещает покемонов в реальный мир — но это означает, что телефон делает много догадок, а иногда и ошибается.

iPhone 8, выпуск которого ожидается этой осенью, может значительно улучшить эти приложения. Ходят слухи, что в телефоне есть система 3D-лазерного сканирования, которая будет отражать луч по комнате и сообщать устройству, как далеко находятся объекты, а это означает, что телефону не нужно угадывать. Кроме того, ожидается, что iPhone 8 будет включать систему с двумя камерами iPhone 7 Plus, которая в настоящее время передает данные о глубине в портретный режим телефона, чтобы размыть фон на фотографиях и сделать профессиональные снимки, похожие на камеру.

На данный момент разработчики придумали несколько оригинальных способов использования ARKit и дополненной реальности. Вот 12 лучших.

Живопись

Студия виртуальной реальности Normal создала впечатляющую демонстрацию живописи, которая сочетает в себе iPad с бета-версией iOS 11 и комплект виртуальной реальности HTC Vive. На видео пользователь, носящий Vive, использует беспроводные контроллеры для рисования изображения. На iPad анимированная фигура соответствует мазкам кисти и повторяет изображение внутри офисного помещения.

Игры-стратегии

Во время анонса ARKit на Всемирной конференции разработчиков Apple студия разработки игр Wingnut AR продемонстрировала впечатляющее виртуальное поле битвы, которое может послужить началом стратегической игры в реальном времени. В демоверсии использовался Unreal Engine 4 от Epic, те же самые основы, которые используются в играх-блокбастерах, чтобы создать борьбу между противоборствующими силами за столом впереди. Хотя сама демонстрация была неинтерактивной, она показала, на что способны будущие реализации с большим временем разработки.

Рулетка

Компания SmartPicture, специализирующаяся на технологиях измерения помещений и объектов, создала приложение ARKit, которое может заменить стандартную рулетку. Просто наведите телефон на начало и конец расстояния, которое вы хотите измерить, а приложение сделает все остальное. Та же технология может использоваться для создания планов этажей целиком:

Покупки

Жаки Хислоп, разработчик мобильных приложений в Redbubble, создал демоверсию приложения будущей компании на базе ARKit. Redbubble продает дизайны независимых художников на ряде предметов, таких как подушки и чехлы для телефонов, а приложение Hyslop позволяет покупателям просматривать эти продукты у себя дома перед покупкой.

Surreal Worlds

Бьярне Лундгрен, ведущий разработчик мобильных устройств в TV2 в Дании, создал приложение с дополненной реальностью, напоминающее видеоигру Portal , поскольку оно позволяет пользователям пройти через виртуальные двери в причудливые новые среды. Это своего рода захватывающий опыт, который обычно ассоциируется с гарнитурами виртуальной реальности, но эта демонстрация показывает, как дополненная реальность может предложить подобные путешествия в странные новые миры:

Исторические туры

Глен Роудс, разработчик программного обеспечения, создал приложение, которое переносит пользователей в другое время. В коротком клипе, загруженном на YouTube, Роудс идет возле водоема, используя свой телефон, чтобы посмотреть и увидеть Титаник во всей своей былой красе.

Заказ еды

Сидеть удобно? Альпер Гулер, менеджер холдинговой компании виртуальной реальности The Glimpse Group, продемонстрировал, как ARKit на iPhone может преобразить рестораны вне дома. Выберите блюдо, наведите его на стол и посмотрите, как оно выглядит, прежде чем сделать заказ.

Наука Образование

iOS-разработчик krutosh создал простое приложение для iPhone, которое показывает будущий потенциал дополненной реальности для школ и ревизий. Планеты выглядят как плавающие шары в гостиной, переносящие пользователя в самые дальние глубины Солнечной системы.

Спорт

Одно дело смотреть баскетбол на диване, но разве не было бы здорово, если бы вы могли передвигаться по площадке и свободно смотреть под любым углом? Разработчик Ying Gao Xuan представил демонстрацию того, как могут выглядеть будущие спортивные игры, в которых два игрока сражаются на синем квадрате, нарисованном на полу. Это всего лишь одна из многих будущих возможностей для развлечений.

Покупка автомобилей

Джелмер Верхуг, дизайнер пользовательского интерфейса из Осло, создал приложение, которое позволяет предварительно просмотреть Tesla Model 3 в гараже перед покупкой. Приложение, которое может увидеть окончательный выпуск, если компания одобрит его, позволяет использовать ряд параметров настройки для полного предварительного просмотра вашего будущего автомобиля.

Крестики-нолики

Компания Lundgren также создала версию игры в крестики-нолики, в которой на землю перед вами помещаются трехмерные фигуры. Приложение демонстрирует, как многопользовательские игры могут извлечь выгоду из свободы, которую предоставляет дополненная реальность.

Боевые корабли

Приготовьтесь залить пол своего офиса виртуальной водой. Компания Immersion VR создала виртуальную игру о боевых кораблях с пушками и пламенем, исходящим от кораблей. Это выглядит очень весело и может легко превратиться в обычное развлечение во время обеда.

Это только начало, и iPhone 8 дает разработчикам шанс продвинуть дополненную реальность дальше. Когда этой осенью выйдет iOS 11, можно ожидать, что дополненная реальность будет использоваться шире, поскольку разработчики осваивают инструменты.

Похожие теги

• Apple

Поделиться:

Лучшая функция iOS 11 позволяет поставить диван где угодно

iPhone 8 — это телефон с дополненной реальностью. Но знаете что? iPhone в вашем кармане тоже вполне может быть.

Перед анонсом новых iPhone я сказал некоторым коллегам, что думаю, что ARKit и его приложения, которые обещают поместить виртуальные вещи в наш реальный мир, станут более интересной историей, чем новые iPhone. Большинство не согласилось.

Теперь iPhone X определенно привлекает внимание. Это увлекательно. Однако он прибудет не раньше ноября. Между тем, похожие iPhone 8 и 8 Plus могут похвастаться новыми процессорами, оптимизированными для AR.

Сейчас играет:
Смотри:

8 крутых приложений ARKit для iPhone и iPad

1:50

iPhone 8 не кажется чем-то захватывающим, за исключением увеличения скорости и возможностей дополненной реальности. Вам даже не нужен новый iPhone, чтобы использовать новые приложения Apple с поддержкой ARKit в iOS 11. 

Я твитнул некоторые из своих демонстраций с тех пор, как вышел обзор новых iPhone. По мере появления новых приложений, таких как предварительный просмотр приложения Ikea для расстановки мебели Ikea Place, я впечатляюсь еще больше. Как и люди, которые смотрят демо-ролики. если вы не знакомы с AR или не знаете, что он делает, приведенные ниже видео хорошо демонстрируют это. Вот что может сделать AR на телефоне.

Извините, я просто раскладываю мебель ИКЕА на платформе метро #ARKit #iphone8plus pic.twitter.com/lECKVB4VQi

— Скотт Стейн (@jetscott) 19 сентября 2017 г.

На данный момент новые приложения AR уже выглядят потрясающе

ARKit, инструментарий для дополненной реальности в iOS 11, не нуждается в новых iPhone. Он работает на телефонах, начиная с iPhone 6S. Большая часть времени с AR была на новых моделях iPhone 8, но в демонстрациях, которые мы видели на телефонах iPhone 7 Plus и других устройствах, это уже выглядело фантастически.

Оставайтесь с нами для дальнейшего тестирования теперь, когда iOS 11 здесь, но вы, вероятно, уже можете убедиться в этом сами. Эта демонстрация Sky Guide была снята в прямом эфире с помощью iOS 11 Screen Capture на iPhone. Некоторые комментаторы даже не поверили, что это демонстрация в реальном времени.

AR на вокзале: Sky Guide with 8 Plus pic.twitter.com/20DcULmxTm

— Скотт Стейн (@jetscott) 19 сентября 2017 г.

Фактически, iOS 11 AR от Apple выглядит настолько хорошо, что это побудило Google приблизиться к той же идее с ARCore. Он затмил Google Tango. Он внезапно стал лучшим AR-телефоном, который кто-либо видел.

На конференции разработчиков Apple в июне это казалось большим событием. Похоже, это ключ к следующей волне разработки приложений Apple.

Комплект поезда Thomas & Friends AR на Уолл-Стрит, #iPhone8Plus. Я буду на @CNBC в 11:40 pic.twitter.com/lKsu9FUUhS

— Скотт Стейн (@jetscott) 19 сентября 2017 г.

iPhone 8, iPhone X и AR: насколько он может быть лучше?

Apple заявляет, что чип A11 Bionic имеет лучшую графику для обработки улучшенной обработки, необходимой для правильной визуализации AR, а также улучшенные датчики гироскопа и акселерометра, которые будут ключевыми для точного отслеживания камеры и датчика движения. Чтобы виртуальные вещи отображались в реальном мире на вашем телефоне, их синхронизация имеет решающее значение.

В кратких демонстрациях Я попробовал iPhone 8 с помощью приложений AR в Apple Park после мероприятия iPhone, все выглядело великолепно. Но и раньше все выглядело прекрасно. Мне было трудно отличить. Опять же, без параллельного сравнения действительно трудно обнаружить различия. Это как две демонстрации виртуальной реальности с разницей в месяц в разных комнатах.

Следует учитывать, что iPhone X также сможет достигать эффектов дополненной реальности с помощью фронтальной камеры. Улучшенный Snapchat, смайлики с говорящими какашками и, возможно, многое другое.

Сейчас играет:
Смотри:

Насколько хорош iPhone 8?

2:35

Но, если вы не ждете X, преимущества 8 в AR пока могут быть дополнительными.

Я бы сказал, что Apple проделала достаточно хорошую работу над существующими телефонами, поэтому вполне возможно, что «преимущество AR» в iPhone 8 будет действительно трудно оценить. На данный момент.

Splitter Critters с #ARKit, #iPhone8Plus. Просто разгадываю головоломку с металлическим предметом на Уолл-стрит pic.twitter.com/OYyOdICnb5

— Скотт Стейн (@jetscott) 19 сентября 2017 г.

Лучшей технологии iPhone в этом году даже не нужен новый iPhone, и это здорово

Решение Apple использовать существующие телефоны с ARKit невероятно умно. За последние несколько месяцев он запускает безумное количество приложений и экспериментов. Это создает шумиху. И это гарантирует, что очень быстро появится много удивительных дополненных впечатлений. Это может показаться расцветом игр для iPhone, когда в 2008 году впервые был запущен App Store.0003

В iPhone X есть фронтальная технология дополненной реальности и Face ID, которая позволяет использовать кукольные смайлики, а также обещают управление с помощью лица для всевозможных вещей.