Arkit как работает: Дополненная реальность – Apple (RU)

Развитие ARKit в этом году и новая возможность в ARKit 4: Location Anchors / Хабр

В последние годы я очень активно работаю с сфере разработки нативных игр под платформу Apple и интересуюсь возможной интеграцией игровых процессов в AR. Поэтому стараюсь следить за всеми обновлениями которые ежегодно анонсируются на WWDC. Хотя за последние годы не было никаких обновлений для SpriteKit, SceneKit и GameplayKit, но Apple продолжает активно обновлять и продвигать

ARKit

и

RealityKit

которые можно интегрировать с этими игровыми инструментами.

Хотя Apple мало уделила внимания дополненной реальности во время презентации на

WWDC

, но выпущенная на этой неделе новая версия комплекта программного обеспечения для разработчиков (SDK), действительно может оказаться весьма полезной и интересной для всех, кто занимается созданием AR-приложений. В

ARKit 4

представлены новые возможности для разработчиков, которые доступны на всех iOS/iPadOS устройствах с процессором

A12 Bionic

и выше.

Как можно видеть, за последние годы, инвестиционные вложения Apple в развитие AR-технологии оказались вполне оправданными, поскольку, используя компьютерную визуализацию, машинное обучение и функцию определения движения теперь можно создавать более сложный мир интерактивной компьютерной графики, с помощью стационарной камеры. Развитие данной технологии оказалась даже более успешным и результативным, чем попытки конкурентов создать систему виртуальной реальности на базе смартфона.

Инструмент также добавляет новые важные возможности обнаружения глубины, доступные на устройствах, оснащенных Apple LiDAR Scanner (в настоящее время доступно только в последних iPad Pro). Но, пожалуй, самое важное, что имеется в ARKit 4 – это привязка к местоположению, которая позволяет разработчикам размещать виртуальный объект в определенном месте в реальном мире.

LiDAR: усовершенствованная система дистанционного отслеживания

Apple представила API

Scene Geometry

в ARKit 3.5 после выпуска линейки iPad Pro со сканерами LiDAR.

Я ожидаю, что Apple добавит сканеры LiDAR в свои iPhone следующего поколении, которые планирует выпустить к концу этого года, так что именно эта функция, скорее всего, будет самой обсуждаемой во время следующего запуска.

Новый API Scene Geometry позволяет собирать информацию с помощью LiDAR-сканера и на базе полученных данных создавать топологическую карту окружающего мира. Эта информация может использоваться для идентификации определенных физических объектов, размещения их на сцене и создания игровой симуляции взаимодействия между объектами реального и виртуального мира.

ARKit 4 поможет размещать виртуальные объекты впереди или позади реальных людей и реалистично показывать события, используя функцию Ray Casting, чтобы размыть грань между тем, что действительно реально, и цифровым контентом.

В iOS 14 Apple расширяет возможности iOS устройств при поддержке сканера LiDAR, чтобы лучше определять расстояние между ними и объектами в виртуальной среде. Машинное обучение позволяет объединять цветное RGB-изображение, полученное с широкоугольной камеры устройства, с показателями глубины со сканера LiDAR для создания плотной глубокой картины.

Эти данные глубины обновляются с частотой 60hz, что позволяет iOS не просто отобразить объекты на сцене, а обеспечить их размещение в реальном времени в виртуальной среде.

LiDAR также позволяет усовершенствовать функцию, называемую Ray Casting, которая представляет собой метод рендеринга, использующий вычислительную геометрию для создания трехмерного пространства на двухмерной плоскости. К тому же, Apple предоставила возможности отслеживания объектов еще в предыдущей версии ARKit, но их применение было доступно только для устройств с фронтальной камерой True-Depth. ARKit 4 существенно расширяет эти возможности, сделав доступной функцию отслеживания лица для всех устройств, оснащенных процессором A12 Bionic или более поздней версии, включая недавно выпущенный iPhone SE нового поколения. Отслеживание лиц позволяет разработчикам создавать приложения, которые помещают изображение человека поверх виртуального контента, и наблюдать за его выражением в режиме реального времени.

Location Anchors

Безусловно, возможности, предоставляемые сканером LiDAR весьма впечатляюще, на фоне всех новых функций, анонсированных Apple. Новая технология Location Anchors в ARKit 4 теперь выводит AR-контент более высокого качества на улицу, позволяя разработчикам задавать долготу и широту для размещения виртуальных объектов. Затем ARKit 4 использует эти координаты и данные из Apple Maps для размещения AR объекта в определенном месте, на определенной высоте в реальном мире.

Процесс управления AR-интерфейсом следующего поколения получил название Location Anchors. Он позволяет точно зафиксировать ваше устройство по отношению к окружающей среде и, по утверждениям Apple, это можно выполнять значительно точнее, чем с помощью GPS. Весь этот процесс управляется на основе передовых методов машинного обучения локально на вашем устройстве.

В результате, когда разработчик помещает виртуальный объект в реальный мир, например, виртуальную скульптуру на оживленной площади, данный объект будет сохраняться и отображаться в этом месте таким образом, чтобы каждый, кто просматривает его с помощью AR-устройства Apple, мог его увидеть в данной локации. «Location Anchors» вначале появится в крупных городах, таких как Лос-Анджелес, Сан-Франциско, Чикаго, Майами и Нью-Йорк, а затем, уже в конце этого лета, станет доступно еще несколько городов.

Пример работы Location Anchor из WWDC сессии

Важность Location Anchors могут оценить многие разработчики и это демонстрирует далеко идущие планы Apple в развитии устройств и технологий, связанных с AR. Сегодня многие стартапы, ориентированные на технологии дополненной реальности, пытаются занять инновационный сегмент рынка, чтобы развивать ее функциональные возможности, а Apple спокойно запустила множество новых функций в ARKit 4 на этой неделе, причем, без всякой помпезности.

Поскольку компания владеет собственными картографическими данными и имеет сотни миллионов устройств, постоянно собирающих информацию о местоположении, у нее самая выгодная позиция, чтобы предоставить AR-функции на основе определения локации множеству разработчиков. Эти новые функции позволят создавать приложения следующего поколения, которые, в конечном итоге, сделают AR ведущей технологией.

Как работает Location Anchors

С ARKit 4 теперь без проблем можно привязать AR-контент к определенному месту в реальном мире, просто задав координаты. Приложения на основе AR, которые ранее базировались на распознавании изображений или сканировании кода для запуска действий в определенном месте, теперь имеют возможность обновляться в реальном времени и использовать преимущества привязки к местоположению.

В рамках преобразования базы данных Apple Maps, компания длительное время собирала данные с камер и 3D LiDAR на городских улицах в разных уголках мира. Для привязки к местоположению ARKit загружает виртуальную карту, окружающую ваше устройство из облака и сопоставляет ее с данными камеры. Используя GPS, ARKit может быстро и точно определить ваше местоположение в реальном мире. Вся обработка информации происходит при помощи технологии машинного обучения прямо на вашем устройстве.

Доступность

Как я уже отмечал, функция Location Anchors или, другими словами Geo-Tracking, поддерживается на всех устройствах с GPS и чипом A12 и более новых моделях. Поскольку функция требует, чтобы эта область уже была ранее нанесена на карту Apple, она доступна только в определенных городах США. По состоянию на июнь 2020 года, в зоне ее поддержки оказалось только пять городов, но я очень надеюсь, что далее Apple будет расширять зону поддержки.

Geo-Tracking базируется на новой ARConfiguration, получившей название ARGeoTrackingConfiguration, которая позволяет легко проверять наличие совместимых устройств и их доступность.

Вначале следует проверить поддерживает ли ваше устройство данную фичу:

guard ARGeoTrackingConfiguration.isSupported else { return }

Теперь вы можете проверить, находится ли устройство в поддерживаемом городе. Если это так, запустите конфигурацию геотрекинга в ARView. Если вы используете RealityKit, вы не можете применить автоматическую настройку, поэтому придется запустить ее вручную.

ARGeoTrackingConfiguration.checkAvailability { available, error in
    guard available else { return }
    arView.  session.run(ARGeoTrackingConfiguration())
}

Важное примечание. Функция checkAvailability требует наличия сетевого подключения для загрузки AR ресурсов. Available будет false, если устройство не подключено к интернету.

Построение Location Anchors

Как же происходит функционирование Location Anchors? Ведь известно, что ARKit пользуется собственной системой координат для определения относительного положения устройства, в то время как в реальном мире местоположение описывается с широтой и долготой. В геотрекинге эта проблема решена созданием единой системы координат. Оси ARKit автоматически совпадают с компасом, где ось X указывает направление на восток, а ось Z на юг.

Все, что вам нужно знать для создания ARGeoAnchor – это отдельные GPS-координаты. Вот как можно создать привязку, например, для определения местоположения моста Golden Gate Bridge. Для большей надежности используем систему координат с точностью до десятичных знаков.

let coordinate = CLLocationCoordinate2D(latitude: 37. 8185, longitude: -122.4738)
let geoAnchor = ARGeoAnchor(name: "Golden Gate Bridge", coordinate: coordinate)

При желании можно указать высоту в метрах, которая, по умолчанию, принята заданием параметров над уровнем моря.

let geoAnchor = ARGeoAnchor(name: "Golden Gate Bridge", coordinate: coordinate, altitude: 67)

Теперь можно добавить анкор к главной сцене. В

RealityKit

это работает на основе инструмента

AnchorEntity

из

ARGeoAnchor

.

arView.session.add(anchor: geoAnchor)
let geoAnchorEntity = AnchorEntity(anchor: geoAnchor)
arView.scene.addAnchor(geoAnchorEntity)

Теперь, создавая приложение, можно добавлять любые другие объекты в привязке к выбранному местоположению, вращая и располагая их, как вам нравится, в реальном пространстве.

Преобразования между пространственными координатами

Если вы хотите получить координаты GPS для определенной точки в сцене вашего приложения, ARKit позволит легко сделать это с помощью ARGeoAnchor и системы координат XYZ ARKit. Достаточно одного касания на экране и привязка к местоположению готова!

let point = SIMD3<Float>([0, 1, -2])arView.session.getGeoLocation(forPoint: point) { coordinate, altitude, error in	
let geoAnchor = ARGeoAnchor(coordinate: coordinate, altitude: altitude)}

Вот так все просто и доступно.

Прогресс AR-технологи неизбежен

Многие, кто пристально следит за развитием AR-технологий, периодически сетуют на медленный темп продвижения данного сектора технологий. Безусловно, многие из нас не отказались бы иметь, например, AR-очки от Apple уже сегодня и сейчас. В действительности, это достаточно сложная технология, и здесь более важна не скорость, а правильное ее внедрение. В дополнение к реальным проблемам по созданию таких устройств, которые связаны с оптикой, временем автономной работы, беспроводным подключением и многими другими аспектами, требуется еще и хороший AR контент с глубоким пониманием и отражением нашего реального, постоянно меняющегося мира. Лишь немногие компании имеют ресурсы, чтобы осилить данную проблему самостоятельно, среди них, кроме Apple, в числе более успешных, можно выделить Microsoft и Niantic, недавно приобретшей стартап 6D.AI.

Еще одну проблему по-прежнему создает недостаток аппаратных и программных платформ, на которых сможет работать AR-контент. С помощью ARKit 4 и iOS 14 Apple может существенно укрепить свои позиции в качестве крупнейшей в мире AR-платформы на рынке современных технологий, предоставив разработчикам новые инструменты для создания AR-приложений, которые давно ждут пользователи.

WWDC сессия посвященная новинкам в ARKit 4:

developer.apple.com/videos/play/wwdc2020/10611
Пример использования Location Anchors c исходным кодом:
developer.apple.com/documentation/arkit/tracking_geographic_locations_in_ar

Apple представили ARKit: программный пакет для создания приложений дополненной реальности

Современные родители знают, что с планшетом в руках ребенок спокоен и занят. Но вместе с тем он совсем не двигается и постепенно забывает, как выглядят привычные игрушки. «Очень голодная гусеница», придуманная американским писателем Эриком Карлом, в приложении The Very Hungry Caterpillar AR выходит за пределы книжных страниц в пространство вокруг маленького пользователя, и он может кормить гусеницу, укладывать ее спать, ожидая, пока та превратится в бабочку.

The Walking Dead: Our World

Стрелялки почти по-настоящему

Если из всех сериалов «Ходячие мертвецы» – ваш самый любимый, будьте готовы носиться по дому, паркам и улицам, убивая зомби из айфона. В The Walking Dead: Our World компании Next Games и AMC реалистично переносят зомби-апокалипсис в мир вокруг вас. И это, полагаем, лишь первый пример будущей адаптации популярных компьютерных игр для AR и VR.

Giphy World

Новый уровень коммуникации

Остроумными надписями, внедренными в фото, уже никого не удивишь – рисуйте поверх видео: создайте AR-слой в ваших видеороликах с помощью Giphy World, добавьте в него GIF-героев и отправьте результат по iMessage или опубликуйте ролик в Instagram.

Arise

Головоломки сложнее, чем раньше

Arise – это совершенно новый вид головоломок для iPhone и iPad в формате дополненной реальности. Угол обзора и ракурс – единственное, что вы можете контролировать, чтобы помочь вашему герою забраться на вершину острова и собрать артефакты. Куда интереснее, чем жать пальцем по сенсорному экрану.

Что дальше?

Все эти возможности будут реализованы в первую очередь на iOS, то есть на iPhone и iPad, ведь под них разработчикам будет проще создавать контент – в этом и есть главная идея Apple в плане отдачи от колоссальных вложений в ARKit. Ответный шаг со стороны Google уже последовал, хотя и двумя месяцами позже, – их платформа ARCore была представлена 29 августа и, возможно, станет широко доступна в конце 2017 – начале 2018 года. Пока же ARCore работает лишь на двух моделях Android-смартфонов.

Фото: архив пресс-службы

Часто проверяете почту? Пусть там будет что-то интересное от нас.

Как работает ARKit? — Русские Блоги

Официальное слово

Integrate iOS device camera and motion features to produce augmented reality experiences in your app or game

Интегрируйте камеру устройства iOS и спортивные функции, чтобы создать атмосферу дополненной реальности в своем приложении или игре.

Я написал небольшой пример100 строк кода для реализации мобильного AR, Если вам интересно, вы можете проверить это. Эта демонстрация также является введением в принцип ARKit.

Введение в важный класс ARKit

ARSCNView

Представление, отображающее трехмерный контент, наследует SCNView, а SCNView наследует UIView, поэтому это представление может быть подвидом любого UIView, поэтому вы можете использовать его как UIView. Если вы хотите использовать ARSCNView, вы должны использовать его с фреймворком SceneKit.

ARSKView

Функция аналогична приведенной выше, за исключением того, что это представление, которое специально отображает содержимое 2D-модели.Если вы хотите его использовать, используйте структуру SpriteKit.

ARSession

Управляйте общими объектами камер устройства и обработки движения.

ARAnchor

Представляет положение и направление в реальном мире и может быть размещен в сцене AR, где может быть размещена физическая модель.

ARPlaneAnchor

Информация о положении и направлении реальной плоскости обнаруживается в сеансе AR

ARFrame

Во время сеанса AR непрерывно происходит захват видеокадров с камеры устройства. Для каждого кадра ARkit анализирует изображение и оценивает фактические данные о местоположении устройства через аппаратное обеспечение обнаружения движения ведомого устройства.

ARCamera

Информация, представляющая положение камеры и характеристики изображения видеокадров, захваченных в сеансе дополненной реальности.

ARSessionConfiguration

Конфигурация сцены, в этой конфигурации положение телефона не перемещается, поверните телефон, вы можете увидеть, что угол модели относительно окружающей среды не изменится, но если телефон будет перемещен, положение модели изменится

ARWorldTrackingSessionConfiguration

Поверните телефон или переместите телефон, положение и угол наклона модели не изменится

Давайте покажем вам демо дальше

Первый шаг — создание проекта

49751CA2-3CC2-487C-80BD-383C17358113. png

Шаг 2 Импортируйте два кадра в ViewController

import SceneKit
import ARKit

Шаг 3 Создайте вид отображения сцены

@IBOutlet var sceneView: ARSCNView!

Шаг 4 Создайте 3D-сцену

    let scene = SCNScene(named: "art.scnassets/ship.scn")!
   // Устанавливаем сцену для просмотра сцены
    sceneView.scene = scene

Шаг 5 Создайте конфигурацию сцены

 let configuration = ARWorldTrackingSessionConfiguration()
 // Run the view's session
  sceneView.session.run(configuration)

Запустите проект в это время, чтобы проверить эффект. Содержимое части ARKit относительно простое. Если вы хотите изучить разработку AR, трудность заключается не в структуре ARKit, а в структуре движка 3D-игр SceneKit, запущенной Apple в 2014 году. Эта структура еще не использовалась повторно, но Я верю, что AR сделает этот фреймворк популярным. В начале года я написал учебник по SceneKit и опубликовал его в AppStore. Друзья, которые хотят изучить, могут его скачать.Адрес загрузки SceneKit

12 лучших приложений ARKit для iPhone, которые стоит попробовать

Одной из многих функций, которые может предложить новейшая iOS 11 от Apple, является дополненная реальность. Компания из Купертино сумела превратить сотни миллионов iPhone и iPad в устройства с дополненной реальностью, используя платформу ARKit. Хотя прошло всего лишь месяц с тех пор, как началось развертывание программного обеспечения для обновления iOS 11, разработчики уже выпустили множество новых приложений, а также обновили существующие приложения, чтобы воспользоваться преимуществами возможностей дополненной реальности iOS 11. Несмотря на то, что эта функция лучше всего работает на новом iPhone 8, iPhone 8 Plus или iPhone X из-за калибровки камеры и безумно быстрого чипа A11 Bionic, старые устройства, которые по крайней мере работают на чипе Apple A9, будут совместимы с ARKit Платформа. Итак, вы готовы погрузиться в мир дополненной реальности? Итак, давайте посмотрим на 12 лучших приложений ARKit для iPhone, которые вы должны попробовать:

Лучшие приложения ARKit для вашего iPhone

1.

Место ИКЕА

IKEA, крупнейший мебельный ритейлер в мире, представила приложение с дополненной реальностью для iOS 11, которое позволяет пользователям виртуально размещать продукты компании в реальном мире, тем самым предоставляя людям представление о том, как на самом деле будет выглядеть мебель в их домах. Он включает в себя трехмерные и реалистичные модели всего, от диванов и кресел до подножий ног и журнальных столиков, чтобы предоставить вам точное представление о размере, дизайне и функциональности. Ну, теперь вам не нужно ходить в магазин, чтобы просто проверить их продукцию.

Установить: (бесплатно)

2. AR MeasureKit

Это приложение использует платформу Apple ARKit, чтобы вы могли легко измерять объекты в реальном мире, просто используя камеру вашего iPhone . Насколько это круто, верно? MeasureKit предлагает семь инструментов измерения AR, которые включают линейку, траекторию, маркер, углы, рост человека, куб, уровень. Лично для меня очень полезна способность измерять, какой рост у человека, без необходимости физического измерения, поскольку мне обычно любопытно узнать рост моих друзей, которые выше меня. Хотя приложение можно установить бесплатно, вы сможете использовать только инструмент линейки. Все остальные инструменты доступны после единовременной покупки за 2, 99 доллара.

Установить: (бесплатно, с покупками в приложении)

3. Фитнес АР

Это приложение использует данные, собранные чрезвычайно популярной фитнес-платформой под названием Strava, и использует платформу Apple ARKit для отображения потрясающей трехмерной карты местности в реальном мире . С этой картой AR, которая основана на Mapbox, вы можете просто прогуляться и изучить свои предыдущие действия в этом приложении, что было бы невозможно на iPhone, если бы не было возможностей AR в iOS 11. Для того, чтобы записать и поделиться тем, что показывает приложение, Fitness AR будет использовать функцию записи экрана, которая была представлена ​​в iOS 11.

Установите: (2, 99 $)

4. Цвет волос

Найти правильный цвет волос, который действительно может подходить вашему лицу, довольно сложно, потому что в большинстве случаев вы можете сожалеть об этом, так как конечный результат выглядит совсем не так, как в примере с вашим парикмахером. Что ж, это больше не будет проблемой, благодаря новому приложению Hair Color, разработанному ModiFace. Используя функции AR в iOS 11, приложение позволяет вам опробовать различные цвета волос практически за несколько секунд . Краски для волос наносятся в режиме реального времени и отлично работают, даже если вы поправите волосы.

Установить: (бесплатно, с покупками в приложении)

5. Эдмундс

Edmunds — отличная платформа, если вы планируете приобрести подержанные и новые автомобили без каких-либо хлопот. В конце концов, компания приобрела репутацию консультанта по покупке автомобилей. Теперь компания использует платформу Apple ARKit для добавления в приложение функции дополненной реальности. Пользователи смогут визуализировать и определить, подойдут ли автомобили, которые они хотят приобрести, в своем гараже или на парковке, просто направив на них камеру своего iPhone. Похоже, пришло время выбросить ваши физические измерительные ленты.

Установить: (бесплатно)

6. Sky Guide AR

Если вам нравится смотреть на звезды, вы наверняка влюбитесь в это приложение, которое поможет вам находить созвездия намного проще. С помощью платформы Apple ARKit Sky Guide AR накладывает карту поверх реального неба, когда вы указываете на него камеру вашего iPhone . Ну, это не какое-то общее небо. Это реальное небо вокруг вас в реальном времени стало возможным в результате дополненной реальности. Sky Guide работает с или без Wi-Fi, сотовой связи или GPS, так что вы можете смотреть на звезды, где бы вы ни находились.

Установите: (2, 99 $)

7. Мир GIPHY

Вы когда-нибудь хотели наполнить мир вокруг вас GIF-файлами? Что ж, сейчас это возможно, благодаря дополненной реальности. Благодаря GIPHY World пользователи смогут размещать анимированные GIF-файлы в реальном мире и делиться своими творениями со своими друзьями . В приложении буквально представлена ​​вся коллекция GIPHY, поэтому возможности безграничны. Возможность записать видео или поделиться всей сценой со своими друзьями дает им возможность сотрудничать с вами и взаимодействовать со всеми созданными вами GIF-файлами.

Установить: (бесплатно)

8. Порше А.Р.

Известный немецкий автомобильный производитель Porsche разработал совершенно новое приложение для iOS, которое может заинтересовать вас, если вы заинтересованы в покупке одного из их автомобилей. Используя возможности платформы ARKit от Apple, приложение позволяет пользователям добавлять цвета экстерьера, дизайны колес и варианты интерьера в индивидуальный дизайн и помещать автомобиль Porsche в реальный мир, чтобы вы могли проверить их со всех сторон, не посещая их. выставочный зал. Более того, пользователи смогут отправиться на место водителя и даже «тест-драйв» в удаленной реальности.

Установить: (бесплатно)

9. КАРРОТ Погода

Вы когда-нибудь хотели полностью изменить способ получения ежедневного прогноза погоды? Что ж, CARROT Weather отлично справляется с этим, особенно с недавним добавлением поддержки ARKit. Приложение уже было довольно популярно благодаря своему дерзкому метеоботу, который предоставлял пользователям смешно искаженные прогнозы. Теперь вы можете разместить бота в реальном мире, чтобы отображать почти всю информацию о погоде в AR с помощью камеры iPhone. Внимательно посмотрите на морковь практически под каждым углом, а также ущипните, чтобы увеличить масштаб, чтобы отрегулировать кадр сцены. Кроме того, попробуйте проткнуть его окулярный датчик и сообщите нам, что произошло в разделе комментариев ниже.

Установите: ($ 4, 99)

10. TapMeasure

Это шаг вперед по сравнению с приложением AR MeasureKit, которое мы только что обсуждали, и происходит от компании, которая уже довольно давно работает с дополненной реальностью. Как и AR MeasureKit, вы сможете измерять размеры объектов, просто направив на него камеру вашего iPhone. Это, наверное, самый быстрый и простой способ измерить физическое пространство, и поверьте мне, это безумно быстро. В дополнение к возможностям, подобным MeasureKit, TapMeasure отлично подходит для создания планов этажей и 3D-моделей комнат для вашего дома . Они, в свою очередь, могут быть экспортированы как файлы CAD, чтобы вы могли продолжить работу с ним со своего компьютера.

Установите: (1, 99 $)

11. Мировая кисть

Это совершенно уникальный опыт AR, который позволяет пользователям рисовать кистями в реальном мире в дополненной реальности . Это было бы невозможно без поддержки ARKit в iOS 11. Каждая картина, выполненная с помощью приложения, является анонимной и сохраняется в приблизительном месте GPS, где она была фактически создана. Поэтому пользователи этого приложения со всего мира могут обнаружить картины в своих районах, используя встроенную карту . Они могут любить, не любить и сообщать о картинах, чтобы продемонстрировать только хорошие вещи. Что ж, если создатели хотят, чтобы их картины были невидимы для всех остальных, они могут просто пометить их как частные.

Установить: (бесплатно, с покупками в приложении)

12. Холо

Последнее в списке, у нас есть приложение, которое позволяет вам помещать «голограммы» реальных людей и животных в дополненную реальность, используя камеру вашего iPhone в качестве видоискателя . Хотя голограммы в натуральную величину, их можно изменить, повернуть или переместить, чтобы создать идеальную сцену. Более того, голограммы продолжают перемещаться, как какой-то высококачественный GIF-файл, и их можно выбрать из более чем 300 сотен, если вы просто перейдете в раздел встроенного магазина приложения. Если вы хотите, чтобы ваши друзья увидели, на что способно приложение, просто нажмите кнопку записи, чтобы снять то, что вы на самом деле делаете, или сделайте снимок с вашим любимым голо и разместите его в Instagram.

Установить: (бесплатно)

Лучшие приложения ARKit, которые вы должны попробовать

Мы уже видели несколько приложений AR, доступных в App Store уже довольно давно, но почти все они больше походили на трюк, чем на то, что добавляло функциональность вашему устройству. Однако это совсем не тот случай, когда речь идет о дополненной реальности, встроенной прямо в iOS 11. Разработчики могут поднять AR на новый уровень, используя платформу Apple ARKit, как вы можете видеть из приложений, которые фигурирует в этом списке. Хотя прошел всего лишь месяц с момента выхода окончательной версии iOS 11, у нас уже есть множество приложений ARKit в App Store. Итак, ребята, вы уже опробовали некоторые из этих лучших приложений дополненной реальности? Дайте нам знать, какой из них ваш любимый в разделе комментариев ниже.

Как включить Flyover в режиме виртуальной реальности на Картах в iOS

Начиная с iOS 11 Карты Apple получили режим виртуальной реальности, позволяющий просматривать объекты в режиме 360 градусов. Функция связана с режимом Flyover, отображающим спутниковые изображения объектов в трехмерном виде, и работает с использованием нового фреймворка Apple ARKit.

♥ ПО ТЕМЕ: Как создавать напоминания на iPhone, привязанные к месту.

Для того чтобы воспользоваться новой опцией, достаточно открыть приложение Карты на устройстве с установленной iOS 11 или более новой версией прошивки, найти в поиске объект, для которого доступен режим Flyover.

После нажатия на кнопку Flyover вы можете двигать и вращать мобильное устройство в пространстве, чтобы осмотреть ландшафт в режиме виртуальной реальности.

WOW ? There is an VR mode in Apple maps on iOS 11! It seems to use ARKit for positioning! pic.twitter.com/IdXiGoed26

— Stijn (@StijnDV) 24 июня 2017 г.

♥ ПО ТЕМЕ: Как запустить тур Flyover — виртуальные экскурсии в картах Apple на iPhone, iPad и Mac.

На использование функционалом фреймворка Apple ARKit указывают соответствующие уведомления (такие же, как в любом другом приложении с поддержкой ARKit) о необходимости направить устройство на другую поверхность, так как «требуется больше контраста».

This is honestly one of the coolest features in iOS 11! pic.twitter.com/Zjr6RRkKHk

— Stijn (@StijnDV) 24 июня 2017 г.

ARKit представляет собой SDK для работы с дополненной реальностью. Фреймворк в режиме реального времени анализирует полученные от камеры данные и позволяет составить виртуальную модель реального мира.

You can actually move around by walking??! This is crazy cool! pic.twitter.com/ttR6RaAo7D

— Stijn (@StijnDV) 24 июня 2017 г.

Новый режим работает по умолчанию в Flyover, но при желании пользователи могут вернуться к прежним настройкам Flyover, предусматривающим отображение трехмерных карт с помощью касаний к экрану.

Holy Flyover Magic Window batman. pic.twitter.com/Fb8nPeLT5J

— Paul Haddad (@tapbot_paul) 22 июня 2017 г.

Ранее неоднократно появлялась информация о том, что Apple намерена выпустить собственные цифровые очки, над которыми трудится в содружестве с немецким производителем оптики Carl Zeiss.

♥ ПО ТЕМЕ: Как снимать крутые видео на iPhone – советы от профессионала.

 

Для того чтобы включить тур Flyover, нажмите кнопку «Начать тур».

 

На каких устройствах работает Flyover в режиме виртуальной реальности

Согласно заявлению Apple, ARKit работает на базе процессоров Apple A9 (iOS-устройства, выпущенные после 2015 года) и (новее), «предлагающих революционную производительность … которая позволяет создавать виртуальный контент на базе реального мира».

Смотрите также:

ARKit 4 от Apple закрепляет трехмерную реальность в реальных местах на Картах

С ARKit 4 Apple создает основу для виртуального мира анимированной, интерактивной трехмерной «реальности», доступной любому, у кого есть новый iPhone в кармане.

На WWDC20 Apple рассказала о новых футуристических возможностях, которые появятся в ARKit 4. Предыдущие выпуски платформы дополненной реальности компании впервые позволили базовой трехмерной графике выглядеть зафиксированной в видеопотоке с камеры iOS 11 с использованием визуальной инерционной одометрии. Это позволяет пользователю исследовать виртуальный объект со всех сторон или играть в интерактивную игру, зафиксированную через AR, на поверхность стола.

ARKit 2 в iOS 12 2018 года представил общие AR-миры, где два пользователя могли видеть разные виды одной и той же виртуальной сцены, обеспечивая многопользовательский игровой процесс в приложениях дополненной реальности. В прошлых годах в ARKit 3 был представлен захват движения и окклюзия людей, что позволяло виртуальным объектам перемещаться впереди и сзади людей, одновременно понимая, как человека размещают перед камерой.

Инвестиции Apple в коллекцию AR и связанных с ними технологий используют компьютерное зрение, машинное обучение и обнаружение движения для создания все более сложных, интерактивных миров компьютерной графики, закрепленных на месте обзора камеры. За последние несколько лет он оказался гораздо более успешным и результативным, чем конкурентные попытки продать смартфон VR.

Расположение якоря

ARKit 4 в недавно анонсированной iOS 14 добавляет привязки местоположения, которые могут фиксировать модель AR в определенном месте в реальном мире, определяемом широтой, долготой и высотой. Это можно использовать для представления виртуальных иллюстраций, как Apple продемонстрировала установку KAWS, расположенную в Ferry Building в Сан-Франциско. Его также можно использовать для позиционирования меток, которые зафиксированы в пространстве в определенном месте, или для создания всего опыта AR в данном месте.

Чтобы обеспечить большую точность привязки местоположения, чем может обеспечить GPS, Apple продемонстрировала ARKit 4 с использованием визуального местоположения, которое использует машинное обучение для сопоставления ориентиров, видимых камерой, с картой локализации, загруженной из Apple Maps, соответствующей текущему местоположению. Похоже, что это данные, собранные транспортными средствами Apple Maps для создания исследовательских карт Look Around Maps в крупных городах.

Apple # WWDC20 в презентации # ARKit4 случайно упоминает, что у Apple Maps есть карта локализации, которая может точно позиционировать ваш iPhone с помощью камеры и машинного обучения. https://t.co/dM7flEOBR6

— Даниэль Эран Дилгер (@DanielEran) 25 июня 2020 г.

Процесс сопоставления местоположений выполняется локально на вашем телефоне, и личная информация не отправляется обратно на серверы Apple. Это впечатляющее пересечение технологий может в дальнейшем сочетаться с другими функциями, которые Apple подробно описывала на WWDC20, включая App Clips для обеспечения мгновенной функциональности, включая оплату с помощью Apple Pay или вход пользователя в систему с помощью «Войти в Apple».

Будущие приложения этих технологий предлагают очевидные варианты использования для носимых AR, в том числе, по слухам, «Apple Glass», которое может перемещаться по интересующим точкам и позволяет пользователю взаимодействовать с привязанными событиями AR, чтобы находить больше информации или обрабатывать различные сложные транзакции приложений.

Глубина API и LiDAR

В дополнение к привязке опыта AR к фиксированной точке реального мира, ARKit 4 теперь также предоставляет расширенные возможности понимания сцены с новым API глубины. Это позволяет ему использовать сканер LiDAR на новейшем iPad Pro, который, по слухам, появится на будущей модели iPhone 12, для быстрого сбора подробной информации о глубине окружающей среды.

Вместо того, чтобы сначала сканировать сцену с помощью камеры, LiDAR обеспечивает немедленное размещение виртуальных объектов в режиме AR, например, в игре, которая взаимодействует с реальными объектами в комнате.

Новый API Scene Geometry может создавать топологическую карту окружающей среды, которую можно использовать вместе с семантической классификацией для идентификации физических объектов и различения пола, стен и других объектов, а также для понимания глубины объектов в сцене и того, как они организованы.

ARKit 4 может затем размещать виртуальные объекты в сцене перед или позади окклюдированных людей или идентифицированных объектов в сцене; использовать игровую физику для симуляции реалистичных взаимодействий между виртуальными и физическими объектами; и реалистично освещать, используя лучевое вещание, чтобы размыть грань между тем, что реально, и цифровым контентом, усиливающим реальность.

Отслеживание лица и рук

Третье значительное усовершенствование в ARKit 4 расширяет отслеживание лица за пределы устройств, оснащенных камерой TrueDepth, до нового iPhone SE и других продуктов, по крайней мере, с процессором A12 Bionic.

Смотрите также

Функция отслеживания лица фиксирует привязки и геометрию лица, позволяя применять графику к лицу пользователя, либо для создания аватара, похожего на Memoji, который захватывает выражения пользователя для анимации виртуального персонажа, либо для применения виртуального грима или других световых эффектов, похожих на портретное освещение. в камере iOS.

Apple также добавила отслеживание рук в свою инфраструктуру Vision, позволяя устройству iOS распознавать не только движения всего тела, но и отдельные позы пальцев руки. Одна демонстрация показала, как пользователь может произносить слова в воздухе, просто наблюдая за камерой и идентифицируя точные движения рук.

Инструменты реальности для создания опыта AR

Apple также предоставляет новое приложение Reality Converter для переноса 3D-моделей, разработанных с помощью внешнего инструмента создания цифрового контента, в формат файлов usdz, используемый ARKit, а также обновление для Reality Composer для создания и тестирования AR-событий и их экспорта в портативный usdz.

RealityKit также добавляет поддержку для применения видео-текстуры в сцене ARKit, такой как виртуальное телевидение, установленное на стене, в комплекте с атрибутами реалистичности, такими как излучение света, альфа и шероховатость текстуры.

Работа, которую Apple выполняет в AR, перекрывает работу, начатую другими, в частности, Google. Но одна вещь, существенно поддерживающая усилия Apple в AR, — это обширная база высококлассных, сложных устройств со структурными датчиками, такими как TrueDepth на iPhone X и более поздних версиях, и новый датчик LiDAR на новых iPad Pro.

Apple запустила ARKit три года назад и сразу стала крупнейшей в мире платформой AR, что означает, что у разработчиков есть множество возможностей для создания опыта, который может испытать большое количество реальных пользователей. Компания все еще только начинает, и мы можем ожидать, что она будет все больше внедрять новые технологии, которые расширяют возможности ARKit в новых направлениях, возможно, включая носимые очки и лобовые стекла транспортных средств, в дополнение к его текущей установленной базе портативных мобильных устройств на iOS и iPadOS.

Сейчас читают

Как Apple дополняет нашу реальность и превращает AR в массовый продукт

Прямо сейчас в сети проходит первый онлайн-конкурс развлекательных проектов с дополненной реальностью ARKit Hack. Состав поговорил о технологии ARKit с экспертом по AR/VR и руководителем компании VORTEX.PICTURES Евгением Борисовым и сооснователем и руководителем AVRA. AR/VR Ассоциации Екатериной Филатовой.

Что это вообще такое?

Дополненная реальность, в отличие от виртуальной, не блокирует полностью поле зрение пользователя и не переносит его в некое другое пространство, а дополняет существующий мир смоделированными трехмерными элементами. Таким образом, обычный мир наполняется несуществующим контентом и в перспективе может превратиться в кадры из фантастических фильмов.

Вообще, дополненная реальность (AR, Augmented Reality) — вещь совершенно не новая. Первые примеры появились на рынке в тот момент, когда разработчикам стала доступна возможность взаимодействовать с камерой смартфона. Тогда и возникли маркеры — специальные изображения, которые легко распознать среди окружающих предметов, отслеживать их перемещение в поле зрения камеры и привязывать к этим маркерам несуществующие предметы, дополняя, таким образом, изображение.

Однако, у этой технологии есть огромный недостаток — как только маркер перестает корректно распознаваться приложением или же пропадает из поля зрения камеры, все дополнительные элементы изображения, например, замечательные ушки в Instagram, тоже пропадают.

Маски в Instagram — пример дополненной реальности, где в роли маркера выступает лицо человека: глаза, нос и рот.

Что нового сделала компания APPLE?

Говоря простым языком, взяла множество технических проблем на себя, предоставив разработчикам удобные инструменты для создания интересного контента с дополненной реальностью. Этот набор инструментов (или, как говорят разработчики, фреймворк) под названием ARKit станет доступен осенью вместе с обновлением iOS 11 и будет работать на iPhone SE, iPhone 6S, iPhone 6S+, iPhone 7, iPhone 7+, iPad Pro всех моделей и iPad 2017 года.

Применение ARKit

Поскольку фреймворк был анонсирован всего лишь пару месяцев назад, о каких-то готовых продуктах с использованием технологии говорить ещё рано. Однако, благодаря простоте использования разработчики уже сделали множество тестовых прототипов, которые позволяют оценить перспективы технологии и спрогнозировать возможные сферы практического применения ARKtit.

1. Игры и развлечения

• Стратегии и различные “симуляторы бога”, позволяющие играть на столе или на полу, приближаясь максимально близко к действиям или наоборот, удаляться и наблюдать за максимально большими пространствами.
• Аркадные игры, позволяющие сражаться с несуществующими врагами в реальном мире.
• Простые “таймкилеры” вроде офисного баскетбола.
• Зарождается новый большой жанр – «порталы” в другие миры, открывающие новые возможности как для игрового процесса, так и для показа панорамного видео в формате 360, включая спортивные трансляции.
• Возможность детально рассмотреть предметы со всех сторон, например, побывать в доме-музее Ван Гога, расположив его прямо на вашем столе.
• Возможность обучения танцам, а также любые инструкции, связанные с перемещением в пространстве.

2. Строительство и дизайн интерьеров

• Возможность спроектировать дом, а затем прийти на реальное место строительства и “походить” по нему, представив, как будет выглядеть этот проект в будущем.
• Для проектирования внутреннего пространства помещений может использоваться приложение, позволяющее выбрать мебель из каталога и расположить ее в реальном пространстве.
• Кроме того, благодаря точности измерения инструментами ARkit появляется возможность быстро делать замеры и создавать планы помещений, просто отмечая ключевые точки на экране телефона.

3. Демонстрации продуктов

4. Навигация

• Эту функцию можно будет использовать по максимуму только после того, как она будет встроена в полноценную базу карт Apple или Google Maps. Однако, представить будущую навигацию по городу можно уже сейчас.
• Аналогично может быть реализована навигация с инфографикой внутри помещений, например, музеев.
• Кроме того, благодаря технологиям распознавания изображений и очень точной привязке объектов к предметам реального мира, ARKit предоставит возможность слабовидящим более свободно перемещаться в реальном мире и взаимодействовать с предметами.

Применений ARKit может быть очень много. На данный момент даже сложно представить все функции данной технологии. Иногда это просто круто, например, с помощью всё тех же инструментов можно не только добавлять предметы в реальный мир, но и наоборот, скрывать их.

ОК, это круто, скажете вы и спросите, почему ARKit должен «взлететь»?

Все помнят громкий проект Google Glass, который так и не состоялся, как устройство для широкого круга пользователей (при этом стоит отметить, что в настоящее время Google Glass отлично применяется в B2B-секторе). Другое устройство смешанной реальности, Microsoft HoloLens, существует исключительно в версии Developer Kit (только для разработчиков). Что же может предложить рынку компания Apple? Ответ ниже.

• Огромная база пользователей iPhone и iPad, которым не нужно покупать дополнительные устройства, чтобы воспользоваться технологией. По подсчётам Artillry.co, в мире уже сейчас насчитывается около 380 млн. iPhone, поддерживающих технологию ARKit, а к концу 2017 года их количество увеличится до 505 млн. — это 65% от общего числа iPhone в мире. Если учесть, что ARKit поддерживает и iPad — это ещё дополнительно более 32 млн. устройств у пользователей к концу 2017 года.
  
• Очень лояльное сообщество разработчиков и понятные инструменты монетизации приложений в рамках магазина приложений AppStore.
  
• Ещё один важный и, возможно, недооцененный момент. Большинство людей не хотят надевать на лицо ничего лишнего без крайней необходимости. Вероятно, именно необходимостью использовать очки объясняется тенденция значительного снижения интереса к 3D-кино.

  Существующие технологии для просмотра виртуальной и дополненной реальности требуют от пользователя надевать на лицо специальное устройство, но не предлагают достаточно широкого ассортимента приложений. Как следствие, после первого знакомства и угасания wow-эфекта потребители уже не очень хотят использовать неудобные и странно выглядящие шлемы.

  Открывая возможности дополненной реальности для более традиционных устройств, компания Apple дает возможность рынку создать экосистему приложений (как игр, так и бизнес-решений), которые позволят пользователям понять, зачем вообще им нужна AR. И тогда через пару лет компания Apple, используя опыт работы с fashion-индустрией (полученный с помощью Apple Watch), сможет выпустить на рынок специальные очки и убедить нас, что это круто.

Мы спросили у представителя инвестиционного сообщества о том, ставят ли ставку на AR-технологии и ждут ли проекты с ARKit успех.

Виктор Захарченко, управляющий партнер FunCubator: “Мы видим 3 основные причины того, что именно ARKit даст мощнейший толчок для всей индустрии Augmented Reality.

Первое — это доступность. Ожидается огромное количество мощных устройств, совместимых с Kit’ом. Суровая статистика показывает, что пользователи девайсов на iOS обновляются до последней прошивки практически мгновенно, в отличие от адептов Android. Так что уже осенью сотни миллионов устройств будут работать с AR «из коробки».

Второе — это контроль. Apple упорно создает замкнутую экосистему. Пока идут разговоры о том, что надо быть более открытым, компания из Купертино держит в руках контроль над software и hardware своих продуктов. Уже сейчас в версии для разработчиков, ARKit работает вполне сносно. Уверены, что на следующем поколении устройств все будет работать близко к идеалу. Важным является еще одно отличие от экосистемы Android — крайне низкая фрагментация «зоопарка» девайсов.

И третье – экосистема. У Apple сильное комьюнити разработчиков, замотивированные огромным количеством хорошо платящих iOS-пользователей. Учитывая, что компания фактически декларировала свой акцент на AR, разработчикам обеспечена поддержка. Даже к самому скептически настроенному к дополненной реальности обывателю с n-ой попытки m-ого разработчика будет найден ключ».Если вспомнить 2007 год, то iPhone был далеко не первым существующим смартфоном на рынке, но только он сумел оказаться первым устройством, ставшим одним из самых важных инструментов в повседневной жизни каждого человека. Именно поэтому IT-индустрия так внимательно следит за развитием ARKit и прогнозирует, что именно “магия Apple” сумеет превратить новую технологию в массовый продукт, который сможет стать THE NEXT BIG THING после смартфонов.

Все показанные в статье примеры являются собственностью разработчиков.

Общие сведения об отслеживании и обнаружении ARKit — WWDC18 — Видео

Скачать

Всем привет. Я очень рад быть здесь сегодня, чтобы поговорить о понимании ARKit Tracking and Detection, чтобы дать вам возможность создавать отличные впечатления от дополненной реальности.

Меня зовут Марион, я из команды ARKit. А что насчет тебя? Вы уже опытный разработчик ARKit, но вас интересует, что происходит под капотом? Тогда этот разговор для вас. Или вы можете быть новичком в ARKit.

Затем вы изучите различные виды технологий отслеживания, а также некоторые основы и терминологию, используемую в дополненной реальности, которые затем помогут вам создать свой собственный первый опыт дополненной реальности. Итак, приступим. Что за отслеживание? Отслеживание обеспечивает положение вашей камеры при просмотре и ориентацию в вашей физической среде, что затем позволяет вам добавлять виртуальный контент в поле зрения вашей камеры.

В этом видео, например, передний стол и стулья представляют собой виртуальный контент, дополненный поверх реальной физической террасы.

Это, кстати, Икеа.

И виртуальный контент всегда будет отображаться практически правильно.

Правильное размещение, правильный размер и правильный вид в перспективе. Таким образом, разные технологии слежения просто обеспечивают отличную систему отсчета для камеры. Имеется в виду камера по отношению к вашему миру, камера по отношению к изображению или, может быть, трехмерный объект.

И мы поговорим об этих различных технологиях отслеживания в следующий час, чтобы вы могли сделать правильный выбор для своего конкретного случая использования.Мы поговорим об уже существующих технологиях AR — отслеживании ориентации, отслеживании мира и обнаружении самолетов. Прежде чем мы внимательно рассмотрим наши новые технологии отслеживания и обнаружения, которые появились сейчас с ARKit 2. Они сохраняют и загружают карты, отслеживают изображения и обнаруживают объекты.

Но прежде чем углубиться в эти технологии, давайте начнем с очень краткого обзора ARKit на высоком уровне. Это особенно интересно, если вы новичок в ARKit. Итак, первое, что вам нужно сделать, это создать ARSession.ARSession — это объект, который обрабатывает все, от настройки до запуска технологий AR. А также возвращение результатов AR-технологий. Затем вы должны описать, какие технологии вы действительно хотите использовать. Например, какие технологии отслеживания и какие функции должны быть включены, например, обнаружение самолетов.

Затем вы возьмете эту конкретную конфигурацию ARConfiguration и вызовете метод run в своем экземпляре ARSession.

Затем ARSession внутренне начнет настраивать AVCaptureSession для начала приема изображений, а также Core Motion Manager для начала приема данных датчика движения, то есть данных.Итак, это, по сути, встроенная система ввода с вашего устройства для ARKit.

Теперь после обработки результаты возвращаются в ARFrames со скоростью 60 кадров в секунду.

ARFrame — это моментальный снимок во времени, который дает вам все необходимое для визуализации сцены дополненной реальности. Например, захваченное изображение камеры, которое затем будет отображаться на фоне вашего сценария дополненной реальности. А также отслеживание движения камеры, которое затем будет применено к вашей виртуальной камере для рендеринга виртуального контента с той же точки зрения, что и физическая камера.

Он также содержит информацию об окружающей среде. Как, например, обнаруженные самолеты. Итак, давайте теперь начнем с нашей первой технологии отслеживания и продолжим ее развитие.

Отслеживание ориентации.

Ориентация треков слежения, угадайте что? Ориентация. Это означает, что он отслеживает только вращение.

Вы можете подумать об этом, поскольку вы можете использовать шляпу только для просмотра виртуального контента, который также позволяет только вращение.

Это означает, что вы можете просматривать виртуальный контент с той же точки зрения, но никакое изменение положения не будет отслеживаться.

Данные о вращении отслеживаются вокруг трех осей. Вот почему это также иногда называют отслеживанием трех степеней свободы. Вы можете использовать его, например, в сферической виртуальной среде. Как, например, посмотреть видео с обзором на 360 градусов, в котором виртуальный контент можно просматривать с одной и той же позиции.

Вы также можете использовать его для улучшения объектов, которые находятся очень далеко.

Отслеживание ориентации не подходит для увеличения физического мира, в котором вы хотите просматривать контент с разных точек зрения.

Итак, давайте теперь посмотрим, что происходит под капотом, когда выполняется отслеживание ориентации. На самом деле это довольно просто. Он использует только данные о вращении из основного движения, что применяет объединение датчиков к данным датчиков движения.

Поскольку данные о движении предоставляются с более высокой частотой, чем изображение с камеры, функция отслеживания ориентации берет последние данные о движении из Core Motion, как только изображение с камеры становится доступным. И затем возвращает оба результата в ARFrame. Итак, это все. Очень простой.Итак, обратите внимание, что изображение с камеры не обрабатывается в режиме отслеживания ориентации. Это означает, что компьютерной версии здесь нет.

Теперь, чтобы запустить отслеживание ориентации, вам нужно только настроить сеанс ARSession с помощью AROrientation TrackingConfiguration.

Затем результаты будут возвращены в объекте ARCamera, предоставленном ARFrames. Теперь объект ARCamera всегда содержит преобразование, которое в данном случае отслеживания ориентации содержит только данные вращения отслеживаемой физической камеры.

В качестве альтернативы вращение также представлено в eulerAngles. Вы можете использовать то, что вам больше всего подходит.

А теперь перейдем к более продвинутым технологиям отслеживания.

Начнем с World Tracking. World Tracking отслеживает ориентацию вашей камеры при просмотре, а также изменение положения в вашей физической среде без какой-либо предварительной информации о вашей среде.

Здесь вы можете видеть с левой стороны реальный вид камеры в окружающую среду, а с правой стороны вы видите отслеживаемое движение камеры во время исследования мира, представленного в системе координат.

Давайте теперь лучше объясним, что здесь происходит, когда World Tracking работает. World Tracking использует датчик движения, данные о движении акселерометра и гироскопа вашего устройства для вычисления изменения ориентации и перемещения на высокой частоте.

Он также предоставляет информацию в правильном масштабе в метрах.

В литературе именно эта часть системы слежения называется инерционной одометрией.

Хотя эти данные о движении предоставляют хорошую информацию о движении через небольшие промежутки времени и всякий раз, когда происходит подобное внезапное движение, они действительно дрейфуют в течение больших временных интервалов, поскольку данные не идеально точны и подвержены кумулятивным ошибкам.

Поэтому его нельзя использовать только для отслеживания. Теперь, чтобы компенсировать этот дрейф, World Tracking дополнительно применяет процесс компьютерного зрения, в котором используются кадры камеры.

Эта технология обеспечивает более высокую точность, но за счет времени вычислений.

Кроме того, эта технология чувствительна к быстрым движениям камеры, что приводит к размытию изображения в кадрах камеры.

Теперь это видение, только часть системы, также называется визуальной одометрией.Теперь, объединив обе эти системы, компьютерное зрение и движение, ARKit использует лучшее из этих двух систем. От компьютерного зрения требуется высокая точность на больших временных интервалах. А от данных движения требуется высокая частота обновления и хорошая точность для меньших временных интервалов, а также метрическая шкала. Теперь, объединив эти обе системы, World Tracking может пропустить обработку компьютерного зрения для некоторых из этих кадров, сохраняя при этом эффективное и отзывчивое отслеживание.

Это освобождает ресурсы ЦП, которые затем можно дополнительно использовать для своих приложений.

В литературе эта комбинированная технология также называется визуальной инерционной одометрией.

Рассмотрим подробнее его визуальную часть.

Итак, в процессе компьютерной версии извлекаются интересные области изображений с камеры, как здесь, синяя и оранжевая точки.

И они извлекаются так, что могут надежно извлекаться все и другие изображения той же среды.

Эти интересные регионы еще называют особенностями.

Теперь эти функции сопоставляются между несколькими изображениями в потоке камеры на основе их сходства и внешнего вида.

И то, что происходит дальше, в значительной степени зависит от того, как вы можете видеть 3D своими глазами.

У вас их два, и они находятся в пределах небольшого бокового расстояния.

И этот параллакс между глазами важен, поскольку он приводит к немного разным взглядам на окружающую среду, что позволяет вам видеть стерео и воспринимать глубину.

И это то, что ARKit теперь делает с разными видами одного и того же потока камеры в процессе триангуляции. И это происходит, когда присутствует достаточный параллакс.

Он вычисляет недостающую информацию о глубине для совпадающих объектов. Это означает, что эти 2D-элементы изображения теперь реконструируются в 3D.

Обратите внимание, что для успешной реконструкции положение камеры должно быть изменено путем перевода, чтобы обеспечить достаточный параллакс.

Например, при боковом движении. Чистое вращение здесь не дает достаточно информации.

Итак, это ваша первая небольшая карта вашего окружения. В ARKit мы называем это картой мира.

В этот же момент также вычисляются положения камеры и ориентация ваших последовательностей, обозначенные здесь буквой C. Это означает, что ваш World Tracking только что инициализирован. Это момент инициализации системы слежения. Обратите внимание, что также в этот момент этой первоначальной реконструкции карты мира было определено происхождение мира. И он установлен в начало координат первой камеры триангулированных кадров. И он также настроен на выравнивание силы тяжести. На слайдах это обозначено буквой W.Итак, теперь у вас есть небольшое представление вашей реальной среды, реконструированной в виде карты мира в ее собственной системе мировых координат. И ваша текущая камера отслеживается относительно той же мировой системы координат.

Теперь вы можете начать добавлять виртуальный контент, чтобы увеличить его в поле зрения камеры.

Теперь, чтобы правильно разместить виртуальный контент в ARSession, вы должны использовать ARAnchors из ARKit, которые здесь обозначены буквой A.

ARAnchors являются опорными точками на этой карте мира, в этой мировой системе координат.И вы должны использовать их, потому что World Tracking может обновлять их во время отслеживания. Это означает, что весь назначенный ему виртуальный контент будет обновлен и правильно дополнен в поле зрения камеры. Итак, теперь, когда вы использовали ARAnchors, вы можете добавить виртуальный контент в якорь, который будет правильно дополнен для текущего обзора камеры.

С этого момента созданная трехмерная карта мира вашего окружения является вашей системой отсчета для World Tracking.

Используется для ссылки на новые изображения.А функции сопоставляются от изображения к изображению и триангулируются.

И в то же время извлекаются, сопоставляются и триангулируются новые надежные функции, которые затем расширяют вашу карту мира. Это означает, что ARKit изучает вашу среду.

Это затем снова позволяет вычислять обновления отслеживания текущего положения и ориентации камеры.

И, наконец, правильное увеличение обзора текущей камеры. Пока вы продолжаете исследовать мир, World Tracking будет продолжать отслеживать вашу физическую камеру и изучать ваше физическое окружение.

Но со временем увеличение может немного сместиться, что можно заметить, как вы можете видеть на левом изображении, в небольшом смещении увеличения.

Это связано с тем, что даже небольшие смещения, даже небольшие ошибки станут заметными при накоплении с течением времени.

Теперь, когда устройство возвращается к аналогичному виду, который уже был исследован ранее, как, например, отправная точка, с которой мы начали исследование, ARKit может выполнить еще один шаг оптимизации. И это дополнение делает систему визуальной интертиальной одометрии системой, которую ARKit поставляет в визуальную инерциальную систему SLAM.

Итак, давайте вернемся к этому первому изображению, с которого World Tracking начал исследование.

Итак, теперь происходит то, что World Tracking проверяет, насколько хорошо отслеживаемая информация и карта мира в текущем представлении совпадают с предыдущими представлениями, как это было с самого начала. И затем выполнит шаг оптимизации и выровняет текущую информацию и текущую карту мира с вашей реальной физической средой.

Заметили ли вы, что на этом этапе также обновился ARAnchor? И это причина, по которой вы должны использовать ARAnchors при добавлении виртуального контента в свой сценарий.В этом видео вы снова можете увидеть тот же шаг с реальной камерой. Слева вы видите вид камеры в окружающей среде, а также функции, которые отслеживаются на изображениях. А с правой стороны вы видите сценарий с высоты птичьего полета, показывая, что ARKit знает о нем, и демонстрирует трехмерную реконструкцию окружающей среды. Цвета точек просто кодируют высоту реконструированных точек: синий — это первый этаж, а красный — стол и стулья. Как только камера вернется к аналогичному виду, который она видела раньше, как здесь, в качестве отправной точки, ARKit теперь применит этот шаг оптимизации.Итак, просто обратите внимание на облако точек и траекторию камеры.

Вы заметили обновление? Позвольте мне показать вам еще раз. Это обновление согласовывает знания ARKit с вашим реальным физическим миром, а также с движением камеры и приводит к лучшему увеличению для следующих кадров камеры.

Между прочим, все эти вычисления World Tracking, а также вся эта информация о вашей изученной среде, все делается только на вашем устройстве. И вся эта информация также остается только на вашем устройстве.Итак, как вы можете использовать эту сложную технологию в своем приложении? На самом деле это довольно просто. Чтобы запустить World Tracking, вы просто сконфигурируете свой ARSession с помощью ARWorldTrackingConfiguration.

И снова его результаты возвращаются в объекте ARCamera ARFrame.

Объект ARCamera, опять же, содержит преобразование, которое в данном случае World Tracking содержит, помимо поворота, также и перемещение камеры слежения.

Кроме того, ARCamera также содержит информацию о состоянии отслеживания и trackingStateReason.Это предоставит некоторую информацию о текущем качестве отслеживания.

Итак, отслеживание качества. Вы когда-нибудь сталкивались с тем, что при открытии приложения AR отслеживание работало очень плохо или, может быть, оно не работало вообще? Каково это? Может расстраивает? Вы можете снова не открывать приложение.

Итак, как можно повысить качество отслеживания для своего приложения? Для этого нам необходимо понять основные факторы, влияющие на качество отслеживания. И я хочу выделить здесь три из них.

Прежде всего, World Tracking полагается на постоянный поток изображений с камеры и данных датчиков.Если это будет прервано слишком долго, отслеживание станет ограниченным.

Во-вторых, World Tracking также лучше всего работает в текстурированной и хорошо освещенной среде, потому что World Tracking использует эти визуально надежные точки для отображения и, наконец, триангуляции своего местоположения. Важно, чтобы в окружении было достаточно визуальной сложности.

Если это не так, потому что, например, слишком темно или вы смотрите на белую стену, то отслеживание также будет работать плохо. И в-третьих, World Tracking лучше всего работает в статической среде.

Если слишком много из того, что ваша камера видит, движется, тогда визуальные данные не будут соответствовать данным движения, что может привести к потенциальному смещению.

Кроме того, само устройство не должно находиться на движущейся платформе, такой как автобус или лифт.

Потому что в такие моменты датчик движения фактически улавливал движение, например, подъем или спуск в лифте, в то время как визуально ваше окружение не изменилось. Итак, как вы можете получить уведомление о качестве отслеживания, которое пользователь в настоящее время испытывает в вашем приложении? ARKit отслеживает эффективность отслеживания.Мы применили машинное обучение, которое было обучено на тысячах наборов данных, к которым у нас была информация о том, насколько хорошо отслеживание выполняется в этих ситуациях.

Для обучения классификатора, который сообщает вам, как работает отслеживание, мы использовали аннотации, такие как количество визуально-видимых функций, отслеживаемых на изображении, а также текущую скорость устройства.

Теперь во время выполнения работоспособность отслеживания определяется на основе этих параметров.

В этом видео мы можем увидеть, как оценка состояния здоровья, которую можно увидеть, которая, как сообщается в нижнем левом углу, ухудшается, когда камеру закрывают, пока мы все еще движемся и изучаем окружающую среду.

Он также показывает, как он возвращается в нормальное состояние после открытия камеры.

Теперь ARKit упрощает для вас информацию, предоставляя состояние отслеживания.

И состояние отслеживания может иметь три разных значения. Это может быть нормально, что является здоровым состоянием и имеет место в большинстве случаев. Так бывает в большинстве случаев. И он также может быть ограничен, когда отслеживание работает плохо.

Если это так, то ограниченное состояние также будет иметь причину, например, недостаточные функции, чрезмерное движение или нахождение в стадии инициализации.Он также может быть недоступен, что означает, что отслеживание еще не началось.

Теперь при изменении состояния отслеживания вызывается делегат. Камера действительно изменила состояние слежения.

И это дает вам возможность уведомить пользователя при обнаружении ограниченного состояния.

Затем вы должны дать информативную и полезную обратную связь о том, что пользователь может сделать, чтобы улучшить ситуацию с отслеживанием, поскольку большая часть этого фактически находится в руках пользователя. Как, например, как мы узнали ранее, например, движение в сторону, чтобы разрешить инициализацию или убедиться, что достаточно освещения для достаточной визуальной сложности.Итак, позвольте мне завершить для вас World Tracking.

World Tracking отслеживает ориентацию и положение вашей камеры по 6 степеням свободы по отношению к окружающей среде и без какой-либо предварительной информации о вашей среде, что затем позволяет расширять физический мир, в котором контент можно фактически просматривать с любого вида.

Кроме того, World Tracking создает карту мира, которая становится опорной системой отслеживания для определения местоположения новых изображений с камеры.

Чтобы обеспечить удобство работы пользователей, необходимо контролировать качество отслеживания, а также предоставлять пользователям обратную связь и рекомендации.А World Tracking работает только на вашем устройстве. И все результаты остаются на вашем устройстве.

Если вы еще этого не сделали, попробуйте один из наших примеров для разработчиков. Например, Build Your First AR Experience и немного поиграйте, всего 15 минут с качеством отслеживания в разных ситуациях; легкие ситуации или движения. И всегда не забывайте направлять пользователя всякий раз, когда он сталкивается с ограниченной ситуацией отслеживания, чтобы гарантировать, что у него будет отличный опыт отслеживания.

Итак, World Tracking — это камера — где камера находится по отношению к вашему физическому окружению.

Давайте теперь поговорим о том, как виртуальный контент может взаимодействовать с физической средой. И это возможно с помощью функции обнаружения самолетов.

Следующее видео, опять же из приложения Ikea, демонстрирует отличный вариант использования обнаружения плоскости, когда виртуальные объекты помещаются в вашу физическую среду, а затем взаимодействуют с ней.

Итак, сначала обратите внимание на то, как в приложении Ikea пользователь может совершить какое-то движение.

Затем, как только будет обнаружена горизонтальная плоскость, отобразится набор виртуальных таблиц, который ожидает размещения вами.

После того, как вы разместите его, поверните, как хотите, вы можете заблокировать объект в его окружении. А вы заметили взаимодействие между обнаруженной заземляющей плоскостью и столом, установленным в момент захвата? Он как бы быстро отскакивает от плоскости земли. И это возможно, потому что мы знаем, где находится земля.

Итак, давайте посмотрим, что здесь происходит под капотом.

Plane Detection использует карту мира, предоставленную миром, о котором я только что говорил, о котором я только что говорил, который представлен здесь этими желтыми точками.Затем он использует их для обнаружения горизонтальных или вертикальных поверхностей, таких как земля, скамейка и небольшая стена.

Это достигается путем накопления информации по нескольким ARF-кадрам.

Итак, по мере того, как пользователь перемещается по сцене, он получает все больше и больше информации о реальной поверхности.

Это также позволяет обнаружению плоскости обеспечивать и подобным образом увеличивать поверхность, как выпуклый корпус. Если обнаружено несколько плоскостей, принадлежащих одной и той же физической поверхности, как в этой части, зеленая и фиолетовая, то они будут объединены, как только они начнут перекрываться.Если горизонтальная и вертикальная плоскости пересекаются, они обрезаются по линии пересечения, что на самом деле является новой функцией в ARKit 2.

Plane Detection спроектирован таким образом, чтобы иметь очень мало накладных расходов, поскольку оно перенаправляет нанесенные на карту трехмерные точки из World Tracking. А затем он помещает плоскости в эти облака точек и со временем непрерывно объединяет все больше и больше точек и объединяет плоскости, которые начинают перекрываться. Поэтому до обнаружения первых самолетов проходит некоторое время.

Что это значит для вас? Если ваше приложение запущено, может не быть плоскостей, на которых можно размещать объекты или взаимодействовать с ними.

Если обнаружение плоскости является обязательным для вашего опыта, вы должны снова посоветовать пользователю перемещать камеру с достаточным перемещением, чтобы обеспечить плотную реконструкцию на основе параллакса, а также достаточную визуальную сложность в сцене.

Опять же, для реконструкции одной ротации недостаточно. Теперь, как вы можете включить обнаружение самолетов? Это опять же очень просто. Поскольку Plane Detection повторно использует трехмерную карту из World Tracking, ее можно настроить с помощью ARWorldTrackingConfiguration.Затем для свойства planeDetection нужно просто установить значение по горизонтали, вертикали или, как в данном случае, и то и другое.

А затем просто вызовите свой ARSession с этой конфигурацией. И начнется обнаружение самолетов. Итак, как же вам вернули результаты обнаруженных самолетов? Обнаруженные самолеты возвращаются как ARPlaneAnchor.

ARPlaneAnchor — это подкласс ARAnchor.

Каждый ARAnchor предоставляет преобразование, содержащее информацию о том, где якорь находится на вашей карте мира.Теперь привязка плоскости, в частности, также имеет информацию о геометрии поверхности плоскости, которая представлена ​​двумя альтернативными способами. Либо как ограничивающая рамка с центром и экстентом, либо как трехмерная сетка, описывающая форму выпуклой оболочки обнаруженной плоскости и ее геометрические свойства.

Чтобы получать уведомления об обнаруженных самолетах, делегаты будут вызываться всякий раз, когда самолеты добавляются, обновляются или удаляются.

Это позволит вам использовать эти самолеты, а также реагировать на любые обновления.Что вы можете делать с самолетами? Как и то, что мы видели раньше в приложении Ikea, это отличные примеры. Размещайте виртуальные объекты, например, с проверкой попадания.

Или вы можете взаимодействовать с кем-то, например, физически. Как мы видели, подпрыгивание возможно.

Или вы также можете использовать его, добавив плоскость окклюзии в обнаруженную плоскость, которая затем скроет все виртуальное содержимое под или за добавленной плоскостью окклюзии.

Итак, позвольте мне подвести итог тому, через что мы уже прошли.

Мы рассмотрели отслеживание ориентации, отслеживание мира и обнаружение самолетов.

Далее Микеле подробно расскажет о наших новых технологиях отслеживания, которые были представлены в ARKit 2. Итак, добро пожаловать, Мишель.

Спасибо, Марион.

Меня зовут Мишель, и мне приятно продолжить обсуждение оставшихся тем этого занятия.

Далее идет сохранение и загрузка карт. Это функция, которая позволяет хранить всю информацию, которая требуется в сеансе.Таким образом, его можно буквально восстановить в другом сеансе в более поздний момент времени, чтобы создать опыт дополненной реальности, который сохраняется в определенном месте.

Или это также может быть сохранено на другом устройстве для создания опыта дополненной реальности для нескольких пользователей. Давайте посмотрим на пример.

Здесь вы видите парня; назовем его Андре, он ходит вокруг стола со своим устройством и имеет опыт дополненной реальности.

И вы можете видеть, что его устройство теперь делает это более интересным, добавляя виртуальную вазу на стол.

Через несколько минут его друзья прибывают на то же место. И теперь они оба смотрят на сцену. Вы увидите устройство Андре слева и его друга справа.

Итак, вы видите, что они смотрят в одно и то же пространство. Они могут видеть друг друга. Но самое главное, они видят один и тот же виртуальный контент.

У них общий опыт дополненной реальности. Итак, то, что мы видели в этих примерах, можно открыть в три этапа. Сначала Андре обошел стол и приобрел карту мира.

Затем карта мира стала доступной для всех устройств. А потом устройство его друга перенастроили на карту мира.

Это означает, что ARKit смог понять в новом устройстве, что это было то же место, что и другое устройство, вычислил точное положение устройства по отношению к карте, а затем начал отслеживать оттуда так же, как новое устройство. приобрел саму карту мира. Мы собираемся более подробно остановиться на этих трех этапах. Но сначала давайте рассмотрим, что есть на карте мира.Карта мира включает в себя все данные отслеживания, необходимые для локализации системы, в том числе характерные точки, как подробно объясняла Марион ранее. А также местный внешний вид для этой точки.

Они также содержат все привязки, которые были добавлены к сеансу либо пользователями, например, самолетами.

Я имею в виду под системой … как самолеты. Или пользователями, как ваза, как мы видели в примере.

Эти данные сериализуемы и доступны вам, чтобы вы могли создавать убедительные постоянные или многопользовательские возможности дополненной реальности.Итак, теперь давайте посмотрим на первый этап — получение карты мира. Мы можем воспроизвести первое видео, где Андре обошел стол, и вы можете увидеть его устройство слева, здесь. А справа вы видите карту мира сверху, полученную системой слежения. Вы можете узнать, что круг — это стол и стул вокруг него. В процессе приобретения нужно обратить внимание на несколько вещей.

Во-первых, здесь применимо все, что сказала Марион во время отслеживания.Итак, нам нужна достаточно визуальная сложность сцены, чтобы получить на карте плотные характерные точки.

И сцена должна быть статичной.

Конечно, мы можем внести небольшие изменения, ведь вы видели, как скатерть движется по ветру. Но сцена должна быть в основном статичной.

Кроме того, когда мы специально приобретаем карту мира для публикации, мы хотим обойти окружающую среду с разных точек зрения.

В частности, мы хотим охватить все направления, с которых мы хотим позже локализоваться.

Чтобы упростить эту задачу, мы также сделали доступным статус карты мира, который дает вам информацию о карте мира.

Если вы, ребята, были на лекции «Что нового в ARKit», Арсалан значительно расширит ее, чтобы быстро подвести итоги. Когда вы начнете сеанс, статус карты мира будет ограничен. А затем переключится на расширение по мере того, как устройство узнает больше о сцене. И затем, наконец, мы переходим к отображению, когда система уверена, что вы остаетесь в том же месте.

И это когда вы хотите сохранить карту в отображенном состоянии.Итак, это хорошая информация. Но это в основном на стороне пользователя, применяемой для получения сеанса. Итак, что это значит для вас как разработчика? Это вам нужно, чтобы направить пользователя.

Итак, мы можем указать статус сопоставления и даже отключить сохранение или совместное использование карты мира, пока статус сопоставления не перейдет в сопоставленное состояние. Мы также можем отслеживать качество отслеживания во время сеанса сбора данных и сообщать пользователю, если состояние отслеживания было ограничено более чем на несколько секунд.

И, возможно, даже дать возможность перезапустить сеанс сбора данных. На принимающей стороне устройства мы также можем помочь пользователю улучшить процесс локализации. Итак, когда мы снова находимся в устройстве сбора данных, когда мы находимся в состоянии карты, мы можем сделать снимок сцены, а затем отправить его вместе с картой мира. И на принимающей стороне мы можем попросить пользователя найти это представление, чтобы начать общий опыт. Вот как получить карту мира. Теперь давайте посмотрим, как вы можете поделиться картой мира.Во-первых, вы можете получить карту мира, просто вызвав метод getCurrentWorldMap в ARSession. И это даст вам карту мира.

Карта мира — это сериализуемый класс. Итак, тогда мы можем просто использовать утилиту NSKeyedArchiver для сериализации его в двоичный поток данных, который затем вы можете сохранить на диск в случае постоянного приложения для одного пользователя. Или вы можете поделиться им на разных устройствах. И для этого вы можете использовать платформу MultiPeerConnectivity, которая имеет отличные функции, такие как автоматическое устройство, обнаружение ближайших устройств, и позволяет эффективно обмениваться данными между устройствами.У нас также есть пример того, как использовать это в ARKit под названием «Создание многопользовательской дополненной реальности», который вы можете проверить на нашем веб-сайте для разработчиков. На принимающей стороне устройства, когда у вас есть карта мира, давайте посмотрим, как вы можете настроить конфигурацию World Tracking для ее использования. Очень простой. Вы просто устанавливаете начальное свойство карты мира для этой карты мира.

Когда вы запустите сеанс, система попытается найти эту предыдущую карту мира.

Но это может занять некоторое время, даже если пользователь указывает на ту же сцену, что и раньше.

Итак, как мы узнаем, когда произойдет локализация? Эта информация доступна в состоянии отслеживания. Итак, как только вы начнете сеанс с исходной картой мира, состояние отслеживания будет ограничено причиной Relocalizing. Обратите внимание, что вы по-прежнему будете получать данные отслеживания, доступные здесь, но исходная точка мира будет первой камерой, как и в новом сеансе. Как только пользователь направит устройство на ту же сцену, система локализуется. Состояние отслеживания перейдет в нормальное состояние, а исходная точка мира будет такой же, как на записанной карте мира.

На этом этапе все ваши предыдущие привязки также доступны в вашем сеансе, поэтому вы можете вернуть виртуальный контент.

Обратите внимание, что из-за того, что происходит за кулисами, за кулисами, мы сопоставляем эти точки функций, должно быть достаточное визуальное сходство между сценами, в которых вы получили карту мира, и сценой, в которой вы хотите переместить.

Итак, если вы вернетесь к этому столу ночью, скорее всего, он не будет работать очень хорошо.И именно так вы можете создать несколько пользовательских интерфейсов или постоянный опыт, используя карту сохранения и загрузки.

Далее, отслеживание изображений. Итак, дополненная реальность — это добавление визуального контента поверх физического мира. А в физическом мире изображения можно найти повсюду. Подумайте о произведениях искусства, произведениях искусства, висящие на стене мира, об обложках журналов, рекламе. Отслеживание изображений — это инструмент, который позволяет вам распознавать эти физические изображения и создавать на их основе возможности дополненной реальности.

Давайте посмотрим на примере.

Посмотреть можно здесь; одновременно отслеживаются два изображения.

Слева красивый слон помещен поверх физического изображения слона.

Справа физическое изображение превратилось в виртуальный экран.

Отметим также, что изображения могут свободно перемещаться по окружающей среде со скоростью 60 кадров в секунду.

Давайте поговорим о том, что происходит за кулисами. Итак, предположим, у вас есть изображение слона, подобное этому, и вы хотите найти его в такой сцене.

Мы используем для этого оттенки серого. И первый тип очень похож на то, что мы делаем при отслеживании. Итак, мы будем отслеживать эти интересные точки как на эталонном изображении, так и на текущей сцене.

Затем мы пытаемся перейти в текущую сцену и сопоставить эти функции с характеристиками на эталонном изображении.

Применяя некоторую проекционную геометрию и линейную алгебру, этого достаточно, чтобы дать начальную оценку позиционной ориентации изображения относительно текущей сцены.

Но на этом мы не останавливаемся.

Чтобы дать вам действительно точную позу и отслеживать со скоростью 60 кадров в секунду, мы затем выполняем этап плотного отслеживания. Итак, с этой начальной оценкой мы берем пиксели из текущей сцены и деформируем их обратно в прямоугольную форму, как вы видите справа — вверху справа. Итак, это восстановленное изображение путем преобразования пикселей текущего изображения в прямоугольник.

Затем мы можем сравнить восстановленное изображение с эталонным изображением, которое у нас есть, чтобы создать изображение ошибки, подобное тому, которое вы видите ниже.

Затем мы оптимизируем позиционную ориентацию изображения, чтобы минимизировать эту ошибку.

Итак, что это значит для вас, что поза будет действительно точной.

Спасибо.

И по-прежнему будет отслеживать со скоростью 60 кадров в секунду.

Итак, давайте посмотрим, как мы можем сделать все это в ARKit. Как обычно, API ARKit действительно прост. У нас есть три простых шага. Во-первых, мы хотим собрать все эталонные изображения.

Затем мы настраиваем конфигурацию сеанса AR.Здесь есть два варианта. Одна из них — это конфигурация World Tracking, которая также дает информацию о положении устройства. И это то, о чем мы говорили до сих пор. А в iOS12 представлена ​​новая конфигурация, которая представляет собой автономную конфигурацию отслеживания изображений. Как только вы запустите сеанс, вы начнете получать результаты в виде ARImageAnchor.

Теперь мы более подробно рассмотрим эти три шага, начиная с эталонных изображений. Самый простой способ добавить эталонные изображения в ваше приложение — через каталог ресурсов Xcode.

Вы просто создаете группы ресурсов AR и перетаскиваете туда свои изображения.

Затем вы должны установить физический размер изображения, что вы можете сделать в окне свойств вверху справа. Установка физического размера является обязательным требованием, и для этого есть несколько причин.

Во-первых, он позволяет позу изображения быть в физическом масштабе. Это также означает, что ваш контент будет в физическом масштабе. В ARKit все отображается в метрах, поэтому визуальный контент также будет в метрах.

Кроме того, особенно важно установить правильный физический размер изображения в случае, если мы объединяем отслеживание изображений с отслеживанием мира. Так как это сразу даст согласованную позу между изображением и миром. Давайте посмотрим на некоторые примеры этих эталонных изображений. Вы можете увидеть здесь два красивых изображения. Эти изображения отлично подходят для отслеживания изображений. У них высокая текстура, высокий уровень контраста, хорошо распределенные гистограммы, а также они не содержат повторяющихся структур.Есть также другие виды изображений, которые будут работать с системой хуже. Вы можете увидеть пример этого справа.

И если мы взглянем на эти два лучших примера, то увидим, что на хорошем изображении у нас много интересных моментов. И вы можете видеть, что гистограмма хорошо распределена по всему диапазону. На изображении со снегом есть только несколько интересных точек, и вся гистограмма смещена в сторону белых. Вы можете получить оценку того, насколько хорошим будет изображение, прямо в Xcode.

Как только вы перетаскиваете туда изображение, оно анализируется, и вам сообщается о проблемах в виде предупреждений, чтобы вы могли получить раннюю обратную связь, даже до того, как вы запустите приложение.

Например, если вы нажмете на это нижнее изображение, которое может быть, например, страницей журнала, мы увидим, что Xcode сообщает, что гистограмма плохо распределена. Фактически, вы можете видеть, что на изображении много белого. Также можно сказать, что это изображение содержит повторяющиеся структуры, в основном вызванные текстом.Другой пример, если у вас есть два изображения, которые слишком похожи и могут быть перепутаны во время обнаружения, Xcode также предупреждает вас об этом. Вы можете увидеть пример этих двух изображений одного и того же горного хребта Сьерра. Есть несколько способов справиться с этим предупреждением. Например, давайте вернемся к этому изображению с повторяющимися структурами и плохо распределенными гистограммами. Вы можете попытаться определить область этого изображения, которая будет достаточно отличительной, как, например, в данном случае реальное изображение страницы.А затем вы можете обрезать это и использовать вместо этого в качестве эталонного изображения. Что, конечно, даст вам все предупреждения, которые будут удалены, и улучшит качество отслеживания. Еще мы можем использовать несколько групп ресурсов AR.

Это позволяет обнаруживать гораздо больше изображений. Поскольку мы рекомендуем иметь максимум 25 изображений в группе, чтобы ваш опыт был эффективным и отзывчивым.

Но вы можете иметь столько групп, сколько захотите. А затем вы можете программно переключаться между группами.Например, если вы хотите создать опыт дополненной реальности в музее, который может содержать сотни изображений.

Однако обычно эти изображения физически находятся в разных комнатах. Итак, что вы можете сделать, так это объединить изображения, которые физически будут присутствовать в комнате, в группу. И изображения другой комнаты в другую группу. А затем используйте, например, базовое местоположение для переключения между комнатами. Также обратите внимание, что теперь у вас могут быть похожие изображения, если они находятся в разных группах.Итак, это все об эталонных изображениях. Давайте теперь посмотрим на наши две конфигурации.

ARImageTrackingConfiguration — это новая автономная конфигурация отслеживания изображений, что означает, что она не запускает World Tracking.

Что также означает отсутствие мирового происхождения. Таким образом, каждое изображение будет предоставлено вам в соответствии с текущим обзором камеры.

Вы также можете комбинировать отслеживание изображений с конфигурацией World Tracking.

И в этом случае у вас будут все возможности понимания сцены, такие как обнаружение плоскости, оценка освещенности и все остальное.

Итак, какие конфигурации более подходят для использования? Давайте посмотрим. Итак, ARImageTrackingConfigurations действительно адаптирован для случаев использования, которые построены на изображениях. Здесь мы видим пример слева.

У нас может быть изображение, которое может быть страницей учебника.

И чтобы сделать процесс взаимодействия более увлекательным, мы накладываем динамический график. В данном случае о том, как построить равносторонний треугольник.

Итак, вы можете видеть, что этот опыт действительно основан на изображении.Если да, то давайте посмотрим на другой пример. Отслеживание изображений используется для запуска некоторого контента, который затем выходит за пределы изображения. В этом случае вы хотите использовать ARWorldTrackingConfiguration, поскольку вам понадобится положение устройства, чтобы отслеживать этот контент за пределами изображения. Также обратите внимание, что отслеживание изображений не использует данные движения, что означает, что его также можно использовать в автобусе или лифте, где данные движения не согласуются с визуальными данными.

Итак, давайте теперь посмотрим, как мы можем сделать это в коде.

Здесь вы легко узнаете эти три шага. Первый — собрать все изображения. И для этого в классе ARReferenceImage есть удобная функция, которая собирает все изображения, входящие в определенную группу. В данном случае он называется Room1.

Затем мы можем просто установить свойство trackingImages для этих изображений в ARImageTrackingConfigurations. И запустите сеанс.

Затем вы начнете получать результаты, например, в метод делегата session: didUpdate anchors, в котором вы можете проверить, относятся ли якоря к типу ARImageAnchor.

В якоре вы, конечно же, найдете положение и ориентацию изображения, а также само эталонное изображение. Где вы можете найти, например, имя изображения, которое вы назвали в каталоге ресурсов, чтобы вы знали, какое изображение было обнаружено.

Есть еще одно логическое свойство, которое сообщает вам, отслеживается ли это изображение в данный момент в кадре. Обратите внимание, что помимо этих вариантов использования, которые мы видели до сих пор, когда вы строите опыт вокруг изображений, обнаружение и отслеживание изображений позволяет еще несколько вещей.

Например, если два устройства просматривают один и тот же физический образ, вы можете обнаружить это изображение с обоих устройств. И это даст вам общую систему координат, которую вы затем можете использовать в качестве альтернативного способа обмена опытом.

Другой пример. Если вы знаете, где физически находится изображение в мире, например, вы знаете, что карта этого парка находится в физическом мире. Вы можете использовать отслеживание изображений, чтобы получить положение устройства по отношению к изображению и, следовательно, также положение устройства по отношению к миру, которое затем можно использовать, например, для наложения направлений, действительно привязанных к изображению. Физический мир.На этом отслеживание изображений завершено. Теперь пойдем и посмотрим на обнаружение объектов.

Итак, с отслеживанием изображений мы увидели, как мы можем обнаруживать изображения, которые являются плоскими объектами в физическом мире.

Обнаружение объектов расширяет эту концепцию до третьего измерения, позволяя обнаруживать более общие объекты. Однако обратите внимание, что этот объект будет считаться статичным в сцене, в отличие от изображений, которые могут перемещаться.

Здесь мы видим пример. Это бюст Нефертити.Это статуя, которая может быть выставлена ​​в музее. И теперь вы можете обнаружить это с помощью ARKit. А затем, например, отобразить некоторую информацию поверх физического объекта.

Обратите внимание, что при обнаружении объекта в ARKit мы говорим о конкретных экземплярах объекта. Итак, мы говорим не об обнаружении статуй в целом, а об этом конкретном экземпляре статуи Нефертити.

Итак, как мы представляем эти объекты в ARKit? Сначала нужно отсканировать объект. Так что, на самом деле, есть два шага к этому.Сначала вы сканируете объект, а затем можете его обнаружить. Давайте поговорим о части сканирования, которая в основном будет на вашей стороне как разработчике, чтобы создать такое представление объекта, которое можно использовать для обнаружения.

Внутри объект представлен аналогично карте мира. Слева вы можете увидеть пример трехмерных характерных точек статуи Нефертити.

А для сканирования объекта вы можете использовать образец разработчика «Сканирование и обнаружение 3D-объектов», который доступен на веб-сайте.

И обратите внимание, что качество обнаружения, которое вы получите позже во время выполнения, сильно зависит от качества сканирования. Итак, давайте потратим несколько минут, чтобы увидеть, как мы можем добиться наилучшего качества во время сканирования. Как только вы соберете и запустите этот образец разработчика, вы увидите что-то подобное на своем устройстве.

Первый шаг — найти область пространства вокруг вашего объекта.

Приложение попытается автоматически оценить эту ограничивающую рамку, используя различные характерные точки.

Но вы всегда можете отрегулировать это поле, перетащив сторону, чтобы уменьшить его или увеличить.

Обратите внимание на то, что действительно важно, когда вы обходите объект, вы убедитесь, что вы не режете ни одну из интересных точек объекта. Вы также можете повернуть коробку двумя пальцами сверху. Итак, убедитесь, что этот прямоугольник находится вокруг объекта, а не разрезает его интересную часть.

Следующая часть — собственно сканирование.

На этом этапе мы действительно хотим обойти объекты со всех точек зрения, которые, по вашему мнению, ваши пользователи захотят обнаружить позже.

Для того, чтобы вам было легче понять, какая часть объектов уже была приобретена, как это красивое изображение плитки. И вы также можете увидеть процент вверху, который говорит вам, сколько плиток уже было приобретено.

И на этом этапе действительно важно, чтобы вы уделяли время тем областям объекта, которые имеют множество достаточно характерных особенностей. И вы подходите достаточно близко, чтобы уловить все детали. И еще раз, что действительно обходишь со всех сторон.Как вы видите здесь. Как только вы будете довольны охватом ваших объектов, вы можете перейти к следующему шагу, который позволяет вам настроить начало координат, просто перетащив систему координат. И это будет система координат, которая будет вам позже передана при обнаружении в якоре. Итак, убедитесь, что вы поместили его в место, которое имеет смысл для вашего виртуального контента. Итак, на данный момент у вас есть полное представление вашего объекта, которое вы можете использовать для обнаружения. И приложение перейдет в режим обнаружения.

Мы рекомендуем вам использовать этот режим, чтобы получать ранние отзывы о качестве обнаружения.

Итак, вы можете захотеть обойти объект с разных точек зрения и убедиться, что объект обнаружен со всех этих разных точек зрения. Вы можете направить свое устройство в сторону, вернуться под другим углом и убедиться, что сканирование позволило обнаружить объект. Вы также можете перемещать эти объекты так, чтобы условия освещения были разными.

И вы хотите убедиться, что они все еще обнаруживаются.Это особенно важно для таких предметов, как игрушки, о которых вы не знаете, где они на самом деле будут физически расположены.

Мы также предлагаем вам взять объект и поместить его в совершенно другую среду и при этом убедиться, что он обнаружен.

Если это не обнаружено, вы можете вернуться к сканированию и убедиться, что ваше окружение хорошо освещено.

Нам очень нравится, хорошо освещенная среда во время сканирования очень важна. Если у вас есть люксметр, лучше всего будет около 500 люкс.

И если этого все еще недостаточно, вы можете сохранить разные версии сканированных изображений. Итак, на этом этапе, когда вы будете довольны качеством обнаружения, вы можете просто перетащить модель на свой Mac и добавить ее в группы ресурсов AR, как вы это сделали для изображений. Также обратите внимание, что есть некоторые объекты, которые отлично подойдут для этой системы. Объект, как вы видите слева. Прежде всего, это твердые объекты, они также обладают богатой текстурой, достаточно отличительной. Но есть также определенные типы объектов, которые не будут работать с системой.Вы можете увидеть пример этого справа. И, например, металлические, прозрачные, металлические или светоотражающие предметы не подойдут.

Или прозрачные объекты, такие как объект из стеклянного материала, также не будут работать, потому что внешний вид этих объектов действительно будет зависеть от того, где они находятся в сцене.

Итак, вот как сканировать объекты. Опять же, убедитесь, что у вас хорошо освещенная среда.

Давайте теперь посмотрим, как мы можем обнаружить это в ARKit.

Если вам это кажется знакомым, это потому, что API очень похож на один из изображений.У нас есть удобный способ собрать все объекты в группу. На этот раз в классе ARReferenceObjects.

И чтобы настроить конфигурацию ARWorldTracking, вы просто передаете этот объект свойству detectObjects.

Как только вы запустите сеанс, вы снова увидите свои результаты.

И в этом случае вы хотите проверить ARObjectAnchor, который даст вам положение и ориентацию объекта по отношению к миру.

А также название объекта, которое было указано в каталоге активов.Итак, вы, ребята, возможно, заметили некоторое сходство между обнаружением объектов и перемещением карты мира. Но и отличий немного. Итак, в случае обнаружения объекта мы всегда указываем положение объекта относительно мира. В то время как в карте мира перемещением является сама камера, которая подстраивается под предыдущую карту мира.

Кроме того, вы можете обнаруживать несколько объектов. А обнаружение объектов лучше всего работает для объектов размером со стол или мебель. В то время как карта мира — это действительно вся полученная сцена.На этом мы завершаем обнаружение объекта. Подведем итог тому, что вы видели сегодня. Отслеживание ориентации отслеживает только вращение устройства и может использоваться для исследования статической среды.

World Tracking — это полнофункциональная функция отслеживания положения и ориентации, которая дает вам положение устройства по отношению к мировому происхождению. И включает все возможности понимания сцены, такие как обнаружение плоскости, что позволит вам взаимодействовать с физической, горизонтальной и вертикальной плоскостями, в которые вы затем можете помещать виртуальные объекты.Мы видели, как вы можете создать постоянный или многопользовательский опыт с функциями сохранения и загрузки карт в ARKit2.

И как вы можете обнаруживать физические изображения и отслеживать их со скоростью 60 кадров в секунду с помощью отслеживания изображений и как вы можете обнаруживать более общие объекты с помощью обнаружения объектов.

И с этим, я действительно надеюсь, что вы, ребята, теперь лучше понимаете все различные технологии отслеживания, присутствующие в ARKit, и то, как они работают за кулисами.

И как добиться от этого наилучшего качества.И мы очень ждем, что вы, ребята, собираетесь с этим делать.

Дополнительную информацию можно найти по ссылке на сеанс на веб-сайте разработчика. А завтра, в 9 утра, у нас будет лаборатория ARKit. Мы оба, я и Марион, будем там, отвечая на любой вопрос по ARKit, который у вас может возникнуть.

И при этом, большое спасибо и наслаждайтесь bash. [Аплодисменты]

Как работает ARKit 2 и почему Apple так сосредоточена на AR

Увеличить / Приложение LEGO с использованием функций Apple ARKit.

Яблоко

Дополненная реальность (AR) играла заметную роль почти во всех мероприятиях Apple с момента появления iOS 11, Тим Кук сказал, что он считает, что она будет такой же революционной, как и сам смартфон, а AR была основным фокусом Apple на сессиях с разработчиками на WWDC в этом году. год.

Но почему? Большинство пользователей не думают, что приложение-убийца для AR еще появилось — если не считать Pokémon Go . Сценарии использования пока хороши, но в них нет необходимости и, возможно, они намного менее круты на экране iPhone или iPad, чем были бы, если бы у вас были очки или контакты, которые делали бы то же самое.

Из основного доклада WWDC в этом году до различных сессий Apple для разработчиков, проводимых в конференц-центре Сан-Хосе и размещенных в Интернете для всеобщего обозрения, становится ясно, что Apple вкладывает большие средства в дополненную реальность в будущем.

Мы собираемся прочесть то, что Apple сказала об AR и ARKit на этой неделе, подробно обсудим, что делает этот инструментарий и как он работает, и обсудим стратегию компании — почему Apple, похоже, так сильно заботится о AR и почему он думает, что добьется этого первым в приближающейся золотой лихорадке.

Что такое ARKit и как он работает

Давайте начнем с того, что такое ARKit и что он делает. Мы собираемся тщательно рассмотреть высокоуровневые функции и цели этого инструментария. Если вам нужны еще более подробные сведения, Apple разместила беседы и документацию по этому вопросу на своем портале для разработчиков.

Самое простое и кратчайшее объяснение ARKit состоит в том, что он выполняет большую часть тяжелой работы для разработчиков приложений с точки зрения работы с камерой устройства iOS, сканирования изображений и объектов в окружающей среде, а также позиционирования 3D-моделей в реальном пространстве и их согласования. в.

Или, как выражается Apple:

ARKit сочетает в себе отслеживание движения устройства, захват сцены камерой, расширенную обработку сцены и удобство отображения, чтобы упростить задачу создания опыта дополненной реальности. Вы можете использовать эти технологии для создания множества видов дополненной реальности, используя заднюю или переднюю камеру устройства iOS.

Apple впервые запустила ARKit с iOS 11 в 2017 году. Разработчики приложений могли использовать Xcode, среду разработки программного обеспечения Apple на компьютерах Mac, для создания приложений с ее помощью.ARKit в первую очередь выполняет три важные задачи в приложениях AR: отслеживание, понимание сцены и рендеринг.

Tracking отслеживает положение и ориентацию устройства в физическом мире, а также может отслеживать такие объекты, как плакаты и лица, хотя некоторые из этих отслеживаемых элементов не поддерживались в первоначальной версии iOS 11.

Понимание сцен по сути сканирует среду и предоставляет информацию о ней разработчику, приложению или пользователю. В первом выпуске это означало горизонтальные плоскости и еще кое-что.

Рендеринг

означает, что ARKit выполняет большую часть работы по размещению трехмерных объектов в контексте сцены, захваченной камерой устройства, например, помещает виртуальный стол в центр столовой пользователя, когда он использует приложение для покупок мебели.

Реклама

ARKit делает это, отслеживая окружающую среду определенными способами. Давайте посмотрим, что поддерживало в этой области первоначальный выпуск.

Отслеживание ориентации

В конфигурации отслеживания ориентации ARKit использует внутренние датчики устройства для отслеживания вращения с тремя степенями свободы, но это похоже на поворот головы, никуда не ходя — изменения физического положения здесь не отслеживаются, только ориентация в сферической виртуальной среде с устройство в исходной точке.Отслеживание ориентации — особенно полезный подход для увеличения дальних объектов и мест за пределами непосредственной близости от устройства.

Отслеживание мира

Это еще не все. Он отслеживает ориентацию камеры устройства и любые изменения физического местоположения устройства. Таким образом, в отличие от отслеживания ориентации, он понимает, переместилось ли устройство на два фута вправо. Это также делается без какой-либо предварительной информации об окружающей среде.

Кроме того, ARKit использует процесс, называемый визуальной инерциальной одометрией, который включает в себя определение ключевых физических характеристик в окружающей среде вокруг устройства.Эти функции записываются под разными углами по мере того, как устройство перемещается и переориентируется в физическом пространстве (требуется перемещение; вращение не дает достаточно информации). Изображения, снятые в этом процессе, используются вместе, чтобы понять глубину; это похоже на то, как люди воспринимают глубину двумя глазами.

• На этом снимке экрана с онлайн-видеосеансом Apple для разработчиков приложений мы видим визуализацию карт мира, которые можно создать с помощью ARKit.

• Информация о глубине перекодируется с помощью визуальной инерционной одометрии, которая в некоторых отношениях работает аналогично человеческим глазам.

• Приложения ARKit постоянно измеряют качество отслеживания, чтобы о нем можно было сообщить пользователю или разработчику.

• Статус отслеживания можно разделить на категории и сообщить пользователю.

Создает то, что Apple называет картой мира, которую можно использовать для позиционирования и ориентации объектов, применения к ним освещения и теней и многого другого.Чем больше пользователь перемещается и меняет ориентацию, тем больше информации отслеживается и тем более точными и реалистичными могут быть дополнения. Когда ARKit строит карту мира, он сопоставляет ее с виртуальным координатным пространством, в котором можно размещать объекты.

Устройству требуются непрерывные данные датчиков, и этот процесс лучше всего работает в хорошо освещенных средах с текстурой и очень четкими характеристиками; направление камеры на пустую стену не поможет. Слишком большое движение в сцене также может помешать процессу.

ARKit отслеживает качество карты мира под капотом и указывает на одно из трех состояний, о которых разработчикам рекомендуется сообщать пользователям по очереди:

• Недоступно : Карта мира еще не построена.
• Limited : Некоторые факторы помешали построить адекватную карту мира, поэтому функциональность и точность могут быть ограничены.
• Нормальный : Карта мира достаточно надежна, чтобы можно было ожидать хороших дополнений.

Обнаружение самолета

Обнаружение самолетов использует карту мира для обнаружения поверхностей, на которых можно размещать объекты дополненной реальности. Когда ARKit был запущен с iOS 11, были обнаружены и использовались только горизонтальные плоскости, а такие вариации, как выпуклости и кривые, могли легко помешать усилиям по точному размещению 3D-объектов в виде.

Используя эти три метода отслеживания, разработчики могут использовать ARKit, чтобы легко размещать смоделированные ими трехмерные объекты на плоскости в поле зрения пользователя на изображение с камеры на экране устройства.

Реклама

Функции, добавленные в iOS 11.3

Apple выпустила ARKit 1.5 с iOS 11.3 в начале этого года. Обновление внесло общие улучшения в точность и качество опыта, которые можно было использовать с ARKit без значительных дополнительных усилий разработчика. Это также увеличило разрешение изображения пользователя на экране с камеры во время работы с дополненной реальностью.

Вертикальные плоскости

Первоначальная версия ARKit могла обнаруживать, отслеживать и размещать объекты только на плоских горизонтальных поверхностях, поэтому ARKit 1.5 добавлена ​​возможность делать то же самое с вертикальными поверхностями и (в некоторой степени) неровными поверхностями, которые не являются полностью плоскими. Разработчики могли размещать объекты на стене, а не только на полу, и до некоторой степени буквальные неровности дороги больше не были образными неровностями дороги.

Распознавание изображений

В

ARKit 1.5 добавлено базовое отслеживание 2D-изображений, что означает, что приложения ARKit могут распознавать что-то вроде страницы в книге, плаката фильма или картины на стене. Разработчики могут легко заставить свои приложения вводить объекты в среду, как только устройство распознает эти 2D-изображения.Например, костюм Железного человека в натуральную величину может быть помещен в окружающую среду, когда пользователь направляет камеру устройства на плакат фильма Avengers .

Что Apple добавит в iOS 12

Это подводит нас к WWDC 4 июня 2018 года, где Apple анонсировала iOS 12 и некоторые важные улучшения и дополнения к ARKit, которые делают платформу способной к более широкому спектру более реалистичных приложений и возможностей.

Изменения позволяют виртуальным объектам более убедительно вписываться в среду, многопользовательскому взаимодействию с дополненной реальностью и объектам, которые остаются в одном и том же месте в среде в течение нескольких сеансов.

Сохранение и загрузка карт

Раньше карты мира AR не сохранялись во время нескольких сеансов, и их нельзя было переносить между устройствами. Это означало, что если объект был помещен в сцену в определенном месте, пользователь не мог повторно посетить это место и обнаружить, что приложение его запомнило. Это также означало, что опыт AR всегда был индивидуальным во многих отношениях.

В iOS 11.3 Apple представила релокализацию, которая позволяет пользователям восстанавливать состояние после прерывания, например, если приложение было приостановлено.Это значительное расширение этого. После того, как карта мира получена в iOS 12, пользователь может переместиться на нее в более позднем сеансе, или карта мира может быть предоставлена ​​другому пользователю или устройству с помощью инфраструктуры MultipeerConnectivity. Обмен может происходить через AirDrop, Bluetooth, Wi-Fi или другими способами.

ARKit понимает, что устройство находится в той же сцене, что и в другом сеансе, или в том же самом, что и другое устройство, и может определить свое положение на этой предыдущей карте мира.

Увеличить / Два пользователя используют одну и ту же среду AR, из видео разработчиков Apple.

Apple продемонстрировала это, создав для разработчиков игру с дополненной реальностью под названием Swiftshot , в которой несколько пользователей одновременно взаимодействуют с одними и теми же 3D-объектами на нескольких устройствах.

Но многопользовательские игры — не единственный возможный вариант использования. Помимо прочего, сохранение и загрузка карт может позволить разработчикам приложений создавать постоянные объекты в определенном месте, например, виртуальную статую на городской площади, которую все пользователи устройств iOS будут видеть в одном и том же месте при каждом посещении.Пользователи могли даже добавлять в мир свои собственные объекты, чтобы другие пользователи могли их найти.

Тем не менее, есть некоторые ограничения. Возврат к сцене, которая значительно изменилась в реальном мире с момента последнего посещения, очевидно, может привести к сбою при перемещении, но даже изменение условий освещения (например, дневное и ночное) также может вызвать сбой. Это заметная новая функция в ARKit, но еще предстоит проделать некоторую работу, чтобы полностью реализовать ее потенциал.

Дополненная реальность в приложениях iOS: Руководство разработчика ARKit 2021

В прошлом дополненная реальность считалась научной фантастикой.Однако он превратился в неотъемлемую часть цифрового опыта, в котором мы живем сегодня. Благодаря мощи аппаратных и программных технологий iPhone, дополненная реальность вошла в мейнстрим для множества различных приложений реального мира. Благодаря инструментам Apple для разработки программного обеспечения в ARKit разработка передовых мобильных AR-решений никогда не была такой простой.

Несмотря на беспрецедентную доступность и мощь разработчиков, все еще существуют проблемы, которые необходимо преодолеть.Поговорим о том, как можно использовать нестандартные решения для реальных проектов, чтобы обойти технологические ограничения. Обходя эти ограничения, мы можем найти технические решения для бизнеса наших клиентов.

Как работает ARKit

Чтобы создать опыт дополненной реальности на устройстве iOS, необходимо выполнить три шага: отслеживание, анализ сцены и рендеринг. Более подробно, приложения AR требуют ввода от датчиков, таких как камеры, акселерометры и гироскопы.Затем эти данные необходимо обработать, чтобы определить движение камеры в реальном мире. Как только это будет завершено, трехмерные виртуальные объекты могут быть нарисованы поверх изображения и показаны пользователю.

Наиболее оптимальная среда для приложений ARKit — это хорошо текстурированная и освещенная область, плоская поверхность для визуальной одометрии и статическая сцена одометрии движения. Когда среда не соответствует этим требованиям, ARKit предоставляет пользователям информацию о состоянии отслеживания. Возможны три состояния: недоступно, нормальное и ограниченное.

ARKit вышел далеко за рамки простого отображения объектов на плоских поверхностях. Вертикальные поверхности, распознавание изображений и объекты, размещенные с географическими координатами, теперь стали возможны благодаря новейшим функциям ARKit 5. Однако важно учитывать, что каждый виртуальный объект требует системы координат. Без контрольной точки виртуальные объекты не могут отображаться в статическом месте на экране пользователя.

Стандартные решения, доступные разработчикам, упрощают добавление возможностей дополненной реальности в любое приложение.Это привело к появлению большого количества приложений AR в App Store. Это хорошо, поскольку увеличивает доступ пользователей к технологии и помогает компаниям более активно предлагать свои услуги и продукты.

Однако AR может гораздо больше, чем эти стандартные решения. Чтобы быть конкурентоспособным, ваш бизнес должен быть уникальным. Разработка совершенно нового опыта, который предлагает пользователю что-то новое, открывает путь к инновациям и завоеванию рынка. Давайте поговорим о некоторых примерах, чтобы продемонстрировать это в действии.

Пример # 1: Дополненная реальность в движущихся транспортных средствах

Когда ARKit был впервые анонсирован, мы начали разработку продукта, который позволил бы пользователям в движущихся транспортных средствах трансформировать среду за пределами своих окон. Однако изначально ARKit не был разработан для поддержки игр в движении. Естественно, мы столкнулись с серьезными препятствиями, поскольку визуальные данные и данные о движении не совпадали. Без статической сцены дополненная реальность не могла бы работать должным образом.

Это была очень сложная проблема, которую нужно было компенсировать.Вместо того, чтобы постоянно иметь дело с данными о движении, мы выбрали более простое решение. С географическими координатами мы могли бы более точно отобразить объект. Например, когда вы смотрите в окно движущегося автомобиля, метки AR могут отображаться, показывая названия различных мест, когда вы проезжаете мимо. Это могут быть далекие города, здания или другие достопримечательности.

Тогда наше решение основывалось на периодических обновлениях местоположения по GPS. Мы могли бы использовать маршрутизацию для вычисления промежуточных позиций и объединить это с данными компаса, чтобы правильно разместить эти булавки в сцене.Это было проще, чем то, что предоставлял ARKit, но, тем не менее, это сработало в наших интересах.

Вибрация — еще одно препятствие, с которым мы столкнулись в этом примере. Как изображение дрожало, так и виртуальный контент. Чтобы исправить это, мы придумали алгоритм стабилизации изображения. Взяв расчеты положения из предыдущей задачи и добавив этап сглаживания данных с помощью скользящего среднего, мы могли бы улучшить стабильность системы. Однако в этом есть серьезная проблема: эти средние значения могут привести к совершенно другому направлению.

Если среднее значение 90 градусов и 92 градусов равно 91, разница в направлении незначительна. Однако среднее значение для 360 градусов и 2 градусов составляет 181. Это совсем другой результат, который может нарушить правильную визуализацию виртуальных объектов в ARKit. Это также приводило к некоторой задержке, когда пользователь быстро перемещал свое устройство.

Решение этой проблемы требовало условной адаптации. Мы интерпретировали небольшие колебания как тряску, в то время как большие колебания означали, что пользователь намеренно перемещал камеру.Помня об этом, отрегулировав сглаживание данных, мы смогли улучшить отображение объектов за окном движущегося транспортного средства.

Этот метод может быть улучшен для транспортных средств, расположенных ближе к земле, с помощью улучшенных якорей для определения местоположения ARKit 5. Представленные в ARKit 4 привязки местоположения используют данные Apple Maps Look Around для определения ориентиров, например зданий. Это позволяет лучше визуально позиционировать устройство и позволяет более точно размещать виртуальные объекты с географическими координатами.Используя ориентиры в качестве опорных точек, виртуальные объекты, такие как текст, булавки и другие элементы, можно размещать в поддерживаемых областях с беспрецедентной точностью.

При достаточно хорошей сетевой инфраструктуре с сверхширокополосной технологией, возможно, можно будет использовать эту технологию для лучшего определения своего динамического положения и соответствующего отображения элементов дополненной реальности в густонаселенных городских районах, где покрытие GPS ограничено. Это также снизит потребность в обработке изображений с помощью решений VPS.

Пример # 2: Масштабирование сцен для опыта дополненной реальности

Чтобы оптимизировать взаимодействие с дополненной реальностью для пользователей, ARKit должен использовать масштаб, соответствующий реальному миру.Это помогает погрузить пользователя в атмосферу и помочь ему поверить в то, что виртуальные объекты на их дисплее действительно могут существовать. Реалистичное масштабирование также полезно для размещения объектов на поверхностях рядом с пользователями.

Однако мы сталкиваемся с некоторыми проблемами, когда хотим разместить виртуальные элементы над зданиями или рядом с поверхностями, а не непосредственно на этих поверхностях и зданиях. Например, вы можете отобразить булавку над пунктом назначения в приложении для навигации или какой-либо текст над популярным ориентиром. В прошлом это требовало более сложного решения.Однако с последней версией ARKit 5 это просто!

В последних версиях ARKit есть привязка местоположения, функция, которая также была полезна в примере с движущимся транспортным средством. Если бы мы хотели разместить текст или булавку над местом назначения, мы могли бы просто дать приложению географические координаты местоположения и место, где должен отображаться виртуальный элемент. Когда камера пользователя замечает ориентир и сравнивает его с данными Apple Maps Look Around, виртуальный объект может правильно отображаться на их экране.

Однако якоря местоположения доступны не во всех городах и пока недоступны в загородных районах, поэтому могут потребоваться альтернативные методы размещения, такие как маяки GPS, UWB или BLE.

Независимо от того, какой метод размещения используется, масштаб виртуального объекта всегда должен быть пропорционален расстоянию от пользователя. Естественно, удаленные виртуальные объекты должны быть уменьшены в поле зрения пользователя, а более близкие объекты — больше.

Однако, решая эту задачу для себя, мы решили преобразовать координаты с проекцией на невидимую сферу.Это помогло при отображении на карте очень близких друг к другу координат.

Пример # 3: Внутренняя навигация с дополненной реальностью

Благодаря имеющимся у нас технологиям передвигаться стало еще проще. Когда вы находитесь за пределами города, благодаря беспрецедентной доступности технологии GPS заблудиться практически невозможно. Дополненная реальность была создана таким образом, чтобы пользователи могли держать свое мобильное устройство и получать на экране инструкции в виде виртуальных элементов, нарисованных поверх реального мира.

Однако внутренняя навигация с AR не так проста. Без широко доступного GPS можно легко потерять место в большом помещении, таком как торговый центр, конференц-центр или терминал аэропорта.

Хотя основные картографические приложения, в первую очередь ориентированные на наружную GPS-навигацию, начали создавать обширные внутренние карты основных областей, по-прежнему существует серьезная проблема: позиционирование сцены. GPS недостаточно точен для работы в помещениях, чтобы сделать его надежным для определения местоположения пользователя для навигации в дополненной реальности.Без точной позиции рисовать направления AR в реальном мире намного сложнее.

Использование инновационных технологий для внутреннего позиционирования

Чтобы обойти эту проблему, мы не можем полагаться на GPS. Другие технологии, такие как Bluetooth Low Energy (BLE), Wi-Fi Round-Trip Time (RTT) и Ultra-Wide Band (UWB), могут помочь нам достичь гораздо более точного местоположения для навигации в дополненной реальности. Как только позиция пользователя может быть определена, ARKit и механизм рендеринга могут позаботиться обо всем остальном.

Благодаря внедрению решения IoT с маячками BLE, независимо от выбранной технологии, становится возможной навигация с дополненной реальностью. Триангулируя положение устройства с помощью маяков, пользователи могут ориентироваться в здании. Однако есть некоторые препятствия на пути к успеху. Разработчики должны позаботиться о том, чтобы эти маяки были размещены таким образом, чтобы они могли наилучшим образом обслуживать пользователей. В зависимости от используемой технологии помехи все еще могут быть проблемой. Например, СШП-сигналы не могут проходить сквозь стены, людей, растения и т. Д.

Триангуляция необходима для позиционирования в помещении. Пока пользователь находится в пределах досягаемости трех маяков, положение пользователя может быть определено. Однако это может быть проблематично, учитывая, что могут существовать препятствия, которые могут помешать работе системы. Также необходимо техническое обслуживание каждого маяка.

Распознавание изображений и машинное зрение

Технология Beacon может быть дорогостоящей в некоторых условиях. Это требует инвестиций в инфраструктуру, которые могут быть нежелательными для проекта.Чтобы решить эту проблему, мы создали решение, в котором не использовались какие-либо технологии радиомаяков.

Наше решение работает аналогично тому, как привязки местоположения ARKit запрашивают базу данных изображений Apple Maps Look Around для поиска совпадений. Вместо того, чтобы искать здания как ориентиры, мы использовали визуальные маркеры. Это могут быть QR-коды или любой другой вид маркировки, легко распознаваемый компьютером. Эти маркеры передают метаданные местоположения мобильному устройству при сканировании. Их можно разместить на стенах или полу.

После сканирования маркера мобильное устройство распознает его трехмерные координаты. При таком использовании визуальные маркеры устраняют необходимость в дорогостоящем оборудовании и регулярном техническом обслуживании машин. Возможно, их потребуется очистить, а предметы, возможно, придется отодвинуть от них, чтобы они не скрывали их из поля зрения.

Пути рендеринга в дополненной реальности: важность окклюзии

В большинстве приложений ARKit рендеринг контента — самая простая часть. Есть одно важное соображение при навигации внутри помещений — это перекрытие маршрута.Например, когда нарисованный маршрут выходит за угол, мы ожидаем, что путь будет перекрыт стеной. Когда он не закрыт, пользователи могут запутаться.

Отображение маршрута стрелкой вместо нарисованного пути для направления пользователя — возможное решение этой проблемы, но не такое удобное. Мы также могли бы просто показать маршрут на определенном расстоянии от пользователя, чтобы он не заходил слишком далеко за углы. Оба решения намного проще реализовать, но могут быть не лучшими вариантами.

Чтобы сделать еще один шаг вперед, мы решили разработать очень низкополигональную 3D-модель здания. Наложение этой модели поверх реального мира, видимого через камеру пользователя, позволяет лучше поддерживать окклюзию. Хотя это требует больше времени и усилий на разработку, это позволило создать гораздо более естественное и понятное решение для внутренней навигации с помощью ARKit. Мы считаем, что это наиболее экономичное решение, обеспечивающее высочайшее качество для пользователей.

И что самое важное, создание 3D-модели здания стало проще, чем когда-либо, благодаря передовым технологиям.Для этой цели также можно использовать сканер LiDAR iPhone 12 Pro, позволяющий сканировать целые комнаты в трехмерную среду.

Посмотрите видео ниже, чтобы увидеть в действии внутреннюю навигационную технологию маршрутизации!

Пример # 4: Дополненная реальность на основе лиц

Одним из преимуществ ARKit перед ARCore является совместимость с оборудованием и качество. Камеры iPhone TrueDepth, начиная с iPhone X, были способны обеспечивать очень стабильный и высокий уровень качества для дополненной реальности на основе лиц.Подобно другим видам AR, эта технология работает в три этапа: отслеживание, анализ сцены и рендеринг.

Результатом обработки данных

ARKit являются данные отслеживания, сетка лица и смешанные формы. Данные отслеживания дают нам лучшее представление о том, где отображать контент при перемещении лица объекта. Сетка лица создает геометрию лица. Смешанные формы — это части лица, которые имеют аналоговую информацию. Например, если бы глаза были наполовину открыты, результат для этой смешанной формы составил бы 50%.

AR на основе лица полезен для масок лица, которые обычно используются в таких приложениях, как Snapchat, а также для анимированных виртуальных лиц, таких как Animoji.Однако мы можем пойти дальше. AR на основе лица может помочь пользователям отслеживать свою потерю веса.

Это может показаться натяжкой, но это вполне реальная возможность. Когда человек набирает или худеет, его лицо меняется по ширине. Камера iPhone True Depth может обнаруживать эти изменения и отслеживать их с течением времени с помощью приложения. Это может позволить пользователям отслеживать изменения в своих усилиях по снижению веса с течением времени.

Одно из решений, которое набирает популярность — виртуальные примерочные.AR на основе лица может помочь потребителям примерить дома такие товары, как солнцезащитные очки и макияж, не выходя из дома. Кроме того, AR на основе лиц может быть полезен для управления элементами на экране с помощью смешанных форм, таких как движения глаз. Приложив немного воображения, AR на основе лиц открывает множество возможностей с решениями ARKit.

Будущее разработки ARKit

Воображение — действительно самая важная часть разработки решений дополненной реальности с помощью ARKit.Хотя его коммерческие, функциональные и бизнес-приложения могут быть не сразу очевидны, его приложения для внутренней навигации, распознавания лиц и отображения информации на основе географических координат показывают нам, что AR имеет невероятный потенциал. Многие полезные приложения AR, возможно, еще даже не задумывались. Время покажет, как будет выглядеть будущее AR.

Вам решать, что вы хотите изучить, чтобы поддерживать конкурентоспособность своего бизнеса на инновационном рынке.Услуги дополненной реальности от MobiDev помогут вам найти решения, необходимые для достижения этого преимущества.

ARKit 2: Хороший, плохой и уродливый

ОБНОВЛЕНИЕ

: ARKit 5 уже здесь! Какие новости?

ARKit 2 — это новейший фреймворк от Apple, который позволяет разработчикам работать с дополненной реальностью в iOS . Когда он был запущен в 2018 году, ARKit 2 принес новые функции и улучшения по сравнению с предыдущей версией, но все же ему предстоит пройти долгий путь.

Наша команда разработчиков провела несколько дней, исследуя и играя с ним, чтобы выяснить, как далеко он может зайти, и вот выводы.

Что делает этот фреймворк лучше? А каких не так много? Давайте посмотрим на хорошие, плохие и уродливые из ARKit 2.

Хорошее про ARKit 2

Технология обнаружения самолетов

ARKit 2 со склада включает множество различных инструментов для создания богатого опыта AR.Одна из них — способность обнаруживать горизонтальных и вертикальных плоскостей с помощью камеры устройства и отслеживания так называемых точек.

Когда алгоритм каркаса распознает эти точки, выровненные на реальной плоской поверхности, он возвращает эту информацию как объект ARPlaneAnchor , который содержит данные этой плоскости и представляет связь между реальной точкой и ее виртуальным аналогом, которую необходимо отслеживать повсюду. сеанс AR.

Эта информация включает в себя общую геометрию обнаруженной плоскости, а также ее центр и размеры, которые обновляются по мере того, как устройство обнаруживает новую информацию из реальности. На поддерживаемых устройствах iOS (с графическим процессором A12 или более поздней версии) ARKit пытается классифицировать обнаруженные самолеты по категориям стен, пола, сидений, потолка, столов или ничего, если ни одно из перечисленных не соответствует. Эти дополнительные данные, которые алгоритм сообщает приложению, могут быть интересны, например, для создания определенных объектов на этажах, а не над каждой обнаруженной горизонтальной плоскостью, что обеспечивает более увлекательный опыт дополненной реальности.

Создание виртуальных объектов с их относительным перемещением

В рамках расширенного опыта дополненной реальности виртуальные объекты должны вести себя как можно ближе к реальным. В частности, относительное движение и эффекты параллакса позволяют это в значительной степени, моделируя размещение объектов в самом мире, а не только на экране устройства, независимо от его окружения.

ARKit 2 очень успешно справляется с этой задачей, отслеживая движения пользователя на протяжении всего сеанса AR и, как следствие, корректируя положения виртуальных объектов относительно набора начальных координат.

Это почти не требует усилий со стороны разработчика, поскольку шаблон создается, как только вы начинаете новый проект, показывая объект (актив космического корабля), помещенный в сцену, с возможностью позволять пользователю перемещаться по нему и увидеть это со всех сторон. Таким образом, это очень сильная особенность ARKit 2 , особенно с учетом того, насколько легко с ним работать.

Распознавание точных изображений

В рамках нашего исследования фреймворка ARKit 2 мы искали решения для распознавания изображений , чтобы добавлять виртуальные объекты, такие как тексты или даже видео, к идентифицированным изображениям (см. Пример ниже). Вариантом использования этой функции может быть отображение информации о компании при распознавании ее логотипа.

ARKit имеет встроенную систему распознавания изображений, в которую вы можете загружать цифровые изображения, которые затем будут распознаваться в реальном мире. SceneKit затем позволяет выполнять определенные действия после того, как изображение было распознано программным обеспечением.

Это было сделано с легкостью, потому что в момент загрузки изображений Xcode обладает интерфейсом, который анализирует их и дает разработчикам рекомендации относительно качества изображения для обеспечения более точного распознавания.Например, во внимание принимаются такие характеристики, как размер, цвет или даже дизайн.

Проведя несколько тестов и изучив отзывы Xcode, мы могли убедиться, что система выполняет надежное сравнение каждого изображения и проверяет их точное соответствие. При этом изображения, такие как пейзажи с большим разнообразием цветов и форм, хорошо идентифицируются, поскольку они обрабатываются их цветовой гистограммой. Проблемы возникают с более простыми, о чем мы поговорим позже в этом посте.

Реалистичные физические характеристики объекта

Одним из подходов, которые мы хотели рассмотреть, была способность виртуальных объектов взаимодействовать друг с другом и иметь поведение, основанное на физике реального мира.

ARKit 2 предоставляет возможность добавления физических характеристик к объектам, таких как определение их массы. Например, установка массы в виртуальных объектах с овальным основанием, таких как лодка, приводит к тому, что при перемещении плоскости, на которой она поддерживается, объект начнет шататься.

Кроме того, каркас способен применять физические силы к виртуальным объектам, вызывая, как следствие, такую ​​реакцию, как движение вперед или даже падение, если он отталкивается от базовой плоскости. Такие физические свойства улучшают реалистичный внешний вид виртуальных объектов и погружение в дополненную реальность.

Интегральная и адаптивная архитектура

С точки зрения архитектуры, стоит упомянуть, что ARKit похож (в отношении своей функциональности на классы) с другими технологиями, которые включают взаимодействие с трехмерными объектами, например, относящимися к разработке игр, как движок Unity .

Понятия и терминология, с которыми работает фреймворк, такие как узлы, якоря, физические тела, формы и другие, присутствуют в некотором роде и могут быть сопоставлены с другими технологиями, с которыми разработчик может быть более знаком, что удобно с точки зрения ускорения обучения. процесс, в любом случае довольно крутой.

Кроме того, в процессе наших экспериментов мы обнаружили, что он предлагает некоторые возможности интеграции с другими фреймворками или библиотеками. В частности, например, UIView (из UIKit iOS) может быть помещен в контекст дополненной реальности в результате обнаружения плоскости или изображения, позволяя затем устанавливать кнопки в представлении пользователя и позволяя взаимодействовать в этом контексте или воспроизводить видео на некоторой поверхности.

Кроме того, при тестировании распознавания изображений можно интегрировать ML Core , что является интересным вариантом при необходимости расширения возможностей ARKit в этом смысле.

Плохое об ARKit 2

Распознавание плоскости не всегда точное

Несмотря на то, что процесс распознавания горизонтальных и вертикальных плоскостей в большинстве случаев работает нормально, в некоторых случаях это не так. Когда это происходит, характерные точки (, которые позволяют идентифицировать плоскости), обнаруженные камерой в реальном мире, не всегда «видны» из-за определенных обстоятельств контекста, таких как освещение, цвета и тени.

Например, белая стена или таблица однородных цветов не создают специфических характеристик, необходимых для того, чтобы камера отображала объект точек и могла работать с ним. Взгляните на изображение ниже:

Мы выполнили несколько тестов, цель которых состояла в том, чтобы идентифицировать полностью белую таблицу, на которой ничего не было, и ее было невозможно распознать ( изображение 3 ).

Затем мы кладем на него что-нибудь, например, карандаши или даже клавиатуру, и после того, как программное обеспечение их идентифицирует, оно быстро проделало то же самое с таблицей (, изображение 1-2, плоскость, представленная коричневым цветом ).Хотя это может быть связано с ограничениями камеры устройства, мы все же считаем, что есть еще много возможностей для улучшения.

Идентификация изображений хорошо работает только в рамках строгих параметров

Ранее мы говорили о функциях, которые поставляются с распознаванием изображений в ARKit 2 , таких как простота работы с ним или обратная связь, которую IDE предоставляет для загрузки идентифицируемых изображений в проект.

Однако это не очень гибкая функция, и небольшие изменения, скажем, в цветовой гамме изображения затрудняют или делают невозможным ее распознавание программным обеспечением.Кроме того, если изображение слишком простое или его цветовой диапазон слишком узок, его также очень трудно идентифицировать, и именно об этом сообщает Xcode на изображении ниже:

В качестве решения этой проблемы было бы интересно включить обученную систему машинного обучения , отвечающую за распознавание, позволяя ARKit заботиться только о части AR.

Принесите свои математические навыки

Создание реалистичной дополненной реальности, которая имитирует поведение реальных объектов, особенно если речь идет о движении или физике, — непростая задача.Несмотря на то, что движок ARKit берет на себя большую часть тяжелой работы, уровень математики, вероятно, выходит за рамки типичной зоны комфорта разработчика, чтобы реализовать реалистичный опыт в приложении.

Например, одна точка, которая может вызвать некоторые проблемы для правильной реализации, — это, в первую очередь, преобразование из 2D-координат экрана / вида в 3D-координаты в виртуальном мире (выполняется посредством проверки попадания), особенно учитывая, что координаты каждого узла приведены в отношение к системе координат своего родителя.Для всех этих координат используются различные структуры и типы данных, включая векторные и матричные преобразования для работы с ними, которые, хотя и эффективны с технической точки зрения, их нелегко понять для тех, кто плохо знаком с этой областью, поскольку они связаны с математическими расчетами. такие концепции, как линейные преобразования и кватернионы . К счастью, большая часть этого инкапсулирована в легко вызываемые (но трудные для понимания и освоения) функции и методы.

Что касается физического аспекта некоторого возможного проекта AR, необходимо несколько концепций для правильной конфигурации тел и суставов, а также того, как они переплетаются вместе, такие как масса, сила, импульс, статические и динамические константы трения и т. Д.Несмотря на то, что их можно установить методом проб и ошибок, некоторые сведения о физике определенно полезны при работе с ARKit , чтобы сделать взаимодействия, такие как столкновения, более реалистичными.

Наконец, мы обнаружили, что в некоторых точках из-за ошибок дрожания при получении данных от системы обнаружения ARKit , например, во время отслеживания положения определенного изображения или при изменении размеров привязки плоскости, иногда полезно установить некоторые пороги ошибок перед обновлением или выполнением каких-либо действий и, возможно, использовать линейную интерполяцию , чтобы сгладить движения и сделать их более реалистичными.Их не так просто реализовать эффективным способом, поэтому фреймворк в целом довольно сложно освоить.

Требования к оборудованию ARKit

Как и ожидалось, для этой платформы требуется устройство iOS с процессором A9 (iPhone 6s или новее) и минимум iOS 11, в то время как некоторые функции доступны только с процессором A12 и новее.

Кроме того, с точки зрения потребления ресурсов телефона при запуске приложения AR, запрограммированного с помощью ARKit , мы заметили значительное падение заряда батареи через несколько минут использования.

Это может быть интересным моментом, который следует иметь в виду при разработке мобильных приложений в определенных контекстах, поскольку потребление батареи является важным аспектом.

Только iOS

Как и многие другие вещи, Apple ARKit — это платформа только для iOS, недоступная для приложений Android. Если вы серьезно относитесь к кроссплатформенности и паритету функций, вам нужно будет предоставить те же возможности для iOS и Android. Вместо того, чтобы обучать вашу команду двум фреймворкам и двум способам выполнения вещей, вы можете захотеть оценить реализацию библиотеки, поддерживающей обе платформы, например ARCore.

Гадкий про ARKit 2

Невозможно определить, затрудняется ли обзор камеры при создании виртуальных объектов

Как мы уже говорили ранее в этом посте, создание виртуальных объектов довольно просто и отлично работает. Проблемы начинают появляться, когда зрение камеры затрудняется, а этот виртуальный объект остается видимым. Система не может понять, что она не должна отображать это, как показано в примере ниже.

Конечно, это сложная задача, и для правильной реализации, вероятно, потребуются 2 камеры для измерения глубины.Возможность легко смешивать порожденные объекты с существующими остается проблемой, не решенной из коробки в текущей версии ARKit. Что полностью разрушает иллюзию присутствия виртуального объекта.

Плохое распознавание объектов (время компиляции и ненадежно)

Как уже упоминалось ранее, ARKit предлагает возможность распознавания определенных известных объектов или изображений в реальном мире. Это работает до тех пор, пока распознаваемые объекты соответствуют определенным стандартам качества (высокий цветовой контраст, отсутствие повторяющихся узоров и т. Д.) И объекты были отсканированы правильно (под разными углами, соответствующая настройка ограничивающей рамки и т. Д.).

Тем не менее, согласно нашему тестированию, здесь есть некоторые ключевые ограничения.

Во-первых, как файлы изображений (например, с расширением .png ), так и данные трехмерных объектов, которые должны быть обнаружены приложением, с расширением файла .arobject , должны быть включены во время компиляции как объекты в группе ресурсов, которые будут обрабатываться приложением.Это означает, что все идентифицируемые объекты и изображения должны быть известны заранее при разработке самого приложения.

Согласно нашему исследованию, ARKit не дает возможности обнаруживать или категоризировать трехмерные объекты (например, распознавать определенный объект как чашку кофе), кроме этого маршрута, за исключением плоских поверхностей. Ниже показан процесс загрузки информации о реальном объекте, чтобы позволить ARKit распознать его позже:

Во-вторых, ARKit использует алгоритм, который сравнивает изображения, снятые камерой устройства, с такими файлами и возвращает результат, основанный на том, насколько похоже на них, без какого-либо искусственного интеллекта или обучения за процессом. .

Это означает, что обнаружение сильно страдает при изменении условий , таких как освещение, изменение угла обзора и т.д. улучшение информации ARKit предоставляется или, возможно, путем его интеграции с моделями машинного обучения , обученными распознаванию желаемого объекта.

Заключительные мысли

Это были наши выводы о фреймворке ARKit 2 после нескольких дней игры с ним.Несмотря на то, что он привносит интересные возможности в разработку мобильных приложений, он по-прежнему чувствует себя технологией, находящейся в зачаточном состоянии. Оставив многие обязанности разработчику, вещи, которые можно было ожидать, были решены или, по крайней мере, приблизились лучше из коробки.

Вы думаете о внедрении дополненной реальности в свой следующий мобильный проект? Связаться!

Давай поговорим!

Что нового в ARKit 5?

ARKit 5 — фреймворк Apple для разработки возможностей дополненной реальности на iOS и iPadOS — только что был анонсирован на WWDC 21.Мы рады видеть, что Apple продолжает инвестировать в сферу дополненной реальности, предлагая больше функций и улучшений каждый год.

Как и в случае с предыдущими версиями ARKit, мы как разработчики мобильной дополненной реальности делимся своими мыслями об этом.

Что нового в ARKit 5? Что это означает для развития дополненной реальности в экосистеме Apple?

Давайте погрузимся в это!

Якоря улучшенного местоположения

Представленные в ARKit 4, якоря местоположений позволяют размещать виртуальные объекты на открытом воздухе по отношению к якорям в реальном мире на определенной широте, долготе и высоте.

Это в основном позволяет пользователю более реалистично воспринимать виртуальный контент. Вы можете перемещаться вокруг объекта и смотреть на него с разных точек зрения, как если бы вы это делали с настоящими.

Например, представьте себя свидетелем эпической битвы между Годзиллой и Конгом в Гонконге, как если бы эти два больших парня действительно были там. Я уже в восторге от того, что представляю момент.

Поскольку Location Anchors используют данные из Apple Maps, единственными поддерживаемыми городами при запуске были Сан-Франциско, Нью-Йорк, Лос-Анджелес, Чикаго и Майами.К счастью, ARKit 5 теперь представляет эту функцию более чем в 25 городах США, включая Бостон, Хьюстон, Атланту и некоторые другие. Кроме того, он распространяется и на глобальные регионы, начиная с Лондона. Вы можете проверить полный список поддерживаемых местоположений здесь.

С выходом iOS 15 обновленное приложение «Карты» представляет пошаговые пешеходные маршруты (в выбранных городах) с использованием дополненной реальности и привязки местоположения. Это интересный пример использования этой технологии в навигации.

Как и в случае с другими возможностями ARKit, такими как обнаружение самолетов, Apple добавила управляемый процесс адаптации. Теперь пользователи могут видеть оверлей для обучения, в котором отображается анимация использования функций, использующих якоря местоположения. Вот его код:

И вот результат:

Apple также поделилась некоторыми рекомендациями по работе с привязкой местоположения. Во-первых, вы можете использовать запись и воспроизведение, чтобы сократить время разработки с помощью Reality Composer.Это удобно при работе с контентом на открытом воздухе, так как вам не нужно каждый раз выходить на улицу только для тестирования.

Кроме того, не забудьте настроить координаты виртуального контента относительно реального якоря. Например, было бы нехорошо, если бы объект AR накладывался на реальное здание, тем самым ограничивая поле зрения пользователя. Так что проверьте эти значения высоты и поместите контент AR в плавание!

Чтобы узнать, как можно интегрировать привязку местоположения, прочтите наш предыдущий пост.

Интеграция кодов клипов для приложений

Двигаясь вперед, Apple представила интеграцию кодов клипов приложений с возможностями дополненной реальности.

Вкратце, клип приложения — это небольшая часть приложения, которую можно использовать при необходимости. Он быстрый, легкий и не требует, чтобы вы загружали сразу полную версию приложения.

App Clip Codes позволяет пользователю легко запускать App Clip, отсканировав его. Некоторые коды клипов приложений можно сканировать с помощью камеры или поместив устройство рядом с кодом.В каком-то смысле он работает почти так же, как популярные QR-коды.

Интеграция кодов клипов приложений с ARKit позволяет разработчикам создавать возможности дополненной реальности, которые можно запускать мгновенно, не устанавливая никаких приложений. Для розничной торговли это может быть полезно для более захватывающей демонстрации продуктов.

Взгляните на пример Apple:

Есть еще один отличный вариант использования App Clip Codes и ARKit для инструментов или машин. Теперь стало проще отображать инструкции по работе с конкретным устройством с указанием кнопок, которые нужно нажимать.

App Clip Codes не только допускает интеграцию с другими возможностями отслеживания для улучшения работы AR над объектами, но также упрощает и ускоряет запуск этих возможностей.

Вы можете получить тест-драйв из первых рук, загрузив образец проекта Apple.

Расширенная поддержка отслеживания лица

Отслеживание лиц позволяет отслеживать и обнаруживать лица с помощью фронтальной камеры, размещать на них виртуальный контент и включать анимацию лиц в режиме реального времени.

С ARKit 4 его поддержка была расширена на устройства без датчика TrueDepth, если они имеют процессор A12 Bionic или новее.

Теперь ARKit 5 использует новейшие возможности фронтальной камеры iPad Pro, добавляя поддержку сверхширокого поля зрения.

Приятно видеть улучшения не только в основных камерах. Пришло время селфи!

Код для реализации поддержки сверхширокого поля зрения в вашем приложении выглядит так:

Улучшенный захват движения

Motion Capture также получил некоторые улучшения.Функция Motion Capture, представленная в ARKit 3, позволяет отслеживать движения человека и использовать их в качестве входных данных для событий дополненной реальности.

В iOS 15 и для устройств с процессором как минимум Apple A14 Bionic, таких как iPhone 12, Motion Capture поддерживает еще больше поз и жестов. Вращения более точны, и вы можете отслеживать эти движения с большего расстояния.

Улучшено отслеживание движений конечностей:

Если вы сравните его с предыдущими версиями ARKit, вы увидите, насколько плавно он работает сейчас.

Заключительные мысли

На сцену выходит

ARKit 5, и ясно, что Apple продолжает работать над улучшением производительности своей среды разработки AR.

Используя новейшие возможности iPhone и iPad, разработчики теперь могут создавать расширенные возможности дополненной реальности, которые происходят снаружи (благодаря расширенной поддержке Location Anchors), запускать быстрее (с помощью App Clips) и использовать человеческое тело в качестве входных данных и т. Д. точно, чем раньше.

Также стоит упомянуть, что были усовершенствованы RealityKit, фреймворк Apple для моделирования и рендеринга 3D-контента AR.Например, новый API захвата объектов RealityKit 2 позволяет разработчикам создавать 3D-модели, используя фотографии iPhone. Посмотрите, как это работает, здесь.

Вы хотите внедрить дополненную реальность в свое мобильное приложение? Напишите нам!

Давай поговорим!

Все, что вам нужно знать о большой ставке Apple на дополненную реальность

Хотя Apple и не слишком разбирается в виртуальной реальности, она на самом деле весьма заинтересована в дополненной реальности.Фактически, время от времени генеральный директор Тим Кук просто должен упомянуть, насколько оптимистично Apple настроена в отношении AR и насколько серьезным, по мнению компании, это могло бы быть.

В 2017 году Apple перестала болтать и начала ходить пешком. Компания анонсировала ARKit на своей Всемирной конференции разработчиков, сообщив миру, что с выходом iOS 11 19 сентября сотни миллионов владельцев устройств iOS смогут погрузиться в высококачественную мобильную дополненную реальность.

На руках: Обзор Apple Watch Series 3

Apple делает AR краеугольным камнем своего бизнеса в будущем, поэтому возникает пара важных вопросов: что такое ARKit, как это работает и кто над этим работает? Давайте взглянем.

Как это работает

ARKit — это новая программная среда, которая позволяет разработчикам создавать возможности дополненной реальности для устройств iOS. Идея здесь состоит в том, чтобы придерживаться общей точки зрения Apple: Apple может уникальным образом сочетать программное и аппаратное обеспечение, чтобы создать более полный и высококачественный опыт, чем у конкурентов.

Программное обеспечение работает вместе с оборудованием iPhone и iPad, чтобы лучше понимать мир вокруг вас. В основе этого лежит то, что Apple называет визуальной инерциальной одометрией (OIS), что представляет собой причудливый и сложный способ сказать, что он объединяет данные, полученные с камеры, с данными от датчиков, таких как гироскопы и акселерометры.Вместе они позволяют приложениям, подключенным к ARKit, лучше ощущать свое отношение к окружающей среде, в которой они находятся.

Во-вторых, камера постоянно воспринимает свет в комнате и ищет плоские поверхности. Он может обнаруживать и отслеживать горизонтальные поверхности, на которых он может размещать виртуальные объекты. Как только это будет сделано, он сможет оценить общее количество света в этой среде и откалибровать себя, чтобы достичь этого в соответствии с потребностями объекта AR.

Apple делает некоторые из наиболее мощных и энергоэффективных мобильных процессоров в игре, и ARKit получает к ним полный доступ по мере необходимости.В частности, ARKit будет работать на процессорах A9, A10 и новых A11. Все те специальные программные фреймворки, которые Apple создала для графики, такие как Metal и SceneKit, также могут быть использованы — помимо сторонних опций, таких как Unity.

На недавно анонсированном iPhone X в ARKit немного улучшена передняя камера X, которая может делать сложные 3D-сканирования вашего лица. Достаточно запутанный, чтобы там, где Apple говорит, что маски голливудских художников по спецэффектам и фотографии не могут его подделать.

Для дополненной реальности это означает, что она может обеспечивать высокотехнологичное картирование лиц. Это что-то вроде фильтра Snapchat, но на стероидах. Фактически, Apple использовала камеру TrueDepth, чтобы продемонстрировать некоторые новые расширенные фильтры, которые отображались намного лучше, чем текущие фильтры для лица Snapchat.

Что вы можете делать

На iPhone X вы можете использовать новую камеру TrueDepth для расширенных фильтров Snapchat, но вы также можете использовать ее для чего-то, что Apple назвала Animoji.По сути, это смайлы, которые вы знаете и любите с изюминкой. Вы можете использовать эту камеру для управления их движением, и вы можете в основном выполнять сеанс захвата движения, как в фильме Джеймса Кэмерона, но для iMessage.

Если у вас нет — или вы не хотите — iPhone X, вас ждет множество других приключений с дополненной реальностью с iOS 11. Самым большим из них является IKEA Place, приложение, которое ‘ позволят вам разместить у себя дома масштабные продукты IKEA с дополненной реальностью с помощью ARKit.

Прочтите это: Разработчики творят магию с ARKit

Хотя IKEA в настоящее время является крупнейшим производителем приложений ARKit, это не единственное. Этим летом множество разработчиков экспериментировали со способами использования дополненной реальности в экосистеме Apple. В мире моды есть такие вещи, как ModiFace, которые позволяют увидеть, как ваши волосы будут окрашены в разные цвета.

Конечно, AR идеально подходит для навигации.Или, скажем, как насчет того, чтобы найти друзей на многолюдном публичном мероприятии? Это то, для чего приложение Neon стремится использовать ARKit. Вы просто открываете приложение, смотрите вокруг, и какой-то ревущий неон укажет, где находится ваш приятель. Это невероятно просто и невероятно полезно.

Существуют также картографические приложения, поэтому вместо того, чтобы смотреть на карту и пытаться сориентироваться, вы просто направляете камеру куда-нибудь и позволяете переигранной навигационной графике указывать вам путь. Конечно, есть также приложения для измерения, которые, как кажется, могут стать первым большим бумом потребительских приложений AR.

Разработчики продолжают находить невероятные способы продвижения набора дополненной реальности, и иногда трудно сказать, что реально, а что дополнено. Возьмем, к примеру, Kabaq — приложение с дополненной реальностью, которое должно помочь вам выбрать, что поесть в ресторанах. Вместо того, чтобы полагаться только на слова для передачи пунктов меню, он визуализирует его прямо на вашем столе. Как видно из демонстрационного видео, сложно сказать, настоящий это бургер или виртуальный бургер. Это виртуально, но в этом сила ARKit.

И да, игры есть. На мероприятии iPhone X Apple продемонстрировала новую многопользовательскую игру с дополненной реальностью под названием The Machines , которая, похоже, в значительной степени вдохновлена ​​играми MOBA, такими как League Of Legends . По сути, вы должны сражаться друг с другом и пытаться уничтожить базы друг друга. Вы можете физически перемещаться по полю боя, чтобы получить новые точки обзора, которые дадут вам преимущество. Более того, перемещение меняет ваше отношение к игре.Например, чем ближе вы к действию, тем громче становится громкость.

Каково это

Вернувшись на WWDC, мы смогли проверить некоторые демоверсии ARKit и были впечатлены увиденным. В ARKit есть замечательная точность воспроизведения объектов. Например, в наших демонстрациях AR от Google и даже в элементарной AR в Snapchat есть способ нарушить погружение. В какой-то момент виртуальный объект теряется или ведет себя странно и начинает зацикливаться, программное обеспечение AR не понимает, что делать.Однако, как бы мы ни пытались взломать ARKit во время практического занятия, мы не смогли этого сделать. Объекты оставались на месте, как если бы они действительно были там.

Для некоторых новых технологий нужно действительно почувствовать разницу, чтобы знать, что есть разница. Это не совсем так с ARKit, как вы можете видеть в многочисленных демонстрациях, что это высококачественный продукт AR на подходе. Вопрос только в том, куда он идет.

Соревнование

Apple — не единственная компания, играющая в дополненной реальности.Это Apple, конечно, не первая. Такие компании, как Microsoft, Google, Snap, Facebook и Magic Leap, уже давно сеяли будущее AR.

Google, вероятно, является самым прямым конкурентом Apple. Поисковый гигант и раньше использовал очки AR с Google Glass, но это не удалось, но совсем недавно он анонсировал ARCore, которая, по сути, является версией ARKit для Android.

ARCore основан на технологии Project Tango, но то, как она работает на практике, будет иметь решающее значение.Google планирует выпустить 100 миллионов тестовых устройств, в том числе собственные телефоны Pixel и Samsung Galaxy S8, но компания также должна работать со сторонними организациями, чтобы обеспечить полную поддержку ARCore на этапе тестирования и после него. Google также может быть труднее обеспечить сравнительный опыт на широком спектре устройств Android, которые иногда не получают новейшее обновление операционной системы в течение длительного времени.

Microsoft тоже какое-то время присутствует в мире AR с HoloLens, но в настоящее время она в основном ориентирована на корпоративные сценарии использования.Для потребителей Microsoft гораздо больше сосредоточена на потенциале смешанной реальности, которая в настоящее время не слишком пересекается с более чистой AR Apple.

Snap определенно смотрит на очки AR, и до сих пор был самой большой силой в AR, а не Pokémon Go благодаря фильтрам Snapchat. Snap обладает талантом собрать убедительную команду AR, и у него есть чувство моды, которое понимает, как сделать что-то крутое, модное и носимое, но сейчас это все еще просто компания по производству камер и подающая надежды социальная сеть.Snap будет сложно превратить AR в полноценный образ жизни. Кроме того, Apple и Snap на данный момент дружны: Apple объявила о сотрудничестве с Snap в создании новых высококачественных фильтров для iPhone X.

Facebook Марка Цукерберга не скрывает того факта, что работает над смарт-очками AR. У Facebook есть социальные сети и платформы обмена сообщениями, чтобы сделать платформу дополненной реальности привлекательной, но набеги Facebook на оборудование не были такими уж хорошими — за исключением Oculus, которую он купил.

И, наконец, Magic Leap. Таинственный стартап из Флориды разрабатывает то, что кажется законченным AR-решением, а генеральный директор Рони Абовиц назвал его «операционной системой для реальности». Бейонсе не впечатлила, но многие другие люди были впечатлены, и только с учетом чистых технологий и потенциала трудно сосчитать Magic Leap в шумихе AR. Но, что ж, Magic Leap — это просто хорошо финансируемый стартап, который еще ничего не выпустил.

Apple, пожалуй, лучше всех может продвигать AR вперед.У него есть экосистема, у него есть опыт работы с оборудованием, он ориентирован на потребителей и знает, как создавать захватывающие аппаратные продукты, которые люди хотят носить (привет, AirPods и Apple Watch). Но проблема Apple в том, что она тоже движется медленно.

Будущее ARKit

Во время своего мероприятия iPhone X Apple постоянно ссылалась на то, как камеры в iPhone 8 и iPhone X были откалиброваны для AR. Дополненная реальность была в голове у Apple, когда они создавали эти телефоны, что очевидно, когда вы понимаете, что Apple работает над очками AR.

Игра здесь проста. Apple использует свою гигантскую аудиторию iPhone для создания самой большой экосистемы AR в мире, и когда все будет готово — когда появятся игры, приложения для повышения производительности и множество отличных возможностей AR — аппаратному обеспечению не нужно беспокоиться о полезности.

Будущее AR находится прямо перед нашими лицами, а не в металлических плитах в наших руках, и будущее ARKit поддерживает этот опыт. Другое дело, когда ARKit станет основой этого опыта, поскольку Apple в настоящее время испытывает проблемы с поиском привлекательного приложения AR для смарт-очков.

Когда и как

ARKit дебютирует с выходом iOS 11 19 сентября. Требование для запуска ARKit на iOS 11 простое: вам нужно устройство iOS с как минимум чипом A9, работающим в его основе.

Итак, если у вас iPhone 6S или новее, iPhone SE, iPad Pro (любого размера) или iPad 2017 года, то все в порядке. Вы получите место в первом ряду для построения будущей экосистемы смарт-стекла Apple.

---

Что такое ARKit 3 и почему это революционная технология AR?

ARKit был впервые представлен в 2017 году как набор инструментов, позволяющих разработчикам легко создавать приложения AR.Читайте дальше, чтобы узнать, о чем ARKit 3, чем он отличается от своих предыдущих версий и какую ценность он может принести бизнесу.

Что нового в ARKit 3?

Вот как работает ARKit 3. Используя компьютерное зрение, инструменты могут понять положение людей в конкретной сцене. Зная, где находится человек, система может точно составить виртуальные объекты относительно реальных людей в сцене. Эти объекты могут отображаться спереди или сзади этого человека.Все зависит от того, что ближе к камере.

Чем ARKit 3 отличается от предыдущих версий?

В предыдущих версиях ARKit виртуальные объекты отображались «поверх» человека в сцене, независимо от того, насколько близко они были к камере. Это могло привести к разрушению иллюзии дополненной реальности, часто показывающей противоречивые сигналы глубины.

Зная, где находится человек в сцене и как он движется, ARKit 3 может отслеживать виртуальную версию тела человека, а затем использовать ее в качестве входных данных для приложения AR.Этот тип возможностей отслеживания тела также может использоваться для преобразования движений пользователя в анимацию аватара или для обеспечения взаимодействия с объектами в сцене.

Вот отличный пример удивительных вещей, которые разработчики могут создавать с помощью ARKit 3:

ARKit — ключевые преимущества

Инновационный подход к окклюзии людей

ARKit 3 предлагает разработчикам новый способ сделать их более реалистичными опыт для пользователей.Контент AR может реально проходить позади и впереди пользователей в реальном мире. В результате опыт AR становится более захватывающим. Вдобавок ко всему, ARKit позволяет добавлять эффекты в стиле зеленого экрана практически в любую среду.

Вот пример того, как работает окклюзия людей:

Новые способы захвата движения

Что такое захват движения? Он предлагает разработчикам способ использовать движение и положение пользователя в реальном времени в качестве входных данных для создания опыта дополненной реальности.Вот как это работает: ARKit 3 может фиксировать движение человека в реальном времени с помощью одной камеры. Он может понимать положение и движение тела как последовательность костей и суставов, поэтому он может использовать как движения, так и позы в качестве входных данных для опыта AR. В целом, ARKit 3 ставит пользователей в центр AR.

Одновременное использование передней и задней камеры

Теперь разработчики могут использовать отслеживание лица и мира с помощью передней и задней камер. Таким образом, пользователи могут взаимодействовать с контентом AR в режиме просмотра задней камеры и использовать только свое лицо.

Совместные сеансы

Еще одна новая функция ARKit 3, которая делает его незаменимым для разработчиков, стремящихся создать незабываемые впечатления от дополненной реальности. Живые совместные сеансы между несколькими людьми позволяют построить совместную карту мира, которая ускоряет процесс разработки опыта дополненной реальности. Это также позволяет пользователям наслаждаться общими возможностями AR — например, многопользовательскими играми.

Apple продемонстрировала эту функцию в демоверсии Minecraft Earth на сцене, обязательно посмотрите ее!

Помимо этих функций, ARKit 3 предлагает другие улучшения, например, обнаружение до 100 изображений за раз, обнаружение самолетов с помощью машинного обучения, улучшенное обнаружение 3D-объектов и многое другое.

Что дальше?

Вместе с ARKit 3 Apple также объявила о выпуске RealityKit и Reality Composer. Эти инструменты были разработаны, чтобы помочь разработчикам легко создавать насыщенные и увлекательные возможности дополненной реальности.

Таким образом, хотя может показаться, что реальных реализаций AR немного, но эти новые инструменты в скором времени обязательно сделают AR более доступным и широко распространенным.

Свяжитесь с нами, если вы ищете компанию по разработке приложений дополненной реальности для создания фантастического приложения AR для iOS.