Как пользоваться arkit – Как Яндекс создавал дополненную реальность в Картах для iOS. Опыт использования ARKit / Яндекс corporate blog / Habr

6 приложений для iOS 11, ярко демонстрирующих возможности дополненной реальности

Одной из главных особенностей iOS 11 является ARKit — комплект средств разработки, с помощью которого можно создавать приложения с поддержкой дополненной реальности. Несмотря на то, что технология была анонсирована ещё несколько месяцев назад, в App Store таких приложений до сих пор мало, но всё же они есть.

Все эти программы можно опробовать на iPad Pro и iPad 2017 года, iPhone 6s и 6s Plus, iPhone 7 и 7 Plus, а также на iPhone SE.

1. World Brush

techcrunch.com

Приложение позволяет рисовать на реальных поверхностях, будь то стены, трава или даже небо. Программа напоминает Tilt Brush от Google, предназначенное для виртуальной реальности. То, что вы рисуете в World Brush, видно всем другим пользователям. Им достаточно запустить приложение и навести камеру на нужное место.

Цена: Бесплатно

2. Edmunds

techcrunch.com

Основное назначение приложения — покупка и продажа новых и подержанных автомобилей. Но с выходом iOS 11 в нём появилась полезная функция, которая позволяет разместить перед собой машину в её реальном размере. Так вы можете определить, поместится ли тот или иной автомобиль у вас в гараже. В Edmunds доступны тысячи различных вариантов форм и размеров транспортных средств.

3. Stack AR

techcrunch.com

Простая игра, в которой вы выбираете поверхность и начинаете складывать на ней блоки. Stack AR имеет приятный внешний вид и не требует много времени. Идеальный вариант, чтобы показать другу возможности дополненной реальности.

Цена: Бесплатно

4. Thomas & Friends Minis

techcrunch.com

Единственное приложение, которое Apple на данный момент продвигает в App Store как продукт с поддержкой дополненной реальности. В игре вы создаёте маршруты, по которым должен разъезжать Паровозик Томас. Если включить режим AR, то маршрут можно будет разместить прямо на ковре или столе у себя дома. Отличный способ продемонстрировать детям потенциал технологии.

Цена: Бесплатно

5. Housecraft

techcrunch.com

Через программу можно увидеть, как будет смотреться тот или иной предмет мебели у вас дома. Каталог Housecraft достаточно обширен: в нём можно отыскать не только традиционные столы и стулья, но даже вазоны. При этом вы можете подстраивать параметры мебели вроде ширины и длины.

Цена: Бесплатно

6. AR MeasureKit

 

Приложение представляет собой набор измерительных приборов дополненной реальности. Через AR MeasureKit можно измерить длину, траекторию, расстояние до точки, угол между объектами и даже рост человека. Удивительно, но программа работает очень точно и во многих случаях действительно способна заменить рулетку и другие инструменты.

Что нового в ARKit 2.0 / FunCorp corporate blog / Habr

Прошло две недели после окончания конференции WWDC. Сессии отсмотрены, документация перечитана, демо проекты сделаны, а значит, можно оформить всю собранную информацию в статью.

В первой версии ARKit была возможность отслеживать перемещение телефона в пространстве, определять количество и теплоту света вокруг, а также получать информацию о горизонтальных плоскостях. В ARKit 1.5, который вышел вместе с iOS 11.3, улучшили качество изображения, добавили определение вертикальных плоскостей, распознавание статичных 2D-изображений и автофокус. Давайте посмотрим, что добавили в версии 2.0.

Нам дали возможность сохранять карту окружения вместе с расставленными объектами дополненной реальности. Имея карту, можно инициализировать с помощью неё AR-сессию, после чего ранее расставленные объекты появятся в нужных местах. Сохранённую карту также можно передать на сервер и использовать на других устройствах.

Реализовано это так: у ARSession появился метод getCurrentWorldMapWithCompletionHandler, который возвращает ARWorldMap. Внутри этого объекта хранится информация об опорных точках, с помощью которых ARKit может восстановить нулевую координату сцены, а также массив ARAnchors, к которым могут быть привязаны объекты. ARWorldMap можно сохранить или отправить куда-нибудь. Для восстановления карты нужно передать её в поле

initialWorldMap у ARSessionConfiguration перед запуском сессии. После запуска статус сессии перейдёт в состояние .limited с причиной .relocalizing. Как только ARKit соберёт достаточное количество точек для восстановления, нулевая координата будет выставлена в правильное положение и статус сессии перейдёт в состояние .normal.

Для лучшей работы Apple советует следующее:

• сканируйте сцену с разных сторон. Массив точек будет больше и точнее;
• окружение должно быть статическим и хорошо текстурированным;
• массив точек должен быть достаточно плотным.

Самостоятельно следить за этими параметрами не нужно, так как теперь у ARFrame есть поле worldMappingStatus. Но нужно их учитывать при проектировании приложения.

Механизм сохранения карты окружения позволил синхронизировать систему координат между несколькими устройствами. Зная положение каждого из устройств относительно карты окружения, можно построить многопользовательские сценарии.

На презентации была показана игра SwiftShot, в которой нужно стрелять из своих рогаток по рогаткам соперника.

Игра написана на Swift + SceneKit. Синхронизация действий пользователей происходит с помощью фреймворка MultipeerConnectivity. Исходники приложения можно скачать по ссылке.

Добавляя металлический объект виртуальной реальности на сцену, хотелось бы увидеть в нём отражение объектов реального мира. Для этого у ARWorldTrackingConfiguration появилось поле environmentTexturing. Если вы в качестве движка используете SceneKit и выставите поле environmentTexturing в .automatic, вы получите вот такой результат:

Получая изображение с камеры, ARKit строит кубическую карту с текстурой окружающей среды. Информация, которая не попала в кадр, генерируется с помощью алгоритмов машинного обучения.

В ARKit 1.5 появилось отслеживание только статичных изображений. Во второй версии ограничение снято, и теперь можно получать координаты перемещающихся изображений. Подобный функционал раньше предоставлял SDK Vuforia. На презентации в качестве примера использования показали замену фото на видео в фоторамке:

Для лучшего трекинга нужно использовать контрастные, хорошо текстурированные изображения с отчётливыми признаками. Xcode выдаст предупреждение, если это требование не соблюдается.

Для отслеживания изображений нужно использовать ARImageTrackingConfiguration. В конфигурацию передаётся массив trackingImages и выставляется maximumNumberOfTrackedImages. Координаты изображения будут возвращены в виде ARImageAnchor.

Также добавили поддержку распознавания статичных 3D-объектов. Перед распознаванием объект нужно отсканировать. Сделать это можно с помощью приложения от Apple. Объект сканирования должен быть монолитным, матовым и хорошо текстурированным.

Для отслеживания объектов нужно создать ARReferenceObject из файла или каталога ресурсов и добавить его к ARWorldTrackingConfiguration.detectionObjects. Информацию об объектах вы будете получать в ARFrame.

В качестве примера на презентации показали отображение информации о статуэтке в музее в дополненной реальности.

В предыдущих версиях можно было получать координаты и поворот лица, полигональную сетку лица и массив блендшейпов (51 эмоция с прогрессом от нуля до единицы). Во второй версии мы увидим три новшества:

определение направленного света.

ARKit 2 использует изображение лица как источник информации о свете. С его помощью можно определить интенсивность, температуру и направление света. Это позволит сделать маски более реалистичными;

отслеживание языка.

К блендшейпам добавили tongueOut, который показывает [0,1] степень «высуности» языка. От себя могу добавить, что пробовали показать язык практически все мои знакомые, которым я давал поиграться с animoji;

отслеживание взгляда.

У ARFaceAnchor появились три новых поля: leftEyeTransform, rightEyeTransform и lookAtPoint. В интернете уже есть демки с примерами использования:

• ускорились инициализация и определение плоскостей;
• стало точнее отслеживание телефона в пространстве и определение плоскостей;
• улучшилась точность определения границ плоскостей при расширении плоскости;
• добавлена поддержка соотношения сторон 4:3 (теперь этот формат будет выбран по умолчанию).

Все улучшения, кроме перехода на соотношение сторон 4:3, будут применены к вашим приложениям автоматически. Для последнего нужно пересобрать приложение с новым SDK.

---

Если для вас информация была полезной, поддержите меня стрелкой вверх. А на вопросы я готов ответить в комментариях.

Лучшие приложения ARKit в App Store

С запуском новой операционной системы iOS 11 от Apple компания превратила сотни миллионов iPhone по всему миру в усовершенствованные устройства, совместимые с дополненной реальностью, благодаря добавлению поддержки новой платформы ARKit. С помощью этой технологии разработчики iOS могут достаточно легко реализовывать самые разные возможности в дополненной реальности для пользователей на совместимых iPhone и iPad, используя встроенные камеры устройств, процессоры и датчики движения внутри каждого устройства. А мы получили доступ к огромному количеству отличных и полезных приложений. И лучшие приложения мы готовы отметить уже сейчас. 

На данный момент первая волна этих приложений доступна для загрузки и тестирования в App Store для iOS 11. Эти приложения представлены в самых разных категориях. Они варьируются от игровых обновлений до практических повседневных инструментов – среди них можно даже найти приложения, которые способствуют более здоровому образу жизни, которые готовы предоставить более утонченные впечатления по сравнению со всеми остальными программами.

Обратите внимание, что для использования приложений с поддержкой ARKit на iOS 11 у вас должно быть устройство с iOS и процессором A9, A10 или A11. Это означает, что приложения ARKit можно запускать на iPhone 6s, iPhone 6s+, iPhone 7, iPhone 7+, iPhone SE, iPhone 8, iPhone 8+ и iPhone X. В случае с линейкой iPad вы можете использовать 9,7-дюймовый iPad, 10,5-дюймовый и 12,9-дюймовый iPad Pro. Более старая 9,7-дюймовая модель iPad Pro также совместима с платформой.

Игры

Splitter Critters ($2,99)

О чём: Вам нужно использовать свайпы пальцами, чтобы внутри красочного пейзажа направлять инопланетных тварей обратно на их космический корабль, избегать врагов и решать головоломки в процессе игры.

Как реализовано добавление дополненной реальности: Требуется сканировать плоскую поверхность, а затем поместить полностью воспроизводимую версию игры в реальный мир, размещенный в маленькой белой виртуальной коробке.

Warhammer 40,000: Freeblade (бесплатно)

О чём: Вам нужно управлять боевой машиной Имперского рыцаря во вселенной Warhammer 40 000 и сражаться со злыми силами Хаоса в рамках 170 одиночных миссий с использованием пушек, ракет и взрывов. Всё это для того, чтобы победить врагов, которые повсюду.

Как реализовано добавление дополненной реальности: Можно поместить своего Имперского рыцаря из основной версии игры в дополненную реальность с помощью Photo Mode, который позволяет сделать снимки боевой машины в реальном мире.

Egg, Inc. (бесплатно)

О чём: Игра-симулятор фермы, ориентированная на то, чтобы следить за тем, как откладываются курами яйца, строить курятники, нанимать водителей и исследовать передовые технологии для модернизации вашей фермы.

Как реализовано добавление дополненной реальности: Можно смотреть на свою ферму в дополненной реальности с режимом съемки Farm To Table.

Thomas&Friends Minis (бесплатно)

О чём: Можно создавать, украшать, рисовать и строить полные комплекты поездов, а затем управлять персонажами Thomas&Friends в момент, когда они на них едут.

Как реализовано добавление дополненной реальности: Можно перенести все свои творения в реальный мир с помощью AR-режима приложения, который помещает ваш поезд на плоскую поверхность, где вы можете увеличивать и уменьшать масштаб, сохраняя при этом возможность взаимодействовать с различными инструментами и персонажами.

Полезные инструменты

Overstock.com (бесплатно)

О чём: Основное приложение для популярного интернет-магазина, которое позволяет вам совершать покупки: например, мебель, ковры, предметы домашнего декора и многое другое.

Как реализовано добавление дополненной реальности: Можно поместить настоящие 3D-модели тысяч продуктов Overstock прямо в ваш дом, что поможет убедиться в том, что цвет, размер и дизайн нового предмета соответствуют вашей комнате. Кроме того, вы можете обмениваться фотографиями виртуальных моделей в сообщениях или социальных сетях, добавлять элемент Overstock в свою корзину и даже оплачивать его с помощью Apple Pay – и всё это без выхода из режима дополненной реальности.

PLNAR (бесплатно)

О чём: Полноценный AR-опыт PLNAR позволяет вам создать макет дома, используя дополненную реальность. Приложение, как утверждают его создатели, будет полезно для повседневных нужд домовладельцев, а также для компаний, занимающихся строительством, страховых агентов, дизайнеров интерьеров и профессионалов по ремонту дома.

Как реализовано добавление дополненной реальности: Необходимо использовать камеру iPhone для быстрого измерения площади и периметра комнаты, направляя курсор вдоль краев и углов пола. Можно отметить дверные проемы и даже использовать инструменты приложения для измерения других объектов, таких как рабочие поверхности и столы (и любые другие плоские поверхности), а затем сохранить все эти данные в пользовательских проектах.

Edmunds (бесплатно)

О чём: Магазин для новых и подержанных автомобилей с обширной базой.

Как реализовано добавление дополненной реальности: Можно представить свою потенциальную будущую покупку автомобиля, разместив автомобиль в своём гараже или парковочном месте, что, по словам разработчиков, поможет убедиться, что автомобиль будет соответствовать тому месту по размерам, где вы собираетесь его припарковывать.

Cubit ($0,99)

О чём: Приложение для измерения Cubit предоставляет вам доступ к функциям, таким как линейки и целый ящик с инструментами. Ассортимент инструментов может быть обновлён в будущих версиях программы.

Как реализовано добавление дополненной реальности: Можно измерять расстояние между объектами в реальной жизни с помощью инструмента линейки и визуализировать размер цифровых объектов с помощью инструментов.

Стиль жизни

Fitness AR ($2,99)

О чём: Новое приложение Fitness AR синхронизируется со Strava, давая тем самым доступ к новым способам отслеживания вашего состояния во время ваших тренировок, пробежек, велосипедных прогулок и так далее.

Как реализовано добавление дополненной реальности: С помощью Fitness AR вы можете подключить свой аккаунт Strava для отслеживания пройденных вами маршрутов во время пешеходного, велосипедного или бегущего режимов, которые можно просмотреть в дополненной реальности на трёхмерной карте местности. Для вдохновения есть также галерея поездок и пробежек, которые вы можете исследовать и увидеть в различных местах по всему миру.

Night Sky 5 (бесплатно, премиум-функции – $1,99 в месяц или $9,99 в год)

О чём: Night Sky 5 – это «персональный планетарий», позволяющий идентифицировать звезды, планеты, созвездия и спутники с помощью устройства.

Как реализовано добавление дополненной реальности: С iOS 11 приложение улучшило существующие возможности дополненной реальности с новой премиальной функцией Grand Orrery («Большой планетарий»), требующей подписки. Этот режим привносит Солнечную систему в ваш дом, благодаря чему вы можете обойти её со всех сторон, увеличить масштаб и посмотреть на отдельные планеты, увидеть текущие космические миссии внутри системы и многое другое.

Другие хорошие приложения

Теперь постоянно растёт число приложений ARKit, появившихся в App Store уже через несколько часов после запуска iOS 11. Среди них можно обратить внимание на следующие:

• RoomScan Pro ($0,99)
• Pcalc ($ 9.99)
• Carrot Weather ($3,99)
• Human Anatomy Atlas 2018 ($0,99)
• Euclidean Lands ($3,99)
• Flat Pack (бесплатно)
• Kings of Pool (бесплатно)
• MeasureKit (бесплатно, расширенный набор инструментов – за $2,99)
• Quartz (бесплатно)
• Houzz (бесплатно)

Ожидаемые приложения

Приложения с дополненной реальностью будут продолжать занимать большой сегмент магазина приложений для iOS. Кроме того, основные приложения, которые ранее были отмечены самой Apple, пока ещё не были запущены. Потому мы рекомендуем периодически заглядывать в галерею приложений и проверять её на наличие новинок, которые теперь должны появляться всё чаще.

 

Вконтакте

Facebook

Twitter

Руководство ARKit: поддерживаемые устройства IOS

Не получили iPhone X на Рождество? Вы все еще можете использовать ARKit на этих устройствах iOS.

Технология ARKit от Apple оказалась очень популярной среди разработчиков. На платформу постоянно добавляются новые видеоигры в расширенной реальности и приложения практически каждый день. Однако для запуска ARKit требуется iOS 11, и даже тогда высокая производительность AR-технологии не гарантируется. Groove Jones создала инфографику, которая поможет вам определить, способно ли ваше устройство использовать новую платформу дополненной реальности или нет.

Технология ARKit была первоначально анонсирована еще в июне этого года, при поддержке Unreal Engine 4, Unity 2017 и UrhoSharp, запущенных в последующие месяцы. С тех пор мы увидели ряд высококлассных разработчиков, которые представили AR-игры, такие как недавно выпущенный Dream Dragon для Real Reality Interactive, а также обновили ряд существующих видеоигр. В том числе чрезвычайно успешный Pokemon Go от Niantic.

Разумеется, ARKit выходит за рамки видеоигр, при этом тематика приложений достаточно обширна. Они охватывают все: от архитектуры, до детских развлечений. А есть и такие разработчики, которые решили воссоздать первый уровень культовой игры Super Mario Bros. в AR с помощью технологии.

Инфографика совместимости с ARKit

Простор и глубина опыта, который разработчики могут создать с помощью ARKit, выходят за рамки воображения. Однако программное обеспечение ничего не значит, если конечный пользователь не может получить доступ к оборудованию, которое его поддерживает. Ниже представлена ​​инфографика, разработанная Groove Jones, которая призвана помочь вам узнать, какие устройства iOS подходят для использования с видеоиграми на базе ARKit.

 

Несомненно, что гораздо больше телефонов будут поддерживать ARKit в будущем. Apple открыто заявила, что разработчики поддерживают эту платформу очень активно, и поэтому она, вероятно, станет основой платформы iOS.

Вконтакте

Facebook

Twitter

Как Apple дополняет нашу реальность и превращает AR в массовый продукт

Прямо сейчас в сети проходит первый онлайн-конкурс развлекательных проектов с дополненной реальностью ARKit Hack. Состав поговорил о технологии ARKit с экспертом по AR/VR и руководителем компании VORTEX.PICTURES Евгением Борисовым и сооснователем и руководителем AVRA. AR/VR Ассоциации Екатериной Филатовой.

Что это вообще такое?

Дополненная реальность, в отличие от виртуальной, не блокирует полностью поле зрение пользователя и не переносит его в некое другое пространство, а дополняет существующий мир смоделированными трехмерными элементами. Таким образом, обычный мир наполняется несуществующим контентом и в перспективе может превратиться в кадры из фантастических фильмов.

Вообще, дополненная реальность (AR, Augmented Reality) — вещь совершенно не новая. Первые примеры появились на рынке в тот момент, когда разработчикам стала доступна возможность взаимодействовать с камерой смартфона. Тогда и возникли маркеры — специальные изображения, которые легко распознать среди окружающих предметов, отслеживать их перемещение в поле зрения камеры и привязывать к этим маркерам несуществующие предметы, дополняя, таким образом, изображение.

Однако, у этой технологии есть огромный недостаток — как только маркер перестает корректно распознаваться приложением или же пропадает из поля зрения камеры, все дополнительные элементы изображения, например, замечательные ушки в Instagram, тоже пропадают.

Маски в Instagram — пример дополненной реальности, где в роли маркера выступает лицо человека: глаза, нос и рот.

Что нового сделала компания APPLE?

Говоря простым языком, взяла множество технических проблем на себя, предоставив разработчикам удобные инструменты для создания интересного контента с дополненной реальностью. Этот набор инструментов (или, как говорят разработчики, фреймворк) под названием ARKit станет доступен осенью вместе с обновлением iOS 11 и будет работать на iPhone SE, iPhone 6S, iPhone 6S+, iPhone 7, iPhone 7+, iPad Pro всех моделей и iPad 2017 года.

Применение ARKit

Поскольку фреймворк был анонсирован всего лишь пару месяцев назад, о каких-то готовых продуктах с использованием технологии говорить ещё рано. Однако, благодаря простоте использования разработчики уже сделали множество тестовых прототипов, которые позволяют оценить перспективы технологии и спрогнозировать возможные сферы практического применения ARKtit.

1. Игры и развлечения

• Стратегии и различные “симуляторы бога”, позволяющие играть на столе или на полу, приближаясь максимально близко к действиям или наоборот, удаляться и наблюдать за максимально большими пространствами.
• Аркадные игры, позволяющие сражаться с несуществующими врагами в реальном мире.
• Простые “таймкилеры” вроде офисного баскетбола.
• Зарождается новый большой жанр – «порталы” в другие миры, открывающие новые возможности как для игрового процесса, так и для показа панорамного видео в формате 360, включая спортивные трансляции.
• Возможность детально рассмотреть предметы со всех сторон, например, побывать в доме-музее Ван Гога, расположив его прямо на вашем столе.
• Возможность обучения танцам, а также любые инструкции, связанные с перемещением в пространстве.

2. Строительство и дизайн интерьеров

• Возможность спроектировать дом, а затем прийти на реальное место строительства и “походить” по нему, представив, как будет выглядеть этот проект в будущем.
• Для проектирования внутреннего пространства помещений может использоваться приложение, позволяющее выбрать мебель из каталога и расположить ее в реальном пространстве.
• Кроме того, благодаря точности измерения инструментами ARkit появляется возможность быстро делать замеры и создавать планы помещений, просто отмечая ключевые точки на экране телефона.

3. Демонстрации продуктов

4. Навигация

• Эту функцию можно будет использовать по максимуму только после того, как она будет встроена в полноценную базу карт Apple или Google Maps. Однако, представить будущую навигацию по городу можно уже сейчас.
• Аналогично может быть реализована навигация с инфографикой внутри помещений, например, музеев.
• Кроме того, благодаря технологиям распознавания изображений и очень точной привязке объектов к предметам реального мира, ARKit предоставит возможность слабовидящим более свободно перемещаться в реальном мире и взаимодействовать с предметами.

Применений ARKit может быть очень много. На данный момент даже сложно представить все функции данной технологии. Иногда это просто круто, например, с помощью всё тех же инструментов можно не только добавлять предметы в реальный мир, но и наоборот, скрывать их.

ОК, это круто, скажете вы и спросите, почему ARKit должен «взлететь»?

Все помнят громкий проект Google Glass, который так и не состоялся, как устройство для широкого круга пользователей (при этом стоит отметить, что в настоящее время Google Glass отлично применяется в B2B-секторе). Другое устройство смешанной реальности, Microsoft HoloLens, существует исключительно в версии Developer Kit (только для разработчиков). Что же может предложить рынку компания Apple? Ответ ниже.

• Огромная база пользователей iPhone и iPad, которым не нужно покупать дополнительные устройства, чтобы воспользоваться технологией. По подсчётам Artillry.co, в мире уже сейчас насчитывается около 380 млн. iPhone, поддерживающих технологию ARKit, а к концу 2017 года их количество увеличится до 505 млн. — это 65% от общего числа iPhone в мире. Если учесть, что ARKit поддерживает и iPad — это ещё дополнительно более 32 млн. устройств у пользователей к концу 2017 года.
  
• Очень лояльное сообщество разработчиков и понятные инструменты монетизации приложений в рамках магазина приложений AppStore.
  
• Ещё один важный и, возможно, недооцененный момент. Большинство людей не хотят надевать на лицо ничего лишнего без крайней необходимости. Вероятно, именно необходимостью использовать очки объясняется тенденция значительного снижения интереса к 3D-кино.

  Существующие технологии для просмотра виртуальной и дополненной реальности требуют от пользователя надевать на лицо специальное устройство, но не предлагают достаточно широкого ассортимента приложений. Как следствие, после первого знакомства и угасания wow-эфекта потребители уже не очень хотят использовать неудобные и странно выглядящие шлемы.

  Открывая возможности дополненной реальности для более традиционных устройств, компания Apple дает возможность рынку создать экосистему приложений (как игр, так и бизнес-решений), которые позволят пользователям понять, зачем вообще им нужна AR. И тогда через пару лет компания Apple, используя опыт работы с fashion-индустрией (полученный с помощью Apple Watch), сможет выпустить на рынок специальные очки и убедить нас, что это круто.

Мы спросили у представителя инвестиционного сообщества о том, ставят ли ставку на AR-технологии и ждут ли проекты с ARKit успех.

Виктор Захарченко, управляющий партнер FunCubator: “Мы видим 3 основные причины того, что именно ARKit даст мощнейший толчок для всей индустрии Augmented Reality.

Первое — это доступность. Ожидается огромное количество мощных устройств, совместимых с Kit’ом. Суровая статистика показывает, что пользователи девайсов на iOS обновляются до последней прошивки практически мгновенно, в отличие от адептов Android. Так что уже осенью сотни миллионов устройств будут работать с AR «из коробки».

Второе — это контроль. Apple упорно создает замкнутую экосистему. Пока идут разговоры о том, что надо быть более открытым, компания из Купертино держит в руках контроль над software и hardware своих продуктов. Уже сейчас в версии для разработчиков, ARKit работает вполне сносно. Уверены, что на следующем поколении устройств все будет работать близко к идеалу. Важным является еще одно отличие от экосистемы Android — крайне низкая фрагментация «зоопарка» девайсов.

И третье – экосистема. У Apple сильное комьюнити разработчиков, замотивированные огромным количеством хорошо платящих iOS-пользователей. Учитывая, что компания фактически декларировала свой акцент на AR, разработчикам обеспечена поддержка. Даже к самому скептически настроенному к дополненной реальности обывателю с n-ой попытки m-ого разработчика будет найден ключ».Если вспомнить 2007 год, то iPhone был далеко не первым существующим смартфоном на рынке, но только он сумел оказаться первым устройством, ставшим одним из самых важных инструментов в повседневной жизни каждого человека. Именно поэтому IT-индустрия так внимательно следит за развитием ARKit и прогнозирует, что именно “магия Apple” сумеет превратить новую технологию в массовый продукт, который сможет стать THE NEXT BIG THING после смартфонов.

Все показанные в статье примеры являются собственностью разработчиков.

Apple представляет миру ARKit 3 с массой новых функций

Как и прогнозировалось, на ежегодной конференции разработчиков WWDC компания Apple представила ARKit 3. Это новейший набор инструментов для разработки AR приложений для iOS. Он предлагает отслеживание тела людей, а также окклюзию в режиме реального времени. Компания также представила Reality Composer и RealityKit, которые облегчат разработчикам создание приложений дополненной реальности.

ARKit  изначально предлагал трекинг на основе компьютерного зрения, который позволяет современным iOS устройствам отслеживать их местоположение в пространстве. Также он дает возможность обнаруживать плоскости, которые можно использовать для размещения виртуальных объектов. Благодаря ARKit 3 система теперь поддерживает захват движения и окклюзию людей.

Окклюзия человека и отслеживание тела

Используя компьютерное зрение, ARKit 3 считывает положение людей на сцене. Знание того, где находится человек, позволяет системе правильно размещать виртуальные объекты по отношению к реальным людям. Система визуализирует объекты перед человеком или позади него, в зависимости от того, кто находится ближе к камере.

В предыдущих версиях ARKit виртуальные объекты всегда отображались «поверх» кого-либо, независимо от того, насколько близко они были к камере. Это выглядело нереалистично и разрушало иллюзию дополненной реальности.

Аналогичная технология используется в ARKit 3 для отслеживания тела в реальном времени. Зная, где на сцене находятся люди, и как движется их тело, ARKit 3 отслеживает виртуальную версию тела этого человека. Она, в свою очередь, может использоваться в качестве набора данных для AR приложения. Отслеживание тела может использоваться для интерпретации движений пользователя в анимацию аватара или для взаимодействия с объектами.

Из демонстрационных видеозаписей Apple видно, что на данном этапе технология выглядит довольно грубо. Даже при незначительном смещении камеры аватар сдвигается, небольшие движения ног пользователя отслеживаются не очень хорошо, иногда аватар не совсем точно интерпретирует движение пользователя. И это при том, что в демонстрационном видеоролике пользователь специально совершал лишь самые удобные для «захвата» действия.

На данный момент это может быть полезной функцией для самых простых AR приложений. Но есть надежда, что со временем технология улучшится и станет более точной. Более сложная система должна включать как ввод данных о движении, так и физику для создания более реалистичной, процедурно сгенерированной анимации.

И окклюзия человека, и отслеживание тела будут важны для будущих технологий сферы дополненной реальности, особенно для смарт-очков, которые «всегда включены» и постоянно имеют дело с окклюзиями. Это активная область исследований и разработок для многих компаний. Apple, скорее всего, развернет эти функции уже сейчас, чтобы оттачивать их до ожидаемого дебюта своей новой AR гарнитуры.

RealityKit

С ARKit 3 компания также представила инструмент RealityKit, который призван облегчить разработчикам создание AR приложений на iOS.

Создание AR приложений требует глубокого понимания основ разработки 3D приложений, инструментов и рабочих процессов. Многие из iOS разработчиков (которые обычно создают «плоские» приложения) вряд ли имеют большой опыт работы с такими функциями. Apple пытается облегчить для них переход на новые технологии (например, AR).

Судя по описанию от Apple, RealityKit − миниатюрный игровой движок, который предлагает «фотореалистичный рендеринг, эффекты камеры, анимацию, физику и многое другое». Он, видимо, призван заменить использование инструментов игровых движков, таких как Unity или Unreal Engine.

С RealityKit Apple также обещает высококачественный рендеринг. Он позволит виртуальным объектам максимально убедительно объединяться с реальным миром, накладывая на них эффекты, как если бы они были действительно запечатлены через камеру: тени, отражения, размытость и т.д.

RealityKit использует Swift API и поддерживает создание многопользовательских AR опытов на iOS.

Reality Composer

Как и RealityKit, Reality Composer призван облегчить работу разработчиков, не имеющих опыта с игровыми движками и активами. Apple утверждает, что Reality Composer предлагает готовую библиотеку 3D моделей и анимаций. Их можно с легкостью перетаскивать и создавать простой AR контент, который затем можно интегрировать в приложения с помощью Xcode или экспортировать в AR Quick Look.

Помимо встроенной библиотеки объектов, Reality Composer также позволяет импортировать 3D файлы в формате USDZ и предлагает пространственное аудио решение.

Cкопировано из сайта vr-j.ruПодписывайтесь на наш Telegram Источник https://www.roadtovr.com/ios-arkit-3-body-tracking-motion-capture-human-occlusion/ Поделитесь с друзьями: