Как работает arkit: ARKit | Apple Developer Documentation – Дополненная реальность – Apple (RU)
Что такое ARCore? Всё, что вам нужно знать / Habr
Дополненная реальность (англ. Augmented Reality, AR)) прошла долгий путь от концепции научной фантастики до чего-то более реалистичного. В последнее время стоимость AR-разработки резко снизилась, и сегодня она доступна даже на обычном смартфоне.
И Apple, и Google вкладывают внушительные средства в развитие дополненной реальности, о чём свидетельствует разработка ARkit (от Apple) и ARCore (от Google). Эти новаторские технологии позволили работать с AR обычным разработчикам, что было совершенно немыслимо несколько лет назад.
Согласно этой статье на HackerNoon, к 2025 году объём дополненной и виртуальной реальности в индустрии здравоохранения составит около 5 миллиардов долларов. Кроме того, мощный скачок в использовании AR-технологий произойдёт в индустрии туризма, поскольку 84 % пользователей во всем мире будут заинтересованы в использовании AR во время путешествий.
Что это значит для вас как разработчика?
Когда AR обещает превратить мир вокруг нас в научно-фантастический фильм, для нас, разработчиков, это означает рост новой технической сферы с новыми возможностями трудоустройства и солидными зарплатами. Итак, сегодня мы погрузимся в мир хайпа дополненной реальности и выясним, что там происходит на самом деле и как можно начать AR-разработку.
Мы сосредоточимся на ARCore, платформе от Google для создания приложений дополненной реальности без необходимости углубленных знаний OpenGL, рендеринга и т.д.
Что такое ARCore?
Согласно Википедии, ARCore — это инструмент для разработки программного обеспечения, разработанный Google, который позволяет создавать приложения дополненной реальности.
ARCore использует три ключевые технологии для «внедрения» виртуального контента в реальную среду:
- Отслеживание движения: оно позволяет смартфону понять своё положение в реальном мире.
- Понимание окружающей среды: оно позволяет смартфону определять размер и местоположение всех типов поверхностей (вертикальных, горизонтальных и угловых).
- Оценка освещённости: это позволяет смартфону оценить текущие условия освещения окружающей среды.
Как работает ARCore?
Вы когда-нибудь задумывались, почему большинству приложений дополненной реальности требуется, чтобы вы поперемещали камеру по комнате для обнаружения поверхностей в ней? Это необходимо для того, чтобы приложение построило свой собственный виртуальный мир на основе физического. ARCore в этом плане ничем не отличается.
Когда вы перемещаете свой телефон, ARCore запоминает окружение и строит собственный мир, в котором он может размещать виртуальные объекты. Он также использует технологию отслеживания движения для определения того, как некоторые объекты движутся, учитывая движения вашей камеры.
Вот почему, когда вы размещаете виртуальный объект в своей комнате, выходите и возвращаетесь, объект всё ещё там. ARCore построил свой виртуальный мир, в котором он помнит, где находится каждая деталь.
Когда вы размещаете в этом пространстве объект, ARCore вычисляет его положение по отношению к другим объектам, а когда вы возвращаетесь в то же место, объект отображается снова.
Кто может использовать ARCore?
Прямо сейчас ARCore SDK доступен для:
- Android
- Android NDK
- Unity для Android
- Unity для iOS
- iOS
- Unreal
Этот список довольно исчерпывающий и покрывает нужды большинства разработчиков. У Google есть краткое руководство по началу работы с каждым из них.
ARCore для Android
Google позаботился обо всех Android-разработчиках, и не важно, используете вы Android SDK, Android NDK или Unity для разработки под Android. ARCore поддерживает их все.
В этом кратком руководстве показано, как настроить среду разработки, включить ARCore и запустить простое приложение. ARCore использует Sceneform SDK, который представляет собой 3D-фреймворк, который позволяет Java-разработчикам легко создавать приложения ARCore без OpenGL.
справка, история, презентация, полезные материалы
На этой неделе Apple сделала дополненную реальность важной частью операционной системы iOS. Её инструментарий для разработчиков ARKit обладает потенциалом по превращению сотен миллионов iPad и iPhone в основные устройства дополненной реальности в мире. Сразу несколько разработчиков поторопились представить свои ранние эксперименты с новым движком дополненной реальности.
Apple сумела объединить высокое качество трекинга и абсолютную массовость. Если вы любите красивые выражения о революциях в ИТ-секторе, то это редкий случай, когда они к месту.
Справка
Фреймворк ARKit использует визуальную инерциальную одометрию (ВИО) для отслеживания поверхностей, объектов и положения в окружающем мире. Через ВИО мобильное устройство сравнивает и объединяет данные камеры с информацией фреймворка Core Motion от акселерометра, гироскопа, шагомера и контекстуальных событий. Никакой дополнительной внешней калибровки не требуется.
С помощью ARKit iPhone и iPad могут анализировать сцену, представленную камерой, и находить вокруг горизонтальные плоскости, распознавая столы и полы, а также отслеживать и размещать объекты на них и относительно них. В основе фреймворка лежит SLAM-трекинг. ARKit также использует датчик камеры для оценки общего количества света, доступного в сцене, и корректирует освещение для виртуальных объектов.
На данный момент ARKit работает на процессорах Apple A9(X) и A10(X) и операционной системе iOS 11. Движок совместим с Xcode 9, Metal, SceneKit и сторонними инструментами Unity и Unreal Engine.
Презентация
История
Революция происходит только для широких масс, которым внезапно откроется дивный новый мир, и разработчиков, которым откроется новая аудитория. С точки зрения самих технологий, это годы вдумчивой эволюции и затратные поглощения других компаний, таких как Metaio, FlyBy Media и PrimeSense.
ARKit стал результатом примерно двух лет целенаправленной разработки. Ещё в 2015 году Apple создала команду по стратегическому планированию и разработке дополненной реальности под руководством бывшего директора по передовым технологиям Dolby Майка Роквелла (Mike Rockwell). Его фирма до этого отметилась инвестициями в Meta. В команду Роквелла вошли бывший директор Meta по разработке программного обеспечения Дункан Макробертс (Duncan McRoberts), бывший ведущий инженер проекта Amazon Lumberyard Коди Уайт (Cody White), дизайнер Apple Watch Флетчер Роткопф (Fletcher Rothkopf), бывший научный сотрудник Oculus Юрий Петров, а также разработчик Microsoft Hololens и Google Earth Ави Бар-Зив (Avi Bar-Zeev) и создатель аудиостандарта THX Томлинсон Хольман (Tomlinson Holman).
До релиза ARKit издание Bloomberg отмечало, что над дополненной реальностью в той или иной мере работали сотни инженеров Apple, в том числе участники команды iPhone, которые занимались использованием мобильных камер для 3D-сканирования и наложения цифровых объектов.
ARKit выпущен в процессе подготовки релиза iOS 11 и нового iPhone. Это значит, что в следующем поколении смартфона Apple сделает большую ставку на дополненную реальность. Важнейшей частью плана должна стать «безрамочность» устройства. Остальные производители так и не нашли ей практическое применение, оставив только эстетику. Но Apple уберёт рамки, чтобы они не мешали смотреть в новую реальность — дополненную. В ней исчезающий из поля зрения телефон является не целью, а настоящим окном для доступа к информации.
Полезно
После презентации движка Apple опубликовала ряд материалов и ссылок, которые будут полезны разработчикам:
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!
Далее: Apple выпустила первый Mac для виртуальной реальности
Поддержи Голографику на Patreon!
Apple представили ARKit: программный пакет для создания приложений дополненной реальности
Говоря по-простому, AR (augmented reality, она же «дополненная реальность») – это когда на экране вашего смартфона или планшета в картинке с камеры в реальном времени добавляются виртуальные объекты или персонажи. Эта технология применяется в навигации, играх, научных исследованиях, дизайне и много еще где. Помните Pokemon Go? Это и есть одна из самых широко известных реализаций технологии AR.
Не путайте AR с VR (virtual reality – «виртуальной реальностью»). В VR вы оказываетесь полностью в виртуальном мире, и для этого вам требуется целый набор устройств – как минимум камеры, способные создавать 360-градусные панорамы, и шлемы вроде Samsung Gear VR или HTC Vive. В то же время для AR будет достаточно смартфона или планшета со встроенной камерой.
В чем заключается революция Apple?
Компания сделала самое сложное – создала платформу, которая даст колоссальный толчок разработчикам AR-приложений для App Store. ARKit станет частью платформы Apple Developer, с помощью которой создается абсолютное большинство приложений для iOS. Так же пару лет назад HealthKit (объединивший приложения для здоровья и медицины) и HomeKit (приложения «умного» дома) помогли разработчикам соответствующего софта. Обычный пользователь у себя в смартфоне ARKit не увидит, а вот AR-приложений из App Store у него наверняка появится гораздо больше.
Почему это важно?
Потому что число AR-приложений увеличится и ситуаций, когда AR-программа на нашем смартфоне или планшете окажется не игрушкой, а реальным помощником в делах, станет куда больше. Это вам не покемонов ловить.
Какие AR-приложения на базе ARKit будут доступны в ближайшее время
IKEA
Расставьте мебель по комнате еще до покупки
AR-приложение IKEA позволит экспериментировать с предметами из каталога и смотреть, как они впишутся в ваш интерьер: вы сможете помещать диваны, лампы, ковры и столы в вашу комнату, подносить смартфон ближе к обивке виртуального дивана, чтобы разглядеть ее в деталях, заглядывать под кровать, чтобы понять, достаточно ли там места для пары коробок.
The Very Hungry Caterpillar AR
Герои детских книжек в реальном мире
Современные родители знают, что с планшетом в руках ребенок спокоен и занят. Но вместе с тем он совсем не двигается и постепенно забывает, как выглядят привычные игрушки. «Очень голодная гусеница», придуманная американским писателем Эриком Карлом, в приложении The Very Hungry Caterpillar AR выходит за пределы книжных страниц в пространство вокруг маленького пользователя, и он может кормить гусеницу, укладывать ее спать, ожидая, пока та превратится в бабочку.
The Walking Dead: Our World
Стрелялки почти по-настоящему
Если из всех сериалов «Ходячие мертвецы» – ваш самый любимый, будьте готовы носиться по дому, паркам и улицам, убивая зомби из айфона. В The Walking Dead: Our World компании Next Games и AMC реалистично переносят зомби-апокалипсис в мир вокруг вас. И это, полагаем, лишь первый пример будущей адаптации популярных компьютерных игр для AR и VR.
Giphy World
Новый уровень коммуникации
Остроумными надписями, внедренными в фото, уже никого не удивишь – рисуйте поверх видео: создайте AR-слой в ваших видеороликах с помощью Giphy World, добавьте в него GIF-героев и отправьте результат по iMessage или опубликуйте ролик в Instagram.
Arise
Головоломки сложнее, чем раньше
Arise – это совершенно новый вид головоломок для iPhone и iPad в формате дополненной реальности. Угол обзора и ракурс – единственное, что вы можете контролировать, чтобы помочь вашему герою забраться на вершину острова и собрать артефакты. Куда интереснее, чем жать пальцем по сенсорному экрану.
Что дальше?
Все эти возможности будут реализованы в первую очередь на iOS, то есть на iPhone и iPad, ведь под них разработчикам будет проще создавать контент – в этом и есть главная идея Apple в плане отдачи от колоссальных вложений в ARKit. Ответный шаг со стороны Google уже последовал, хотя и двумя месяцами позже, – их платформа ARCore была представлена 29 августа и, возможно, станет широко доступна в конце 2017 – начале 2018 года. Пока же ARCore работает лишь на двух моделях Android-смартфонов.
Фото: архив пресс-службы
Часто проверяете почту? Пусть там будет что-то интересное от нас.
Как работает технология дополненной реальности AR, описание, примеры приложений
Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера. Ее специфика заключается в том, что она программным образом визуально совмещает два изначально независимых пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.
Новая виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.
Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных технологиях, в играх, для мониторинга объектов и в мобильных устройствах.
Основа технологии дополненной реальности – это система оптического трекинга. Это значит, что «глазами» системы становится камера, а «руками» — маркеры. Камера распознает маркеры в реальном мире, «переносит» их в виртуальную среду, накладывает один слой реальности на другой и таким образом создает мир дополненной реальности.
Существуют три основных направления в развитии этой технологии:
«Безмаркерная» технология AR
«Безмаркерная» технология работает по особым алгоритмам распознавания, где на окружающий ландшафт, снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы находят некие опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная модель. Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по себе и для них не нужно создавать специальных визуальных идентификаторов.
AR технология на базе маркеров
Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.«Пространственная» технология
Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и компаса, встроенного в мобильный телефон. Место виртуального объекта определяется координатами в пространстве. Активация программы дополненной реальности происходит при совпадении координаты, заложенной в программе, с координатами пользователя.
Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии дополненной реальности.
Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при изучении конкретной темы и проведении практических работ по ней.
Примеры приложений с AR технологиями
Оборудование для AR технологий
Для работы с технологией дополненной реальности обязательно необходимы следующие компоненты:
- Графическая станция. Это может быть мобильный телефон, ноутбук, персональный компьютер, графическая рабочая станция с профессиональной видеокартой. Одним словом, компьютер.
- Дисплей. Экран телефона, телевизор, монитор, моно или стерео дисплей, проекционный экран.
- Камера. Благодаря камере мы получаем «слепок» реального мира, на который специальное программное обеспечение накладывает виртуальные объекты.
- Метки, или маркеры.
- Программное обеспечение. Математические алгоритмы, которые позволяют камере увидеть и распознать метку (маркер) в окружающем пространстве, а затем определить, какая именно модель программно «привязана» к метке. И, наконец, «положить» эту модель на метку таким образом, чтобы виртуальный 2D или 3D объект повторял любое движение реальной метки.
Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую интерактивную систему.
Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача – определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы – построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к метке.
После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.
К сожалению, маркерная технология, как и любая другая технология, имеет ряд возможных проблем в работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для этого.
Первое, в чем может заключаться проблема, это освещение. Затемненная зона, слишком яркое направленное освещение, лампа дневного света, светочувствительность камеры, — все эти параметры напрямую влияют на уровень распознавания метки.
Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.
Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья, более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель реальной камеры в компьютерном пространстве.
Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран, нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях, используя «шахматную доску» и специальное программное обеспечение.
Еще одна проблема, которая часто относится к web-камерам, — это низкое разрешение камеры. Любительская оптика, тем более встроенные камеры на ноутбуках, как правило, не обладают хорошими объективами с высоким разрешением. Поэтому они дают больше нелинейных искажений и проблем в работе с метками дополненной реальности. Например, если метка будет находиться слишком далеко от камеры или на границе ее видимости, то последняя ее просто «не увидит». Этот вопрос решается покупкой камеры с более высоким разрешением и ее последующей калибровкой.
И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой объект) или вовсе исчезать с экрана.
Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3 основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на устройства вывода для восприятия конечным пользователем.
40 приложений на ARKit, которые интересны больше 20 секунд
Двадцатисекундный тест — это тест, который проверяет, интересно ли пользоваться приложением больше 20 секунд. Это абсолютно не объективно, зато может избавить вас от огромного количества скачиваний, установок и разочарований, которые неизбежно ожидают, когда молодой рынок захвачен экспериментаторами в поисках быстрой прибыли на волне хайпа. Представляем список из приложений дополненной реальности на ARKit, которые пережили двадцатисекундный тест на iPhone 7 Plus с установленной iOS 11. Всё будет коротко и ясно.
Эти приложения не обязательно должны вам понравиться и они не обязательно обладают некой ценностью, кроме того что прошли двадцатисекундный тест. Приложения приводятся в случайном порядке, это не рейтинг. Для составления списка протестировано более 120 приложений!
ВНИМАНИЕ! Для того, чтобы запустить эти приложения, необходим iPhone SE или новее (или iPad аналогичных поколений, то есть на процессоре A9) с установленной iOS 11. Кроме того, все эти приложения очень сильно сажают батарею, так что мы рекомендуем запускать их, только если поблизости есть зарядка или внешний аккумулятор.
В список вообще не включены измерительные приложения-линейки, потому что они недостаточно точны.
1. Sketchfab
Поиск 3D-моделей и их просмотр в дополненной реальности.
Скачать в iTunes
2. Orb
Позволяет расставлять в реальности 3D-объекты и раскрашивать их. Показательный пример первой волны ДР-приложений.
Скачать в iTunes
3. PuzzlAR: World Tour
Строительный пазл, который в дополненной реальности больше похож на обычный конструктор.
Скачать в iTunes
4. Holo
Демо-приложение от 8i, молодой компании, занимающейся объёмными съёмками людей. Приложение создано, чтобы пользователи могли оценить качество моделей, созданных фирменной системой записи.
Скачать в iTunes
5. Army of Robots
Игра, в которой нужно отстреливать роботов, атакующих вас со всех сторон.
Скачать в iTunes
6. Paint Space AR
Рисуй во всех направлениях, а затем проходи сквозь свои творения. Простая рисовалка в дополненной реальности.
Скачать в iTunes
7. Math Ninja AR
Делает обучение детей математике веселее. Заодно подтянете английский и японский.
Скачать в iTunes
8. World Brush
Простая 3D-рисовалка с выбором из шести инструментов.
Скачать в iTunes
9. Follow Me Dragon
Приложение про милого дракона. Хотя процесс постоянно прерывается всплывающими сообщениями.
Скачать в iTunes
10. Insight Heart
Подробная модель человеческого сердца, которую можно изучить снаружи и изнутри.
Скачать в iTunes
11. Monster Park — Dino World
Дети любят динозавров. Хотя это приложение не особо полезно, оно позволяет прокричать «Посмотри! У меня на кухне динозавр!».
Скачать в iTunes
12. Nitro Nation
Дрэг-гонки с режимом дополненной реальности.
Скачать в iTunes
13. aCen
Стрелялка по движущимся мишеням с фантастической легендой о пришельцах.
Скачать в iTunes
14. Fitness AR
Позволяет изучать забеги и велозаезды из Strava в дополненной реальности.
Скачать в iTunes
15. PowARdup
Аркадный симулятор выживания с быстрым темпом игры.
Скачать в iTunes
16. Magic Sudoku
Приложение, позволяющее решать судоку наведением камеры устройства на игровое поле. Фантастически простой и столь же бессмысленный функционал.
Скачать в iTunes
17. Dronetopolis AR
Вполне реалистичный симулятор квадрокоптера.
Скачать в iTunes
19. My Very Hungry Caterpillar AR
Игра про милую, но очень голодную гусеницу основана на детской книжке с картинками американского писателя Эрика Карла. Она рассказывает историю гусеницы перед превращением в бабочку.
Скачать в iTunes
21. Color BlastAR
В этой игре с дополненной реальностью для детей от 6 до 12 лет мультяшные зомби захватывают реальный мир. Может быть страшно.
Скачать в iTunes
22. AR Runner
Эта спортивная игра заставит тебя побегать — по-настоящему. Выполняй задания, укрепляй здоровье и не обращай внимание на тех, кто считает тебя психом.
Скачать в iTunes
Splitter Critters
Разделяй мир с помощью жестов, затем перемещай получившиеся части, чтобы помочь существам вернуться на космический корабль. Интересная концептуальная игра с премией по дизайну от Apple.
Скачать в iTunes
23. ARrived (AR God Simulation)
Игра, в который ты — бог первобытного племени, который ведёт свой народ к светлому (или не очень) будущему. О ней мы уже писали.
Скачать в iTunes
24. GIPHY World: AR GIFs+Stickers
Возможно, самое слабое приложение из перечисленных, но детям очень нравится развешивать гифки по дому.
Скачать в iTunes
25. AR Sports Basketball
Броски виртуального мяча в виртуальную корзину в реальности. Особенно забавно в метро.
Скачать в iTunes
26. Drive Ahead! Minigolf
Мини-гольф, который работает лучше, чем остальные.
Скачать в iTunes
27. Mammoth Mini Golf AR
Ещё один неплохой забавный мини-гольф в мультяшной доисторической тематике.
Скачать в iTunes
28. Stack AR
ARKit научился видеть стены и 2D-объекты
Apple выпустила бета-обновление инструментария дополненной реальности ARKit. Версия 1.5 получила несколько новых функций, включая одну очень важную: обнаружение стен.
До этого момента ARKit фокусировался на поиске горизонтальной плоскости, относительно которой будет размещать объекты в трёхмерном пространстве. Это налагало определённые ограничения: горизонтальная плоскость может продолжаться бесконечно, игнорируя стены или другие вертикальные поверхности, и даже вытянутые по вертикали объекты на самом деле прикрепляются к полу или столу.
Теперь вместе с горизонтальными ARKit может распознавать вертикальные поверхности и размещать объекты на них. Для примера, представьте себе виртуальный дартс, который висит у стены, а не парит над полом.
Обнаружение вертикальной плоскости обычной камерой, без дополнительного датчика представляет проблему. Теоретически это возможно, намного сложнее, потому что вертикальные плоскости, вроде стен, обычно имеют меньше определяющих признаков, которые позволяют компьютеру её обнаружить. Если перед смартфоном гладкая белая стена, он может вообще не понять, что это твёрдый объект. ARKit 1.5 определяет стены с небольшим отклонением от вертикальной оси. ARCore от Google уже способен на нечто подобное, но у него другая проблема: в бета-тесте весь движок.
Кроме того, ARKit получает обновление до горизонтального построения, что позволяет лучше распознавать линии и объекты неправильной формы, такие как круглые столы или стулья. Общее отслеживание улучшено по скорости и точности, а отображение реального мира возможно в разрешении 1080p — раньше изображение с камеры было в формате 720p, поэтому окружение выглядело намного хуже, чем цифровые объекты. Это, если можно так выразиться, снижало реалистичность дополненной реальности.
Ещё одно обновление может показаться незначительным, но имеет большой потенциал. Это распознавание изображений на основе компьютерного зрения. Если в сцене есть 2D-объект — скажем, плакат или картина на стене, — ARKit может проанализировать его и разрешить разработчикам записать физическое положение в пространстве и на поверхности. Это позволит размещать цифровые объекты относительно физического. Например, рядом с картиной в галерее можно поставить кнопку/триггер запуска музыки и анимации.
Перспективы этого решения удивительны. И мы рискнём ещё раз помечтать об очках Apple. Вы сможете активировать приложения дополненной реальности, их функции, запустить видео на настенном экране, заказать пиццу, включить свет, разогреть еду или активировать сюжетный поворот в квесте — достаточно направить взгляд (камеру очков) на некий графический маркер. И всё это будет работать с маркером, то есть в определённых координатах от него, будь это наклейка или пятно на обоях.
Apple обеспечивает ARKit большое будущее. Его увидят пользователи смартфонов, но настоящий эффект ждёт нас с релизом очков, который может состояться в 2020 году. К этому времени экосистема дополненной реальности Apple окажется полностью готова к запуску новой линейки устройств.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!
Далее: Apple купила Vrvana за $30 млн
Поддержи Голографику на Patreon!