Arkit как работает – Как Яндекс создавал дополненную реальность в Картах для iOS. Опыт использования ARKit / Яндекс corporate blog / Habr

alexxlab 05.08.2020 Leave a comment

Содержание

Почему ARKit лучше альтернатив? — AppTractor

Мэтт Мисникс, работающий с AR уже девять лет, рассказал о том, почему ARKit сейчас предоставляет лучшие возможности для разработчиков, и объяснил, как работают AR-системы и с какими проблемами сейчас сталкиваются их создатели.

Анонсирование Apple ARKit на последней конференции WWDC имело огромное влияние на экосистему дополненной реальности. Разработчики в первый раз встретились с надежным и широко доступным (с iOS11) SDK для дополненной реальности, который “просто работает” в их приложениях. Нет необходимости возиться с маркерами, инициализацией камер глубины или проприетарными инструментами разработки. Это предсказуемо привело к появлению большого количества демо-версий (@madewitharkit в Twitter). Однако многие разработчики не знают, как работает ARKit или почему он работает лучше, чем другие SDK. Сегодня мы посмотрим на ограничения ARKit, зачем и почему он нужен, а также когда подобные возможности будут доступны на Android и в очках виртуальной реальности (VR или AR).

Я работаю в AR уже девять лет и создал технологии, идентичные ARKit, к сожалению, до того, как устройства смогли их поддерживать. У меня есть внутреннее мнение о том, как создаются эти системы и почему они создаются такими.

Эта статья – попытка объяснить технологию для людей, которые относятся к технологической сфере, но не являются инженерами по компьютерному зрению. Я знаю, что некоторые упрощения не совсем научны, но я надеюсь, что это поможет людям понять AR хотя бы немного глубже, чем сейчас.

На какой технологии основывается ARKit?

Технически ARKit – система визуальной инерциальной одометрии (VIO) с простым определением 2D плоскости. VIO обозначает, что программное обеспечение отслеживает вашу позицию в пространстве (вашу 6dof-позицию) в реальном времени, т.е. вычисляет её с каждым обновлением дисплея, 30 или более раз в секунду. Эти вычисления производятся дважды, параллельно. Ваша позиция отслеживается через визуальную систему (камеру), сравнивая точку в реальном мире с пикселями на сенсоре камеры. Также она отслеживается инерционной системой (вашим акселерометром и гироскопом – инерционной измерительной единицей или IMU). Выходные данные этих двух систем совмещаются через фильтр Калмана, который определяет, какая из двух систем предоставляет лучшую оценку вашей настоящей позиции (ground truth) и публикует это обновление позиции через SDK ARKit. Как одометр в вашем автомобиле определяет расстояние, которое проехал автомобиль, система VIO отслеживает расстояние, которое ваш iPhone прошел в 6D-пространстве. 6D объединяет 3D измерения по осям x, y и z (перемещение), а также крен, рыскание и тангаж (вращение).

Большим преимуществом, которое предлагает VIO, является то, что показания IMU производятся примерно 1000 раз в секунду и основаны на ускорении. Для измерения движения устройства между показаниями IMU используется навигационное счисление. Навигационное счисление – это в значительной степени догадка, Как если бы я попросил вас сделать шаг и угадать, сколько дюймов было в этом шаге, вы бы использовали навигационное счисление, чтобы оценить расстояние. Позднее я расскажу, почему эта догадка очень точна. Ошибки в инерциальной системе накапливаются с течением времени, поэтому чем больше времени проходит между кадрами IMU или чем дольше инерционная система работает без получения данных визуальной системы, тем больше отслеживание будет отклоняться от ground truth.

Визуальные / оптические измерения производятся с частотой кадров камеры, как правило это 30 кадров в секунду, и основаны на расстоянии (изменения сцены между кадрами). Оптические системы обычно накапливают ошибки в расстоянии (и времени в меньшей степени), поэтому чем дальше вы перемещаетесь, тем больше ошибка.

Хорошие новости – сильные стороны каждой системы отменяют недостатки другой.

Так что визуальная и инерционная системы основаны на совершенно разных системах измерения, не зависимых друг от друга. Это означает, что камера может быть закрыта или показывать сцену вроде белой стены, и инерционная система будет поддерживать картинку ещё несколько кадров. Или устройство может быть в неподвижном состоянии, а визуальная система определит позицию более стабильно, чем инерционная система. Фильтр Калмана постоянно выбирает более точную позицию и приводит к стабильному отслеживанию.

Что самое интересное, системы VIO существуют уже много лет, их хорошо понимают в индустрии, и на рынке существует несколько применений для них. Поэтому тот факт, что Apple использует VIO, значит немного. Мы должны посмотреть, почему эта данная система так надежна.

Вторая важная часть ARKit – это простое определение плоскости. Это необходимо для создания поверхности, на которой вы размещаете содержание, иначе всё будет просто парить в пространстве. Она вычисляется на основе свойств, определенных оптической системой (маленькие точки, которые вы можете увидеть в демо), и алгоритм просто усредняет их таким образом, что три точки определяют поверхность, и если вы делаете это достаточное количество раз, вы можете оценить местоположение настоящей поверхности. Эти точки называются “облако точек”, и для оптического отслеживания используются разреженные облака точек. Они используют гораздо меньше памяти и процессорного время для отслеживания, а при поддержке инерциальной системы оптическая система может отлично работать с небольшим количеством точек для отслеживания. Другой тип – это плотное облако точек, которое выглядит ближе к реальности. Обратите внимание, что некоторые трекеры могут использовать плотные облака точек для отслеживания.

Объяснение некоторых тайн

Я видел, как некоторые люди называют ARKit SLAM или используют термин SLAM, чтобы обозначить отслеживание. SLAM – это довольно широкий термин, как, например, “мультимедиа”. Отслеживание – это более широкий термин, тогда как одометрия – это более специфический, но они довольно близки в отношении AR. Это может вас запутать. Существует много способов осуществлять SLAM, и отслеживание – это один из компонентов полной системы SLAM. Я вижу ARKit как простую SLAM-систему. Системы Tango или Hololens обладают большим количеством функций, помимо одометрии.

Два самых частых вопроса о ARKit включают в себя: “Как вы получаете 3D из одной линзы?” и “Как вы получаете метрическую шкалу?”. Секрет здесь – в том, чтобы иметь хорошее удаление ошибок IMU, т.е. делать навигационное счисление более точным. Когда вы можете это сделать, происходит следующее:

Чтобы получить 3D, вам нужно иметь два вида сцены с разных точек, чтобы сделать стереоскопическое вычисление вашей позиции. Так наши глаза видят в 3D, и поэтому некоторые трекеры полагаются на стереокамеры. Позицию легко вычислить, если у вас есть две камеры, вы знаете расстояние между ними и кадры запечатляются в одно и то же время. С помощью одной камеры вы запечатлеваете один кадр, перемещаетесь и запечатлеваете другой кадр. Используя навигационное счисление IMU, вы можете вычислить расстояние между двумя кадрами, а затем сделать стереовычисление. На практике вы можете сделать вычисление между большим количеством кадров для большей точности. Если IMU работает достаточно точно, то это вычисление между двумя кадрами может засечь даже мельчайшие движения мышц, когда вы пытаетесь держать свою руку неподвижно. Поэтому это выглядит магией.

Чтобы получить метрическую шкалу, система также полагается на точное навигационное счисление с IMU. С помощью измерений ускорения и времени от IMU, вы можете вычислить скорость и расстояние между кадрами. Вычисления не так сложны. Сложно в этом случае удалять ошибки IMU, чтобы получить почти идеальное измерение. Крохотная ошибка, которая происходит в течение нескольких секунд, пока вы двигаете телефон, может привести к ошибкам измерения в 30%. Впечатляет, что Apple снизил эту ошибку до 9% и менее.

Что насчет Tango, Hololens и Vuforia?

Tango – это бренд, а не продукт. Он состоит из аппаратного референсного дизайна (RGB и фишай-линзы, датчик глубины и некоторые спецификации CPU/GPU) и программного стека, который обеспечивает VIO (отслеживание движения), Sparse Mapping (изучение области) и плотную 3D-реконструкцию (восприятие глубины).

Hololens имеет тот же самый стек программ, но включает и некоторые ASIC (которые они называют блоками голографической обработки, Holographic Processing Units), чтобы разгрузить CPU и GPU.

Vuforia предлагает примерно то же самое, но имеет свое оборудование.

Все они используют одну и ту же систему VIO (Tango и ARKit даже одну и ту же базу кода, разработанную FlyBy). Ни Hololens, ни Tango не используют камеру глубины для отслеживания, хотя я верю, что они будут интегрировать её в некоторых случаях. Итак, почему ARKit так хорош?

Ответ в том, что ARKit не лучше Hololens (я бы даже поспорил, что трекер Hololens является лучшим на рынке), но оборудование Hololens не так доступно. Microsoft мог бы реализовать трекер Hololens в смартфоне с Windows, но я думаю, что они не сделали этого по коммерческим причинам: это добавило бы стоимости и времени на то, чтобы откалибровать сенсоры в смартфоне, который бы не продавался, а Microsoft-версия ARKit не убедила бы разработчиков переключиться с iOS или Android.

В Google могли бы внедрить VIO-систему Tango в смартфонах Android для массового рынка около года назад, но и они этого не сделали. Если бы они так поступили, ARKit выглядел бы повтором, а не прорывом. Я думаю, что так произошло по причине того, что они не хотели калибровать каждый сенсор у каждого производителя, и версия одного производителя работала бы не так, как у другого, а выделять группу крупных производителей, таких как Samsung, Huawei, и делать систему на их основе Google, очевидно, не хотел. Вместо этого они дали им референсный дизайн, который можно принимать или не принимать. Так как Android стандартизировал начинку смартфонов, камера и сенсоры остались последними различиями между смартфонами, поэтому было невозможно, чтобы все производители согласились на условия Google.

Google также потребовал, чтобы датчик глубины был частью набора, что добавляло стоимости телефону и тратило заряд батареи, и по этой причине производители отказались от этой системы. Так как с момента релиза ARKit мир изменился, было бы интересно посмотреть, найдут ли производители альтернативные Tango системы или изменится ли требования Google к смартфонам.

Итак, ARKit лучше, потому что Apple может позволить себе связать алгоритмы VIO с сенсорами и потратить время на то, чтобы откалибровать все системы, чтобы устранить ошибки в определении позиции.

Стоит заметить, что существуют альтернативы крупным OEM системам. Многие академические трекеры (ORB Slam, OpenCV) предлагают только оптические системы (моно или стерео-RGB, камера глубины, некоторые используют разреженные карты, некоторые – плотные, а также карты глубины и другие косвенные данные от сенсоров). Некоторые стартапы работают над системами отслеживания, хорошо работает система от Augmented Pixels, но любая VIO-система нуждается в настройке и калибровке оборудования.

Я разработчик, что мне использовать и почему?

Начните разрабатывать свою идею на ARKit. У вас, вероятно, уже есть смартфон, который её поддерживает. Посмотрите на огромную разницу между созданием приложения, которое работает в реальном мире, который вы не контролируете, и созданием VR-приложений, в котором вы контролируете каждый пиксель.

Затем вы можете использовать Tango или Hololens. Посмотрите, что происходит, когда ваше содержимое может взаимодействовать с 3D-структурой неконтролируемой обстановки.

Это действительно крутой переход. Более крутой, чем переход от веба к мобайлу или от мобайла к VR. Вам нужно полностью пересмотреть работу приложений, кейсы и UX. Я вижу много демо, которые я видел 4 года назад на Vuforia и ещё 4 года назад на Layar. Разработчики снова учатся тем же вещам, только в другом масштабе.

Один интересный аспект создания качественных трекеров – это малое количество людей, которые могут их создавать. Взаимосвязь этих инженеров привела к тому, что лучшие системы сходятся на монокулярном VIO как главном решении для мобильного отслеживания. Никакой другой подход не обеспечивает нормального UX на данный момент.

VIO впервые была внедрена в военно-промышленной компании Intersense в середине 2000-ых годов. Один из соавторов Леонид Наимарк был главным ученым в моем стартапе Dekko в 2011 году. После того, как Dekko доказал, что VIO не может работать на IPad 2 из-за сенсорных ограничений, Леонид вернулся к военным контрактам, но технический директор Dekko Пьер Георгель теперь является старшим инженером команды Google Daydream. Ogmento был основан моим партнером по Super Ventures Ори Инбаром. Ogmento стал FlyBy, и команда там успешно построила систему VIO на iOS, используя дополнительную камеру фишай. Эта база кода была лицензирована Google и стала системой VIO для Tango. Apple позже купила FlyBy, и эта же кодовая база является ядром ARKit VIO. Технический директор FlyBy Крис Броддус продолжил создание трекера для Daqri и теперь находится в автономной робототехнической компании с бывшим главным специалистом Zoox. Первая мобильная SLAM-система была разработана в 2007 году в лаборатории Оксфорда Active Computing (PTAM) Джорджем Кляйном, который продолжил создание системы VIO для Hololens вместе с Дэвидом Нистером, который ушел, чтобы построить систему автономного вождения в Tesla. Однокурсник Джорджа Герхард Рейтмайр возглавил разработку системы VIO Vuforia. Бывший руководитель Vuforia Эйтан Пилипски в настоящее время возглавляет разработку программного обеспечения AR в компании Snap. Основные члены исследовательских команд в Оксфорде, Кембридже и Имперском колледже разработали системы слежения Kinect и теперь ведут команды слежения в Oculus и Magic Leap.

Я поговорю чуть позже о том, над чем работает нынешнее поколение ученых-исследователей. Подсказка: это не VIO.

Производительность – это статистика

AR-системы не могут “работать” или “не работать”. Задача всегда заключается в том, чтобы созданные вещи достаточно хорошо работали в широком диапазоне ситуаций. “Становиться лучше” значит подталкивать статистику в нужном вам направлении.

По этой причине никогда не стоит доверять демо-версии AR-приложения, особенно если это отличное видео на YouTube. Существует огромный разрыв между чем-то, что хорошо работает в контролируемой обстановке, и чем-то, плохо работающим в обычной ситуации. Эта ситуация не применима для приложений или VR (представьте, если бы Slack работал/не работал в зависимости от того, куда указывает камера или как вы повернули запястье), поэтому зрители часто оказываются обманутыми.

Вот технический пример того, как статистика определяет качество работы системы:

На изображении выше мы видим сетку, которая представляет цифровой сенсор изображения в вашей камере. Для того, чтобы отслеживание было стабильным, каждый пиксель должен соответствовать точке в реальном мире (то есть устройство должно быть идеально неподвижным). Однако второе изображение показывает, что фотоны действуют не так, и свет разной интенсивности приходится на разные места, а каждый пиксель это сумма фотонов, попадающих на него. Любое изменение света меняет состав фотонов, попавших на сенсор, и теперь уже другие пиксели соответствуют точке в реальном мире. Визуальная трекинговая система предполагает, что вы переместили устройство. По этой причине мерцают точки в различных демках ARKit, так как система должна решить, на какие из них можно положиться. Затем система должна произвести триангуляцию, чтобы рассчитать позицию, усредняя эти расчеты, чтобы получить наилучшую оценку. Удаление статистических ошибок из этого процесса приводит к большей надежности системы. Это требует интеграции и калибровки оборудования камеры (линзы и покрытия, затвор, особенности сенсора изображения), IMU и алгоритмов приложения.

Интеграция оборудования и программного обеспечения

VIO не так сложно подготовить к работе. Существуют опубликованные алгоритмы, а вариантов системы не так много. Очень сложно заставить VIO работать хорошо. То есть инерционная и оптическая система должны почти сразу составлять стереоскопическую карту, а метрическую шкалу при этом можно будет применить с высокой степенью точности. В Dekko мы создали систему, которая требует, чтобы пользователь сделал несколько специфичных движений телефоном, а затем перемещал устройство назад и вперед в течение 30 секунд. Для создания хорошей инерционной системы отслеживания нужны квалифицированные инженеры. К сожалению, на Земле есть только двадцать человек с необходимыми навыками и опытом, и многие из них создают системы отслеживания ракет или навигационные системы марсоходов. Не мобильные приложения.

Даже если у вас есть доступ к одному из этих людей, всё будет зависеть от совместной работы оборудования и программы устранения ошибок. IMU может быть идеально настроен, с полным доступом к камере и настройкам каждого компонента, но без точной синхронизации система не будет работать правильно. Она должна знать, какие данные IMU соответствуют началу захвата кадра, а какие – концу. Это жизненно важно для корреляции двух систем, и до недавних пор это было невозможно, так как производители не хотели заниматься этим вопросом. Поэтому система Dekko для iPad 2 требовала так много времени для калибровки. Первый телефон Tango Peanut был первым устройством с точной синхронизацией и первым смартфоном, предлагающим отличное отслеживание. Сегодня SoC от Qualcom и других компаний имеют синхронизированный сенсорный хаб для всех компонентов, а VIO теперь жизнеспособны на большинстве современных устройств с соответствующей калибровкой датчика.

apptractor.ru

Как работает инструмент Apple ARKit, дополненная реальность в айфоне или айпаде

Своё название инструмент Apple ARKit получил в соответствии с главной функцией — предоставить набор инструментов (Kit) разработчикам приложений, чтобы те могли задействовать дополненную реальность (AR). Технология Apple ARKit включена в iOS 11 — версию операционной системы для айфонов и айпадов, которая увидела свет в 2017 году.

Что такое ARKit? Главный успех

Фактически, это готовая, унифицированная платформа для создания приложений с использованием дополненной реальности. По этой причине многие обозревали сравнили запуск ARKit с созданием каталога App Store. По масштабности эти два события действительно сопоставимы, и вот почему.

В отличие от прежних версий операционной системы, дополненная реальность в iOS 11 стала полноценным инструментом, доступным каждому разработчику. Так же как в 2008 году App Store унифицировал использование сенсорного дисплея, ARKit в 2017 году вывел на единый уровень возможности, связанные с дополненной реальностью.

Теперь разработчикам не нужно тратить уйму времени и сил, чтобы самостоятельно «учить» устройство на iOS анализировать окружающий мир и создавать AR в оперативной памяти.

Как создаётся дополненная реальность в iPhone и iPad

Вне зависимости от того планируется использовать созданное приложение для развлечения или для практических задач, инструментальные средства используются одни и те же:

камеры устройства получают визуальное изображение;
микрофон и некоторые другие датчики получают звук, считывают сведения о вибрациях и о других изменениях;
процессор обрабатывает поступающую информацию и согласовывает её с командами, которые подаются из самого приложения.

Оснащённые набором инструментов AR iPhone и iPad теперь «умеют» самостоятельно обнаруживать горизонтальные и вертикальные поверхности, определять источники света и тени, различать голоса и лица и многое другое. Процессоры семейства A9 и более поздние модели в полной мере справятся с тем, чтобы задействовать поступающую информацию и создавать дополненную реальность.

Потенциал применения ARKit в приложениях и играх

Уже в 2017 году было создано несколько всевозможных демонстрационных программ, призванных раскрыть возможности нового инструментария. На сегодняшний день только основные примеры приложений включают в себя:

свободную навигацию по картам и получение информации о мире;
измерение расстояний и других показателей;
трёхмерное рисование и моделирование;
симуляторы езды, полёта, других процессов;
развлекательные и игровые приложения, так или иначе основанные на взаимодействии с реальным миром.

Чем дальше, тем больше становится коммерческих, обучающих и игровых программ. Инструменты, созданные командой Apple, применяются разработчиками по всему миру.

funreality.ru

Наглядные примеры использования платформы дополненной реальности Apple ARKit

В июне Apple предоставила доступ к платформе ARKit, и уже начали появляться первые проекты, в которых на iPhone и iPad используется дополненная реальность.

Компания Laan Labs разрабаотала приложение AR Tape Measure, которое может использоваться в качестве виртуальной линейки. В отличие от более ранних аналогов, оно измеряет длину с небольшой погрешностью.

Разработчик Томас Гарсиа опубликовал видео, демонстрирующее эксперимент, которым воссоздал посадку второй ступени ракеты Falcon 9 на плавучую баржу в бассейне.

Разработчик Мэттью Холлберг Minecraft создал с помощью ARKit и движка Unity порт Minecraft. Игра позволяет игроку взаимодействовать с окружающим миром, передвигать объекты и конструировать различные объекты.

Виртуальная версия робота BB-8 из фильма «Звёздные войны: Пробуждение силы». Робот передвигается по комнате, отбрасывая тень на пол и стены.

Сгенерированный компьютером трёхмерный предмет остаётся на месте, несмотря на передвижения пользователя.

Марк Доуснон создал приложение, позволяющее создавать трёхмерные рисунки в пространстве.

Он же воссоздал виртуальную комнату Винсента Ван Гога.

Компания Econsor Mobile показала, как с помощью ARKit можно воссоздать виртуальный дом и предметы интерьера.

Уменьшенная копия Луны на кухне.

Самолёт, припаркованный во дворе дома.

Морской бой с уменьшенными виртуальными копиями кораблей.

Парковка нарисованного автомобиля среди настоящих.

Миниатюрный космический корабль в квартире.

Жилище превращается в место действия игры Overwatch.

Смартфоном можно разрезать дверь и посмотреть, что находится за ней:

Множество виртуальных объектов в комнате.

Трёхмерная модель существа, которую можно осмотреть со всех сторон.

Танцующий в такn музыке персонаж.

Добавление детализированных 3D-объектов к предметам реального мира и взаимодействие с ними.

Виртуальные модели подстраиваются под падающий на них свет.

ARKit поддерживается устройствами Apple с процессорами A9 и A10 (смартфоны, которые вышли после iPhone SE и новые модели планшетов iPad). Для использования этой технологии требуется iOS 11. С помощью ARKit камера устройства распознаёт окружающие пользователя предметы и позволяет взаимодействовать с ними.

www.iguides.ru

Сферы применения технологии ARKit и ожидаемые приложения

Наблюдая за прогрессивно растущим появлением новых видео-роликов и пресс-релизов приложений с использованием ARKit, становится очевидным что технология будет иметь очень широкое применение, за счёт своих огромных возможностей.

Напомним, что в июне 2017 Apple анонсировала свою новую библиотеку для работы с дополненной реальностью под названием ARKit. За очень короткий срок с использованием этой технологии появилось множество разработок и приложений которые, однако, смогут быть опубликованы в App Store только после выхода официального обновления iOS 11, запланированного на 19 сентября этого года.

В этой статье мы рассмотрим основные направления применения этой технологии и выделим наиболее интересные приложения. Но сперва пару слов о самой технологии.

Если говорить в целом о дополненной реальности (AR), то надо отметить, что это не абсолютно новое явление. Оно возникло с тех пор, как разработчику стали доступны индивидуальные фреймы полученные от камеры устройства. Если не говорить о нашумевшем развлечении Pokemon GO, то на сегодняшний день появилась масса приложений AR отображающих дополнительную информацию по наведению камеры устройства на QR-код или на изображение-маркер. Это безусловно приложения AR имеющие практическую полезность, но, как заметили некоторые разработчики, корректнее было бы назвать эту технологию «дополненным изображением» или «дополненным QR-кодом» — поскольку речь здесь не ведётся о погружении в реальность окружающего мира, без привязки к маркеру или GPS локации. Другая история – это очки Google Glass, которые хорошо решают проблему удобства погружения в реальный мир, но предполагают не более, чем 2D изображения висящие в воздухе перед глазами пользователя. На практике такие очки хорошо заменяют собой функционал других устройств, яркий пример здесь – это навигация внутри города-мегаполиса. В силу ряда причин Google Glass по сей день не получили широкого распространения среди конечного пользователя. Еще один пример широкого распространения AR – это приложения способные с помощью нейросетей изменять лицо, цвет волос, бэкграунд и проч. на сэлфи-снимке – это крутые штуки, но их практическая применимость в повседневной жизни не велика.

Итак, в чём же инновация ARKit с точки зрения погружаемости в реальный мир, развлечений, практической пользы и удобства пользования? Отвечая на этот вопрос обратим внимание на две основных фичи этой технологии:

Определение положения камеры девайса в 3D пространстве.
Это первая и основная фича технологии ARKit. Достигается она при помощи техники визуальной инерционной одометрии VIO (Visual Inertial Odometry), составляющей существенную часть системы SLAM – одновременной локализации и построения карты пространства. Для трекинга положения камеры в 3D пространстве устройство комбинирует фреймы камеры и данные датчиков движения. Трекинг движения происходит при помощи обнаружения «точек отсчёта» – cвоего рода «якорей» или «опорных точек», которыми могут быть края предметов на полученном из фрейма камеры высококонтрастном изображении, например, угол пурпурного ковра на тёмном полу или края лежащего на столе черного предмета. Определяя насколько эти точки сдвинулись относительно друг друга при сопоставлении нового фрейма с предыдущими, устройство легко вычисляет своё расположение в пространстве. Соответственно эта технология не будет работать должным образом на абсолютно белой однородной стене или когда скорость перемещения девайса в пространстве будет высокой, не позволяя камере получать контрастные и не смазанные изображения. Кроме того, для корректной работы технологии необходим и хороший уровень освещенности окружающего пространства.

Определение плоских горизонтальных поверхностей.
Эта фича позволяет проецировать виртуальный контент на любую плоскую поверхность расположенную горизонтально. Например, как было продемонстрировано на WWDC 2017 во время презентации ARKit, на горизонтальную поверхность можно разместить виртуальные 3D объекты: чашка кофе, лампа. Причем, при перемещении этих объектов или изменении положения камеры относительно них, эти объекты не только сохраняют пропорции, но и корректно отбрасывают свои тени в зависимости от положения к источнику света.

Далее на горизонтальной поверхности была продемонстрирована целая анимированная 3D сцена, открывающая небывалые возможности для игр.

Используя эти фичи, технология открывает огромные возможности и это при том, что она работает только с использованием камеры, процессора и сенсоров движения. Никаких датчиков глубины, как в случае с Google Tango, здесь не используется.

Читайте наш подробный обзор демоприложений с применением ARKit на Хабрахабре!

augmentedreality.by

ARKit – обзор платформы дополненной реальности для iOS

ARKit – это набор инструментов, который является новейшим взглядом на понятие дополненной реальности. Разработка стала возможной благодаря сотрудникам Apple. Этот продукт должен стать для разработчиков приложений отличным инструментом.

С его помощью камера устройства ведет наблюдение и помогает определить поверхности, затем этот инструмент проводит все расчеты, которые связаны с детальным построением всех теней и изменений положения при движении камеры. Arkit будет работать под iOS 11. Разработчики обеспечили поддержку Arkit Unity.

Важно! Теперь девелопер приложений не должен регулярно продумывать новые способы решения задач. Отныне есть возможность применить существующий фреймворк Arkit, и на его базе подготовить свои приложения. Это сэкономит кучу времени и облегчит сам процесс разработки

ARKit: настоящее и будущее

Продукты, которые будут написаны при помощи Arkit, смогут запуститься на аппаратах, оснащенных комплексом процессоров групп А9 и А10. В перечень сопровождаемых устройств войдут устройства iPhone и iPad.

Разработчики отреагировали на новый продукт Arkit очень положительно. Начальник маркетингового отдела продуктов компании Apple Грег Джозвиак поделился тем, что реакция была невероятной. Также он считает, что в мире насчитываются миллионы устройств iPad и iPhone, разработка приложений для которых предоставит создателям много новых возможностей, пользоваться которыми будет очень полезно.

Какие функции смогут быть реализованы с помощью этой полезной разработки? Как это может быть использовано в современном обществе?

Набор инструментов теперь позволит разрабатывать приложения для выполнения таких задач:

Приложения для проведения линейных измерений.
Рисование в трехмерном пространстве.
Разнообразные игры.
Интерактивные приложения.
Размещение моделей объектов на любой местности.

Спектр применения этого фреймворка очень широкий. Все сферы жизни человека, где может быть задействована камера, датчик движения, освещение, могут быть использованы при разработке приложений.

Всемирно известная компания IKEA весьма заинтересовалась этим продуктом, ведь он позволит создать виртуальный каталог продукции, в который может войти более 2 500 единиц товара. Приложение позволит разместить объекты интерьера сразу же после того, как камера на iphone сделает снимок помещения. Объекты настолько гармонично вписываются в пространстве и отображаются на обработанном фото, будто они там стоят уже давно.

Для обычного пользователя все будет достаточно просто – выбрать приложения, какие он хочет скачать, и установить на свой айфон 7 или другие устройства на базе ios 11, и пользоваться ими.

Разработка и внедрение Arkit – это большой и смелый шаг вперед для развития AR-технологии.

planetvrar.com

Что же такое ARKit? | VR-JOURNAL

Дополненная реальность на мобильных устройств была доступна лишь в нескольких приложениях с ограниченным доступом, но все изменилось с появлением ARKit. Сегодня мы рассмотрим, что делает инструмент самым важным элементом для актуализации VR и AR.

Состояние VR / AR
Ключевые слова: разочарование, фрагментация, проблема принятия VR, прогнозы AR / VR, компании VR, закрытие этих компаний. VR — это прорыв или неудача? Много уже было дискуссий на эту тему.

Если вы знакомы с такими приложениями, как Snapchat и Pokemon Go, то вы видели дополненную реальность в качестве цифрового наложения. Это наиболее распространенная AR форма с помощью цифрового маркера в пространстве. Этот маркер может быть графическим изображением, таким как QR-код, уникальным изображением, или это может быть шаблон изображения, такой как человеческое лицо, например, так работают фильтры Snapchat.

При распознавании лиц сопоставление образцов позволяет понять, где находится изображение и после могут быть добавлены дополнительные цифровые эффекты.

Вскоре после того, как в этом году Facebook анонсировала свою AR Studio, Apple представила ARKit. Было естественно предположить, что это будут конкуренты, но это не так.

Что такое ARKit?
При запуске основная технология ARKit не использует определенное распознавание изображений, как описано выше. Скорее, он работает как Google Tango — технология на основе мобильных телефонов, которая может распознавать локальную координату через AR. Это означает, что когда устройство перемещается с включенной камерой, оно может сообщать о своей относительной позиции и ориентации. Также есть возможность распознавать двумерные геометрические плоскости. Концепция перемещения в 6-градусном пространстве с полной свободой является ключевым основополагающим элементом, отличающим high-end настольный VR (Vive, Rift) от мобильного VR (Google Cardboard & Daydream, Samsung GearVR) … и Apple создала его.

Для разработчиков AR, которые считали, что AR — цифровое наложение. Это шок. Внезапно появилась свобода, отсутствуют границы к которым VR разработчики уже привыкли.

ARKit — конечный мост для AR и VR. Копнем глубже в ARKit от Apple, чтобы найти семена будущих улучшений, таких как вертикальное распознавание плоскости и окклюзия, которые будут продолжать сокращать разрыв между статическими AR-оверлеями и интерактивными VR объемами.

VR-стиль дополненной реальности

При использовании на базовом устройстве начального уровня, совместимом с ARKit (iPhone SE), отслеживание Apple по-прежнему очень впечатляет, учитывая отсутствие датчика глубины и использование только одной камеры. Точность может быть улучшена при внедрении определения глубины (например, то, что доступно в Google Tango или Microsoft Hololens).

Аналогично тому, что Google Cardboard сделал для VR, Apple сделала для AR. Низкая стоимость входа в виртуальную реальность через Google Cardboard позволила многим пользователям получить доступ к VR по низкой цене. Теперь ARKit позволяет получать доступ к AR практически без затрат.

Будущее начинается сейчас

Наше видение предстоящего будущего AR / VR связано с возможностью изучения 3D-миров, созданных компьютером, наряду с нашей существующей реальностью. Небольшой процент пользователей уже присоединился к будущему в 2016 году с помощью VR гарнитур, а iOS 11 будет привлекать остальных. Возможности бесконечны и сложны, когда дело доходит до тиражирования реальности, а для тех, кому еще предстоит попробовать гарнитуру виртуальной реальности, ARKit может стать первым шагом к пониманию того, как будет выглядеть это будущее.

Оригинал

Cкопировано из сайта vr-j.ruПодписывайтесь на наш Telegram Поделитесь с друзьями:

vr-j.ru

AR — Дополненная Реальность (статья плюс ролик) / Habr

По-настоящему широкая публика столкнулась с ней, когда Гугл захотел повесить нам на нос свои умные очки. После пришла эпоха смешных масок, которые делали из нас котиков, зайчиков и Леонардо Ди Каприо. Затем покемоны захватили обе реальности и заставили наматывать километры. А недавно Эппл показала ARKit, а Гугл — ARCore, и значит нас вот-вот накроет новая волна игр и приложений с применением дополненной реальности, возможности которой гораздо шире и полезнее для общества, чем ловля слоупоков.

Это популяризаторская статья. В ней нет подробного описания технической стороны, зато есть история развития ЭйАр, ссылки на упоминающиеся разработки и множество интересных иллюстраций.

Очень много картинок!

Что такое ЭйАр

Дополненная реальность — это среда, в реальном времени дополняющая физический мир, каким мы его видим, цифровыми данными с помощью каких-либо устройств — планшетов, смартфонов или других, и программной части. Например, Google Glass или шлем Железного Человека. Системы прицеливания в современных боевых самолетах — это тоже дополненная реальность.

Дополненную реальность (augmented reality, AR) надо отличать от виртуальной (virtual reality, VR) и смешанной (mixed reality, MR).

В дополненной реальности виртуальные объекты проецируются на реальное окружение.

Виртуальная реальность — это созданный техническими средствами мир, передаваемый человеку через (пока что) органы чувств.

Смешанная или гибридная реальность объединяет оба подхода.

То есть, виртуальная реальность создает свой мир, куда может погрузиться человек, а дополненная добавляет виртуальные элементы в мир реальный. Выходит, что ВиАр взаимодействует лишь с пользователями, а ЭйАр — со всем внешним миром.

История ЭйАр

Как многие другие интересные исследования, история манипуляций с реальностью начинается в научной фантастике. Автор «Волшебника страны Оз» Лайман Фрэнк Баум в романе «Главный ключ» описал некое устройство, способное помечать в режиме реального времени людей буквами, указывающими на их характер и уровень интеллекта. Примитивные инструменты дополнения реальности были известны задолго до того: это и маски, которые надевали римские лучники, чтобы лучше целиться, и подзорные трубы с нанесенными метками расстояний и так далее.

Но история дополненной реальности, какой мы ее знаем сейчас, берет начало из разработок, касающихся ВиАр. Отцом виртуальной реальности считается Мортон Хейлиг. Он получил это звание за исследования и изобретения, сделанные в 1950-х и 60-х годах. 28 августа 1962 года он запатентовал симулятор Sensorama. Сам Хейлиг еще называл его театром погружения.

Патент описывает виртуальную технологию, в которой визуальные образы дополняются движениями воздуха и вибрацией. Обоснование ее существования давалось такое:

«Сегодня постоянно растет спрос на методы обучения и тренировки людей таким способом, чтобы исключить риски и опасность реальных ситуаций»

Это было устройство ранней версии виртуальной реальности, а не дополненной, но именно оно дало толчок к развитию обоих направлений. Хейлиг даже изобрел специальную 3Д-камеру, чтобы снимать фильмы для Сенсорамы.

А вот в 1968-м году компьютерный специалист и профессор Гарварда Айван Сазерленд со своим студентом Бобом Спрауллом разработали устройство, получившее название «Дамоклов Меч». И это была первая система уже именно дополненной реальности на основе головного дисплея.

Очки были настолько тяжелыми, что их пришлось крепить к потолку. Конструкция угрожающе нависала над испытуемым, отсюда и название. В очки со стереоскопическим дисплеем транслировалась простая картинка с компьютера. Перспектива наблюдения за объектами менялась в зависимости от движений головы пользователя, поэтому понадобился механизм, позволяющий отслеживать направление взгляда. Для того времени это был фантастический прорыв.

Следующим шагом было создание Майроном Крюгером лаборатории с искусственной реальностью Videoplace в 1974-м году.

Его основной целью было избавить пользователей от необходимости надевать специальные шлемы, очки и прочие приспособления для взаимодействия с искусственной реальностью. В Видеоплейсе использовались проекторы, видеокамеры и другое оборудование. Люди, находясь в разных комнатах, могли взаимодействовать друг с другом. Их движения записывались на видео, анализировались и переводились в силуэты искусственной реальности. Пользователи видели, как их силуэты взаимодействуют с объектами на экране и это создавало впечатление, что они часть искусственной реальности. Хотя правильнее было бы назвать это проектом интерактивного окружения.

Спустя четыре года, в 1978-м, Стив Манн придумал первое приспособление для ЭйАр, которое не было прикручено к потолку. В EyeTap использовалась камера и дисплей, дополняющий среду в режиме реального времени. Это изобретение стало основой для будущих проектов, но массово не использовалось.

Первое массовое использование дополненной реальности стало возможно благодаря Дену Рейтону, который в 1982-м году использовал радар и камеры в космосе для того, чтобы показать движение воздушных масс, циклонов и ветров в телепрогнозах погоды. Там ЭйАр до сих пор используется таким образом.

В 90-е поиск новых способов использования продолжился, а ученый Том Коделл впервые предложил термин «дополненная реальность». Перед ним и его коллегой поставили задачу: снизить затраты на дорогие диаграммы, которые использовали для разметки заводских зон по сборке самолетов Боинг. И решением стала замена фанерных знаков с обозначениями на специальные шлемы, которые отображали информацию для инженеров. Это позволило не переписывать обозначения каждый раз вручную, а просто изменять их в компьютерной программе.

Дальше развитие происходило стремительно. Скачок, сделанный в производстве микропроцессоров, и, как следствие, во всем технологическим секторе, позволил сильно ускорить работы.

В 1993-м году в университете штата Колумбия Стив Файнер представил систему KARMA (Knowledge-based Augmented Reality for Maintenance Assistance, переводится примерно как «Интерактивный помощник по обслуживанию»), позволявшую через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.

А вот в 95-м Джун Рекимото собрал Navicam — прототип мобильного устройства дополненной реальности, какой ее сейчас знают пользователи смартфонов. Навикам представлял собой переносной дисплей с закрепленной на обратной стороне камерой, чей видеопоток обрабатывался компьютером и, при обнаружении цветной метки, выводил на экран информацию об объекте.

В 96-м году Джуном Рекимото и Южди Аятцука был разработан Матричный Метод (или КиберКод). Он описывает реальные и виртуальные объекты с помощью плоских меток наподобие QR-кодов. Это позволяло вписывать виртуальные вещи в реальный мир, просто перенося метки. Например, положить на пол листок с кодом, навестись на комнату камерой — и вот у вас в комнате стоит динозавр.

В 98-м году НФЛ впервые использовала дополненную реальность, разработанную компанией Sport Vision, в прямой трансляции спортивных игр. Во время матчей на картинку с камеры, обзорно показывающей игровое поле, добавлялись технические линии и информация о счете. О «волшебной желтой линии» есть старый сюжет.

В 99-м НАСА применила систему дополненной реальности в приборной панели космического аппарата Икс-38, который научился отображать объекты на земле вне зависимости от погодных условий и реальной видимости.

И в том же году Хироказу Като создал открытую библиотеку для написания приложений с ЭйАр-функционалом ARToolKit (еще на Гитхабе). В ней использовалась система распознавания положения и ориентации камеры в реальном времени. Это позволяло стыковать картинку реальной и виртуальной камер, что давало возможность ровно накладывать слой компьютерной графики на маркеры реального мира.

Можно сказать, что с релизом первой версии этой библиотеки начался современный этап активного развития дополненной реальности.

Как работает дополненная реальность

Если откинуть совсем уж древние реализации, то ЭйАр — это распознавание образов и отслеживание маркеров.

С распознаванием образов все более-менее понятно. Если приложение должно распознавать стол, то достаточно загрузить на сервер библиотеку фотографий столов, обозначить общую структуру, цвет, произвольные параметры и присвоить этому набору данных определенное действие при обнаружении на картинке.

Вторая часть — это отслеживание маркеров. Маркерами могут выступать как специально напечатанные изображения, так и любые объекты.

Обложку журнала приложение распозна́ет по простой форме с прямыми углами и конкретному рисунку, и будет отслеживать ее положение в пространстве, отмечая смещение относительно фона. В этом случае сама обложка и есть маркер.

Со специальными маркерами все обстоит еще проще. Допустим, мы хотим примерить автомобилю новые диски. Для этого нам достаточно наклеить на диски QR-метки и система автоматически поймет, что именно в этих местах следует вставлять в картинку изображение новых колес. Еще один пример: мы кладем метку на пол и приложение понимает, что эта плоскость и есть пол, и разместит на нем произвольные объекты.

Но маркеры везде не налепишь, а сделать уникальный маркер под каждую ситуацию и унифицировать всю систему слишком сложно.

Здесь на выручку приходит SLAM — метод Одновременной Локализации и Построения Карты, используемый для построения карты в неизвестном пространстве с одновременным контролем текущего местоположения и пройденного пути.

Звучит сложно. В упрощённом виде, Слэм — это способ распознавания окружения и местоположения камеры, путем разложения картинки на геометрические объекты и линии. После чего каждой отдельной форме система присваивает точку (или много-много точек), фиксируя их расположение в пространственных координатах на последовательных кадрах видеопотока. Таким образом, условное здание раскладывается на плоскости стен, окна, грани и прочие выделяющиеся элементы. А условная комната — на плоскости (пол, потолок, стены) и объекты внутри. Благодаря тому, что алгоритм позволяет запоминать положение точек в пространстве, вернувшись в эту же комнату из другой вы увидите точки на тех же местах, где они и находились ранее.

Особенно сильный толчок этот метод получил после того как производители смартфонов начали встраивать дополнительные камеры для расчета глубины резкости в свои аппараты.

Не стоит думать, что Слэм — это продвинутая версия обычного распознавания образов и отслеживания маркеров. Скорее, это инструмент, который намного лучше подходит для ориентации систем дополненной реальности в пространстве. Он дает приложению понять, где находится пользователь. Но намного хуже подходит для опознания, например, медведя на картинке.

Для максимальной эффективности оба подхода объединяют для конкретной задачи. Что приводит нас к современной ситуации.

Настоящее: от очков к телефонам

В самом начале развития ЭйАр было понятно, что ее успех будет зависеть от того, насколько удобно будет нашим глазам.

Еще в 1984-м году в фильме «Терминатор» Джеймса Кэмерона была визуализирована концепция дополненной реальности и компьютерного зрения. Но Кэмерон сильно опередил время, т.к. встроить ЭйАр прямо в глаз в те годы не представлялось возможным даже в смелых фантазиях. Идеалом виделись форм-факторы контактных линз или очков. Первое и сейчас лишь на стадии концептов, а вот по мере удешевления и появления более тонких производственных процессов форма очков становилась все ближе. С годами к ней окончательно прилип и второй вариант реализации: с помощью ставших вездесущими смартфонов.

Самым громким событием дополненной реальности последних лет стали вышедшие в 2013-м году очки Google Glass, с которыми есть небольшая путаница. Несмотря на то, что именно они многим первыми приходят на ум, когда речь заходит о дополненной реальности, к таковой эти очки отношения почти не имели. Виртуальная среда практически не взаимодействовала с реальной. Разве что навигацию можно причислить к ЭйАр-контенту, но и она была реализована в стиле карт для телефона, а не каких-нибудь висящих над дорогой стрелок.

Зато очки умели делать фото и снимать видео по команде, с автоматической отправкой в облако. Этот не ставший массовым эксперимент все же сделал свое дело: запустил волну, дав понять другим компаниям, что можно всерьез приниматься за разработку устройств дополненной реальности для масс.

Эстафету тут же приняла Майкрософт, через пару лет завуалированно анонсировавшая (а в 2016-м и представившая) очки смешанной реальности Hololens. Правда, только для разработчиков и журналистов. Продукт сложный, его до сих пор разрабатывают. Но в интернете много восторженных обзоров, где люди делятся своим опытом взаимодействия с виртуальной средой.

Хололенс не требуют подключения к другому ПК или телефону. У очков четыре камеры, с помощью которых они анализируют комнату и совмещают виртуальные объекты с реальным миром.

Очки позволяют практически полноценно работать с Windows 10, причем, название «Виндоус» обретает новый смысл: окна системы легко вешаются на стены на манер, собственно, окон. Очки запоминают помещение, поэтому, когда пользователь возвращается в ту же самую комнату, все окна приложений и прочие элементы смешанной реальности ждут его на своих местах.

Сейчас существует около десятка наиболее перспективных разработчиков и продуктов для дополненной реальности в форм-факторе очков: Vuzix, Sony, ODG, Solos.

Но один производитель подобрался наиболее близко к тому, что может быть не только технологично, но и удобно. Это — компания Magic Leap.

Первое концепт-видео

Запустившись в 2010-м году в атмосфере абсолютной секретности, она уже через пару лет собрала инвестиций более чем на полмилллиарда долларов от таких гигантов как Гугл и Куалком. Никто за пределами узкого круга инвесторов не знал, чем эта компания привлекла такое внимание и что у нее за продукт.

Но информация все-таки просочилась. А позднее было официально объявлено: компания работает над продвинутой версией очков дополненной реальности, которые на голову сильнее Гугл Гласс и Хололенс. И, в отличие от других производителей, в Мэджик Лип равное внимание уделяют как железу, так и ПО и интерфейсам. Несмотря на то, что компанию больше интересует индустрия развлечений, чем прикладное применение, на сегодняшний день она является лидером в удобстве пользовательских интерфейсов.

Но пока ЭйАр в основном встречается в телефонах. Это удобство, готовая техническая база, широкая распространенность устройств и простота написания ПО.

Заточенные под фото для соцсетей приложения предлагают примерно одни и те же функции: маски и помещение персонажей в пространство. То есть — развлечения. Но все больше компаний понимают важность этой ниши и представляют более утилитарные приложения:

AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3д-окружении;

Google Translate умеет переводить текст, который видит камера, в реальном времени;

Sun Seeker помогает увидеть траекторию солнца на местности в любой день года;

Google Sky Map помогает узнать, какие звезды сейчас видно на небе.

Именно в мобильном сегменте сейчас сконцентрированы самые интересные ЭйАр-стартапы для массового рынка:

YouAR
6D
Selerio
Ubiquity6 и другие.

А одной из наиболее инвестирующих в технологию компаний является Фейсбук, который обкатывает новые идеи на своей массивной пользовательской базе.

Развлечения

Главная мобильная сфера, где себя нашла Дополненная Реальность — это, конечно же, развлечения.

Вы наверняка играли в шутеры от первого лица. Но вы когда-нибудь задумывались, что отображение количества патронов, здоровья и аптечек — это тоже дополненная реальность, только для вашего персонажа?

В начале 2000-х вышел ЭйАр-порт легендарной игры Квейк. Он так и назывался: ARQuake.

В наше же время можно и самому стать героем шутера. Например, в игре Father.IO. Такие проекты появляются все чаще.

В 2014-м вышла игра Night Terrors, один из первых популярных ужастиков в дополненной реальности. Попробуйте его ночью в каком-нибудь подвале — не забудете.

В 2016-м студия Nyantic выпустила наследницу своей игры Ingress и самую главную ЭйАр-игру, вероятно, на много лет вперед: Pokemon Go. Дополненная реальность, геотрекинг и популярная вселенная — все сложилось настолько удачно, что Покемон Гоу скачали более ста миллионов человек. Игра быстро стала феноменом и начала собирать вокруг себя скандалы, в том числе в России. Покемон Гоу уникальна еще и тем, что заставила миллионы людей гулять на свежем воздухе.

Настольные игры получили новую форму благодаря технологии.

Такие компании как Лего и Дисней активно ведут разработку игр с использованием ЭйАр, а намерения к ним присоединиться выразили практически все крупные производители игрушек. Исследовательские группы уже занялись сбором данных о том, как маленькие дети взаимодействуют с играми и приложениями дополненной реальности, и каким образом это влияет на их восприятие реального мира. Возможно, в будущем самые интересные идеи по развитию технологии будут звучать от тех, для кого эта самая технология была просто частью детства.

Именно развлечения сегодня развивают исследовательскую базу дополненной реальности. А благодаря колоссальным объемам данных, добровольно передаваемых людьми компаниям-разработчикам, технология в связке с машинным обучением делают шаги в сторону более серьезных областей.

От развлечений к реальной жизни

Справочная информация, объявления и виртуальные указатели обязательно войдут в наше виртуальное пространство. Виртуальный экскурсовод проведет нас по развалинам замка, да еще и покажет сценку, как именно этот замок развалили, и каким он был до того. Ну а социальные функции, вроде фильтра по статусу «в активном поиске», помогут найти вторую половинку прямо в толпе.

Ну и реклама. Вот уж какая сфера спит и видит скорейшее внедрение дополненной реальности в повседневную жизнь. А свежесть и новизна формата обеспечат вау-эффект. ЭйАр появилась даже в печатных изданиях. Например, в выпуске Эсквайра 2009-го года нужно было отсканировать обложку, и тогда на ней оживал Роберт Дауни младший.

Еще раньше ЭйАр и печатные издания скрестила БМВ, выпустившая в нескольких немецких журналах рекламу модели MINI, которая на экране становилась трехмерной и позволяла себя рассматривать со всех сторон.

А обложки, к слову, есть не только у журналов и книг. Для того, чтобы с вами начала разговаривать этикетка бутылки, сегодня не нужно даже пить.

Коммерческие возможности дополненной реальности настолько обширны, что сложно очертить границы. Даже граффити не осталось в стороне от ЭйАр-технологий.

ЭйАр может использоваться для быстрой примерки в магазинах: идея зайти в мебельный и тут же на тестовом стенде собрать себе комнату с мебелью и бытовой техникой, пользуясь подсказками по сочетаемости, напрашивается сама собой.

Более интересную и полезную идею воплотил маркетинговый отдел Икеи еще в 2014-м. Примерить мебель из каталога прямо к интерьеру своей комнаты оказалось крайне заманчиво.

Вдохновляют возможности ЭйАр в сфере образования.

Образование

Технология может занять ту нишу, которая в научной фантастике отдана голограммам. Только голограммы будут еще не скоро, а устройства вроде Хололенса технически почти готовы. Перспектива увидеть в вузах, а после и школах, виртуальные интерактивные иллюстрации, которые можно рассмотреть со всех сторон, с которыми можно взаимодействовать и тут же видеть результат своих опытов, представляется прекрасным далёко из светлых фантазий о будущем. Обучение любым инженерным специальностям может стать куда более наглядным и легким для понимания.

Еще одна важная сфера — медицина.

Медицина

Тут прямо глаза разбегаются от возможностей. Кроме максимально наглядного обучения студентов медвузов, сразу представляется визуализация данных прямо на пациенте, вместо расставленных вокруг экранов. УЗИ станет максимально наглядным. Ну и будущая мама будет счастлива получить на телефон трехмерного ребеночка, которого будет с радостью крутить и рассматривать, выискивая сходство того с отцом и собой.

Но одно дело УЗИ, которое не требует оперативного вмешательства, и другое — опасные для жизни пациентов операции, где наглядность может помочь врачу быстрее реагировать и точнее работать.

Наглядную анатомию в дополненном пространстве демонстрирует HoloAnatomy для Хололенса, который как раз и про медицину, и про образование. А заодно — и одна из знаковых демок для майкрософтовского шлема.

Менее драматично, но не менее полезно — помощники для слепых и глухих, сообщающих первым о предметах и событиях вокруг и показывающие субтитры вторым.

Например, стартап Aira одновременно предлагает нейросетевого помощника, распознающего и проговаривающего всё, что видит камера очков, и живого сотрудника стартапа, что поможет сориентироваться по той же камере в особо сложной ситуации. Система привязана к приложению для смартфона. Пользователь по подписке получает очки с камерой и возможность транслировать изображение с них дежурящим сотрудникам поддержки. Но постоянно созваниваться с ними нет нужды: голосовой ассистент Аиры распознает тексты и образы, перекрывая множество повседневных городских задач. Логично, что по мере развития компьютерного зрения надстройка с живыми сотрудниками будет все менее актуальна, но сегодня это хороший компромисс из человеческих и компьютерных ресурсов.

Ну и: у кого бюджеты больше, чем у рекламщиков и игроделов? У военных.

Военные технологии

И если системы наведения в боевых истребителях, дронах и танках для армии — это сегодня дело обычное, т.к. именно из ранних систем дополненной реальности для летчиков и росли другие военные проекты в этой области. Например, продвинутые системы дополненной реальности для пехоты, которые будут внедряться уже через пару лет.

Официальная фантазия армии США

В американской армии уже сегодня используется система HUD 1.0: сильно усовершенствованный прибор ночного видения, который также выполняет функции тепловизора и проецирует в монокль на шлеме целеуказатель, показывающий куда попадет пуля при текущем положении ствола.

Облегченные полуаналоги таких систем уже более пяти лет доступны на рынке. Баллистический калькулятор от компании TrackingPoint, фактически заменяет снайперу, ну или любому желающему, напарника-споттера.

На очереди — HUD 3.0, который должен выйти в следующем году. Он будет иметь возможность накладывать на реальную картинку полностью цифровые слои местности, модели зданий, планы этажей, позиции врагов и даже самих врагов. А это уже заявка на удешевление военных учений. Военные игры обходятся государственным бюджетам в колоссальные суммы каждый год, а с помощью систем дополненной реальности солдаты смогут тренироваться с условным противником не покидая пределов базы.

Российская армия разрабатывает похожие системы для саперов.

Конечно, хотелось бы, чтобы технологии получали развитие не благодаря военным проектам и интересам, но если вспомнить историю, то многие изобретения находили широкое мирное применение, несмотря на военные корни и прошлое. Например, микроволновки, тефлон и интернет.

Будущее

Резюмируя, дополненная реальность — это не только игры и селфи с виртуальными масками. Это гигантское количество возможностей для коммерческого применения, новые горизонты в образовании, промышленности, медицине, строительстве, торговле и даже туризме. И дальше должно быть только интереснее.

Коммерческий рост ЭйАр поразителен. Ей, в отличие от виртуальной реальности, необязательно опираться на специализированное железо и громоздкие устройства. Технология прекрасно работает на самом массовом носимом девайсе — смартфоне.

Дополненная реальность уже меняет наше настоящее: виртуальные маски, охота за покемонами по городам и болотам, дети, стреляющие друг в друга не из деревяшек, а через экран телефона. Сейчас это уже реальность.

Следующий шаг — массовый выход ЭйАр из зоны развлечений и соцсетей в сектор информационной поддержки. Автопроизводители (пока лишь Хендай, БМВ и Ауди, но список растет) начинают выпускать приложения-дополнения к пользовательским инструкциям, помогающие владельцам наглядно изучить свой автомобиль. Все больше производителей техники начинают выпускать приложения для ремонтных мастерских, которые помогают мастерам ориентироваться во внутреннем устройстве сложных приборов. Амазон думает над тем, чтобы облегчить жизнь покупателям: понравились кеды на прохожем — навел на того телефон и тут же заказал себе такие же.

Сегодня мы с вами живем во время бурных исследований в отрасли. Даже у технологических гигантов нет ясной картины дальнейшего развития дополненной реальности. Это время непрерывного рождения идей, нахождения неожиданных способов применения и осознания всей мощи этой фантастической когда-то технологии — дополненной реальности.

Ролик

Эту статью об ЭйАр я подготовил для Хабра, но изначально мы делали ролик. В нем закадровый текст с техническими, историческими и просто красивыми иллюстрациями.

habr.com