Устройства Силиконовой долины: хитрости ловли покемонов, сканирующие очки и интерактивная анатомия

В прошлый раз, обсуждая виртуальную реальность, мы немного затронули и так называемую дополненную реальность на примере путеводителей по крупным магазинам. Однако это лишь вершина айсберга данной технологии.

Дополненная реальность (Augmented Reality, AR).

Если еще месяц назад, планируя эту серию статей, я собирался начать рассказ о дополненной реальности, о приложениях для моллов — больших магазинов с полками, тянущимися до горизонта, то сейчас выход одной из самых успешных игр за всю историю игровой индустрии, Pokemon Go, сделал дополненную реальность намного ближе миллионам игроков.

В этой игре для мобильных телефонов необходимо бродить по реальному миру в поисках покемонов — странных созданий небольшого роста, вольнолюбивых, но готовых служить тому, кто их победил — и в случае обнаружения пытаться захватить их, бросая в них заготовленные шары. Когда покемон обнаружен, он появляется на экране мобильного телефона как часть реальности, находясь перед передним планом, при этом постоянно перемещаясь и усложняя задачу по своей поимке.

Кроме умелого использования дополненной реальности, проецируя покемона перед первым планом камеры, приложения также способствует увеличению физической нагрузки, так как требует идти с найденным яйцом покемона 2—10 км до его вылупления. Кроме того, люди стали гораздо чаще посещать парки, так как там можно встретить редких покемонов с лучшими данными.

В отличие от виртуальной реальности, которая не имеет никакой связи с нашим, физическим миром, полностью вытесняя его и замещая его созданной компьютером реальностью, дополненная реальность базируется на нашем окружении. Это значит, что мы видим не только наш мир, но и какие-то предметы быта другого мира, которые встраиваются в картинку с камеры и «дополняют» ее.

В самом простом случае — это сделано отчасти и в Pokemon Go (я не уверен на 100%, так как я не автор этого приложения, но я склонен так думать) — некий объект просто помещается перед передним планом камеры: обнаруженный покемон как бы выпрыгивает перед вами. Далее положение этого объекта привязывается к трехмерным координатам, так что перемещения покемона и направление взгляда отражаются на том, что видно на экране. Тут нет никакого взаимодействия виртуального изображения с реальным миром, сама программа определяет положение покемона просто по наклону телефона (летающие покемоны находятся выше плоскости горизонта, ползающие — ниже) и проецирует его положение в виртуальном мире на экран телефона, накладывая его на изображение с камеры. Так достигается эффект, как будто покемон находится между телефоном и тем объектом, что мы видим в камере.

Подобного рода «трюк» широко используется в простых приложениях дополненной реальности. Еще в 2009 году, будучи студентом Технического университета Гамбурга, я написал приложение, которое накладывало на изображение с камеры указатели с расстояниями до входов в различные знания кампуса, а также до важных пунктов (метро, автобусные остановки) вне кампуса. Для этого мне пришлось сначала вручную перерисовать карту кампуса на сервисе Google Maps, добавив туда в виде точек объекты, которые я хотел показывать в дополненной реальности, и построить математическую модель, которая проецировала двухмерную карту на трехмерную модель окружающего пространства, используя показания компаса и гироскопа для определения ориентации телефона и эффект параллакса для отображения удаленности объектов от наблюдателя.

Хотя по описанию может показаться, что это что-то очень сложное, на деле сама модель и расчеты довольно простые (написание основной части заняло примерно неделю), и подобный подход используется во многих приложениях для упрощения навигации, поиска ресторанов или кафе, а также, как я уже писал, для поиска товаров в гигантских залах супермаркетов.

Очки дополненной реальности HoloLens от Microsoft

Компания Microsoft, представив прототип новых очков для виртуальной реальности HoloLens (сокращение от слов «голограмма» и «линзы»), вывела представление о дополненной реальности на принципиально новый уровень.

В отличие от «полностью виртуальной» или «простой дополненной» реальности, где предметы просто помещаются перед передним планом зрителя, HoloLens предварительно сканирует помещения, размечая положение стен, окон, дверей, каких-то объектов внутри помещения (стол, шкафы). После этого дополненная реальность создается с учетом индивидуальной модели каждого помещения: так на стены можно вешать виртуальные экраны с различной информацией или размещать вдоль нее разные модели. Какие-то объекты, например стол, могут заслонять объекты дополненной реальности, придавая всей сцене значительный натурализм. Если мелкий объект находится на другой стороне комнаты, то надо подойти к нему, и тогда можно будет его внимательно рассмотреть: прочитать текст, повернуть и так далее. Это все дополняют специальные наушники, встроенные в шлем, дающие трехмерный звук.

В настоящий момент разработка шлема HoloLens еще не завершена, поэтому для самого шлема пока есть только порядка 15—20 приложений в специальном магазине приложений от Microsoft. Однако эти приложения, даже не полностью доработанные, выглядят просто удивительно. Например, Project Xray — игра, в которой через стены помещения начинают прорезаться похожие на гигантских механических червей шланги, через которые в наше измерение попадают различные летающие и ползающие по стенам монстры. Задача игрока — убить их, одновременно уклоняясь от выстрелов. Дополнительную реалистичность придает тот факт, что в проделанные в стене дыры можно заглядывать: там виднеются какие-то трубы, провода и так далее. Кроме этого, если взять в руки специальный джойстик, то в виртуальной реальности он окажется пистолетом, который будет двигаться синхронно с движениями руки и из которого можно стрелять в пролетающих монстров. Игра настолько затягивает, что с ней попросту забываешь про время.

Сравнение и будущее альтернативных реальностей

Конечно, можно сравнивать шлем Oculus Rift от Samsung стоимостью 100 долларов, куда нужно вставлять телефон, и HoloLens — целый компьютер на голове стоимостью 4000 долларов за прототип (в дальнейшем цена должна значительно уменьшиться), который представляет собой отдельный очень мощный компьютер со специально разработанным чипом для расчета моделей помещений и предметов дополненной реальности в них.

Возможные сферы применения виртуальной и дополненной реальности:

После предыдущей статьи было задано много вопросов: а нужна ли такая реальность? А не опасна ли она? Нет, не опасна. Виртуальная (и дополненная) реальность — это всего лишь способ отображения информации таким образом, чтобы достичь имитации окружающего нас мира. Это естественный процесс эволюции в направлении: радио — телевидение — виртуальная реальность. Сама по себе она не более страшна, чем тот же телевизор. Бывает ли зависимость от телевизора и полное погружение в просмотр передач? Да, бывает! То же самое возможно и с виртуальной реальностью, но, в отличие от телевизора, который стоит на комоде или подставке, для виртуальной реальности приходится носить на носу или голове довольно тяжелые очки, которые автоматически ограничивают время максимального просмотра.