Компания Disney Research разрабатывает прототип смешанной реальности (MR) под названием Magic Bench, в которой не потребуется ни гарнитура, ни очки, ни шлем.
Компания Disney Research разрабатывает прототип смешанной реальности (MR) под названием Magic Bench, в которой не потребуется ни гарнитура, ни очки, ни шлем.
Система позволяет людям взаимодействовать с анимированными персонажами, ощущая тактильную обратную связь. Пользователь присаживается на скамейку напротив крупного дисплея, оборудованного RGB камерой и Microsoft Kinect. Камера и Kinect в реальном времени создают 3D-реконструкцию скамейки, окружения и участников сцены в разрешении HD. Под скамьёй расположены скрытые датчики, которые в соответствии с сюжетом запускают воспроизведение шумов/звуков, например, храп персонажа.Чтобы устранить тени, которые появляются в областях, где камера «не видит» датчик глубины, модифицированный алгоритм создает 2D-фон. Виртуальное пространство «населено» 3D- и 2D-реконструкциями, 3D-персонажами и эффектами, при этом полученный в реальном времени рендеринг представляет собой бесшовный составной объект (композит), способный взаимодействовать с виртуальной физикой, светом и тенями.
«Эта платформа позволяет испытать впечатляющий чувственный опыт, живые люди могут напрямую взаимодействовать с анимированными персонажами, — говорит главный «цифровой художник» Disney Research Моше Малер (Moshe Mahler). —В этом проекте у нас была такая «мантра»: услышь появившегося персонажа, увидь, как он входит в пространство и почувствуй, что он сидит рядом. Сама скамейка тоже очень важна: не только потому, что в неё встроены тактильные приводы — она элегантно решает некоторые трудноразрешимые задачи. Мы знаем местоположение и количество участников, можем анализировать движения их глаз… Эти данные создают виртуальную сцену с передним и задним планами, а также с сидящими посередине участниками. Скамейка служит контроллером: пока кто-то на неё не сядет, смешанная реальность не «включится», а разные позы сидящих создают разные типы тактильных ответов системы».
Пост на веб-сайте Disney Research даёт дополнительную информацию: «Наш подход заключается в том, чтобы сделать виртуальное пространство более живым, освободить пользователей от любого «железа», предложить им настоящую «прогулку с играми». Свою новую технологию мы демонстрируем с помощью серии коротких «мультиков», персонажи которых не только видны и слышны… с помощью тактильной обратной связи их можно почувствовать рядом».
Видео-ссылка ->