Nvidia Omniverse: метавселенная — это сеть, а не пункт назначения

  • Jul 19, 2023

По словам исполнительного директора Nvidia Ричарда Керриса, с универсальным стандартом описания сцен вы сможете переходить из одного трехмерного мира в другой так же легко, как просматриваете веб-сайты.

Ричард-Керрис-nvidia-июнь-2022

«Люди начнут видеть способность испытывать места», как первый опыт метавселенной, говорит Исполнительный директор Nvidia Ричард Керрис, и испытайте такие вещи, как прогулка по предполагаемому гостиничному номеру перед бронирование. Однако, вероятно, метавселенная подкрадется к нам, как это сделала Сеть, так что «это почти произошло, когда вы этого не знали».

Тирнан Рэй для ZDNet

Когда он был впервые представлен Марком Цукербергом из Meta прошлой осенью, был скептицизм в некоторых уголках о метавселенной, системах аватаров и виртуальных миров, которые строит Цукерберг и которые, по его словам, станут следующей версией Интернета.

Ричард Керрис, возглавляющий команду из сотни человек в чиповом гиганте Nvidia, которые работают над созданием технологии для метавселенной, известной как Omniverse (подробнее здесь), нисколько не скептически относится к тому будущему миру.

Однако он сомневается в одном.

«Единственное, к чему я скептически отношусь, — это то, как люди склонны говорить об этом», — сказал Керрис. ZDNet, в недавней поездке по Нью-Йорку, чтобы встретиться с разработчиками.

«Люди неверно истолковывают метавселенную как место назначения, виртуальный мир, то или иное», — заметил Керрис. «Метавселенная — это не место, это сеть для следующей версии Интернета.

«Просто замените слово «метавселенная» на слово «сеть», и оно начнет усваиваться».

Сеть, в том смысле, в каком ее использует Керрис, представляет собой своего рода гибкую технологию, которая свяжет мультимедиа на многих веб-сайтах, особенно 3D-контент.

Также: На выставке CES 2022 Nvidia закладывает основу для ИИ повсюду

«Во многом так же, как Интернет объединил так много вещей […] следующее поколение этого Интернета, ядро, лежащее в основе принципами этого будет 3D, и вместе с этим возникает задача сделать это вездесущим между виртуальными миры.

«Конечным результатом было бы то, что вы можете перейти с любого устройства на любой веб-сайт без необходимости что-то загружать — помните старые времена — Какой у вас браузер? Какое расширение? и т.д. — все это ушло с ратификацией HTML. Когда мы сможем сделать это с помощью 3D, это будет трансформировать».

Неудивительно, что представитель Nvidia, которая продает подавляющее большинство графических чипов (GPU) для 3D-рендеринга, Керрис заявил: «Мы живем в 3D-мире; мы думаем в трехмерном пространстве», но Интернет — это двухмерная реальность. «Это ограничено, — сказал он, — островами возможностей 3D-рендеринга, которые никогда не соединяются между собой.

Также: Nvidia расширяет Omniverse новым графическим процессором и новым сотрудничеством

«Согласованность связанных миров — это то, в чем заключается волшебство», — сказал он. «Я могу телепортироваться из одного мира в другой, и мне не нужно описывать его каждый раз, когда я его строю».

Аналогом HTML для этой новой 3D-экосистемы является то, что называется USD, универсальное описание сцены. Как ZDNetСтефани Кондон написал, USD — это платформа обмена, разработанная Pixar в 2012 году и выпущенная как программное обеспечение с открытым исходным кодом в 2016 году. Она обеспечивает общий язык для определения, упаковки, сборки и редактирования 3D-данных.

(Керрис, ветеран Apple, имеет некую духовную, если не реальную связь с Pixar, проработав в LucasFilm несколько лет в начале нулевых. Подробнее см. в его профиле на LinkedIn.

USD способен описывать множество вещей в трехмерной среде, от освещения до физического поведения падающих объектов.

На практике Керрис представляет метавселенную с поддержкой Omniverse, определяемую в долларах США, как дорожное путешествие, в котором люди переходят из одного трехмерного мира в другой так же легко, как просматривают традиционные сайты. «Я могу перейти от виртуальной фабрики к виртуальному курорту, к виртуальному конференц-залу, к виртуальному дизайнерскому центру, к чему угодно, — сказал Керрис.

Также: Новые инструменты Nvidia Omniverse упростят создание виртуальных миров

В этих средах 3D-рендеринг позволит людям обойти громоздкую скрытую сеть обмена файлами. «И это дает гораздо больше возможностей в том, что я делаю», — сказал он, приводя в пример дизайнеров продуктов.

«Благодаря метавселенной и повсеместному подключению к 3D мы будем одновременно находиться в этой 3D-среде, и вместо того, чтобы делиться веб-страницей, мы сможем перемещаться. Вы можете посмотреть на что-то на этой стороне продукта. Я могу смотреть на что-то другое, но мы словно находимся в одной комнате в одно и то же время».

Nvidia, по словам Керриса, начала переходить на доллары США шесть или семь лет назад, «потому что мы моделируем все, что мы создаем [в Nvidia], прежде чем создавать это в физическом мире», — сказал он. У Nvidia есть коллеги в отрасли, работающие над реализацией технологии, в том числе Ericsson, которая хочет имитировать антенны. «Они все хотят симуляции реальности», — сказал он о компаниях в США.

По словам Керриса, с помощью этой технологии можно гораздо глубже погрузиться в мир цифровых двойников, симуляций продуктов и структур, которые допускают вмешательство, экспериментирование и наблюдение.

«До появления последовательной сантехники это делалось в репрезентативном режиме», — сказал он, например, на иллюстрации здания в Autodesk. «Это не соответствовало действительности. Я не мог точно показать вам, как это будет во время урагана», что нехорошо, потому что, как он выразился, «я хочу быть чертовски откровенным в том, что строю в физическом мире».

«Основная основа ситуации, которая соответствует реальности», используя доллары США, позволит разработчикам более точно моделировать, назад и вперед, включая такие вещи, как прочность на растяжение.

«Я бы хотел, чтобы дом был структурно прочным, прежде чем я буду проектировать мраморную отделку», — заметил он. «Если я строю цифровой двойник дома, который я строю, это слои вещей, вещи для инженеров-строителей и полировка, которые другие делают. собирается прийти и закончить». Важно знать, что это «правда в реальности» для материалов и вещей, скрепляющих структуру, он сказал.

По словам Керриса, сделав возможными эти более богатые взаимодействия в 3D, «так же, как Интернет изменил бизнес и опытом и общением, так будет метавселенная, и в более знакомой среде, потому что мы все работаем в 3D».

Различные компании вносят свой вклад в доллар США по-разному. Например, Nvidia работала с Apple над определением того, что называется динамикой твердого тела.

«И это еще не все», — сказал он.

Nvidia разрабатывает инструменты Omniverse как «платформу», которую Керрис называет «операционной системой для метавселенной».

«Люди могут подключиться к нему. Они могут строить поверх него. Они могут подключиться к нему. Они могут настраивать его — он действительно в их распоряжении, почти так же, как сегодняшняя операционная система».

По словам Керриса, стандарт доллара США зашел «довольно далеко» с точки зрения принятия, и его используют большинство 3D-компаний. «Сегодня каждая компания в индустрии развлечений придерживается долларовой стратегии, — заметил он. «CAD [автоматизированное проектирование] и машиностроение на подходе. У них либо есть планы, либо они участвуют в определении того, что необходимо».

«HTML был таким же в первые дни», — сказал он. В первые дни в нем отсутствовала поддержка видео, а сторонние плагины, такие как Adobe Flash, доминировали до появления стандартов.

Смогут ли цифровые близнецы зажечь воображение мира о метавселенной? Он кажется слишком промышленно-ориентированным, ZDNet наблюдаемый.

Обычные люди получат интерес, когда поймут, что это связанность, а не одно направление. «Поскольку они понимают, что это следующее поколение Интернета, я могу посетить удаленное место без гарнитуры или [без] установки определенных браузеров. Это один аспект», — сказал Керрис. «В своей повседневной жизни, когда мы делимся фотографиями сегодня, вы сможете делиться объектами. Вы знаете, ваш ребенок приходит домой, и он что-то сделал, и они смогут поделиться этим с бабушкой и дедушкой».

«Это просто станет частью того, что вы делаете, покупаете ли вы мебель для своего дома и залезаете в свой телефон. Вы будете синхронизироваться с домом. Вы закинете мебель. Вы будете ходить по нему — это то, что люди будут считать само собой разумеющимся, но это бесшовная связь».

Он предложил то же самое для разработки индивидуальной отделки автомобиля. «На самом деле вы будете подключены к заводу, производящему эту машину», чтобы проверить все аспекты этого.

«Это все изменит», — сказал он.

По словам Керриса, будут множительные эффекты, поскольку цифровые двойники позволяют опробовать несколько сценариев, например, с обучающими роботами.

«Сегодня они подключат компьютер к этому роботу и будут вводить в него информацию», чтобы обучать робота в одном физическом пространстве, сказал он. В среде цифрового двойника с роботом в смоделированной комнате «вы можете обучать не только одного робота, но и сотни», используя «сотни сценариев, с которыми может столкнуться робот».

«Теперь этот робот будет в тысячи раз умнее, чем если бы вы обучили его только один раз». На самом деле у Nvidia есть применяли этот конкретный подход в течение многих лет, проводя обучение автономному вождению машинного обучения на смоделированной дороге. среды.

Хотя автономное вождение не достигло своего обещанного развития, Керрис считает, что подход все еще здравый. «Я могу построить цифрового близнеца Пало-Альто, города Кремниевой долины. «И у меня могут быть тысячи автомобилей в этой симуляции, которые разъезжают по округе, и я могу использовать ИИ для применения любого вида симуляции, который только могу придумать — ураган, ребенок выбегание, погоня за мячиком, масляным пятном, собакой — так что эти автомобили в симуляции изучают во много тысяч раз больше сценариев, чем физический автомобиль бы."

Nvidia проделала работу, объединив смоделированные испытания с вождением в реальном мире с автопроизводителем Mercedes для автономного вождения 5-го уровня, самого требовательного уровня.

«Эффективность просто потрясающая», — сказал он, имея в виду, насколько хорошо автономное программное обеспечение справляется с дорожными сценариями. «Используя синтетические данные для обучения этих автомобилей, вы получаете более высокую степень эффективности» при объединении сценариев.

«Я бы скорее доверился себе ездить на машине, обученной в смоделированной среде, чем на обученной машине. в физической среде». По-прежнему будет играть роль данные реального мира, поступающие от автомобилей на дорога.

Что касается временных рамок видения, Керрис отметил, что «мы уже видим это на складах», которые быстро переходят на режим обучения роботов. Это включает в себя Amazon, где разработчик загрузил Omniverse и распространил его в Amazon. Корпоративная версия Omniverse, которая является продуктом на основе подписки, была использована Amazon для более обширного обучения роботов.

Amazon в настоящее время работает с программным обеспечением для своих роботов.

«Прелесть в том, что они обнаружили, что с помощью генерации синтетических данных они могут быть более эффективными с вещами, а не просто полагаться на камеру» на роботе для обнаружения объектов. По словам Керриса, эти камеры часто спотыкались о отражающую упаковочную ленту на упаковках. Использование синтетических данных, сгенерированных Omniverse, позволило обойти это ограничение. По его словам, это один из примеров повышения эффективности робототехники.

Потребители, вероятно, почувствуют влияние таких симуляций на результаты.

«На планете сотни тысяч складов, — сказал Керрис. «Все они стремятся использовать робототехнику, чтобы сделать ее более безопасной, эффективной и лучше использовать пространство». Люди «могут не знать, что это происходит, но они будут пожинать плоды этого».

В некоторых ситуациях потребители «узнают, потому что они получают вещи намного быстрее, чем раньше», — сказал он. «За кулисами все будет намного эффективнее, чем шесть месяцев назад». То же самое касается ритейлеров такие как Kroger, который использует инструменты Omniverse для создания синтетических данных, чтобы планировать, как доставить продукцию потребителям. Быстрее.

Что касается беспилотных автомобилей, «предположение о том, что все эти автомобили сегодня будут автономными, это немного — его еще нет», — признал он. «Но будут ли у нас автономные такси и вещи, которые доставят нас туда-сюда? О да, это легко».

Но «для машины, которая подъезжает к вам и самостоятельно довезет вас до Нью-Джерси? У нас есть небольшой путь».

Что касается непосредственного потребительского опыта, «люди начнут видеть возможность испытывать местоположения», — сказал Керрис. Руководители индустрии досуга интересуются, например, тем, как показать номер в отеле потребителям перед поездкой лучше, чем фотографии. «Я позволю вам телепортироваться в комнату, испытать ее, так что ваше решение будет основано на иммерсивном опыте. Посмотри в окно, посмотри, каким будет мой вид», — сказал Керрис.

Влияние на образование «будет огромным», сказал Керрис. Сегодня физическое местоположение означает, что некоторые школы в центре города могут не проводить щедрых экскурсий. «Городская школа вряд ли отправится на экскурсию на сафари в Африку», — размышлял он. «Я думаю, что виртуальные миры, [которые] органично связаны между собой, могут открыть новые возможности, позволяя всем иметь одинаковый опыт, независимо от того, в какой школе они учатся».

Он предположил, что аватар исследователя, такого как Джейн Гудолл, может «вдохновить на обучение». «Подумайте о том, что это делает для студента».

Делая упор на 3D, Керрис не продвигает виртуальную реальность или дополненную реальность, две технологии, на которых люди обычно сосредотачиваются. Эти вещи являются частью картины, но 3D не обязательно должно быть с надетой гарнитурой, заявил он.

По словам Керриса, сегодняшние инструменты виртуальной реальности, такие как видеоролики виртуальной реальности на YouTube, в которых используются обычные гарнитуры виртуальной реальности, весьма ограничены. «Это не бесшовно; это не легко; это не похоже на веб-сайт», — заметил он.

Помимо работы в Apple, Amazon и LucasFilm, Керрис некоторое время руководил маркетингом для разработчика гарнитур Avegant. Эти гарнитуры не были VR. Они были сделаны, чтобы быть частными, захватывающими киноэкранами, прикрепленными к вашему лицу с помощью проекционных чипов Texas Instruments DLP. Качество продукта, по словам Керриса, было «феноменальным», но его производство было слишком дорогим: в розницу оно стоило 800 долларов. И тот факт, что лазер проецируется на сетчатку, «всех пугал», сказал он. (Avegante все еще работает, разрабатывая технологию, называемую жидким кристаллом на кремнии.)

Что должно произойти, так это то, что сегодняшние разрозненные виртуальные среды получат эту жилистую ткань долларов США и связанных с ними технологий. «Они все отключены», — сказал Керрис о сегодняшней протометавселенной, такой как Oculus Rift. «Если бы это были просто веб-сайты, на которых вы могли бы бродить и испытать это, возможностей было бы намного больше».

Вместо того, чтобы иметь гарнитуру Oculus, «Если бы я мог испытать это, будучи окном в тот мир, — сказал он, поднимая свой смартфон, — шансы намного выше, я бы пошел проверить его. вне."

Сможет ли доллар сделать это возможным?

"Да. Целью USD является объединение трехмерных виртуальных миров».

Тем не менее, демонстрация гостиничных номеров не кажется толчком к развитию. Когда состоится мероприятие Тима Бернерса-Ли, которое сделает все это доступным для потребителей?

«Когда Интернет стал чем-то, что стало повсеместным для потребителей?» — риторически спросил он. «Ну, все началось с электронной почты, затем я мог отправить фотографию, а затем внезапно я смог снимать видео. Это как бы развивалось по ходу дела».

Керрис упомянул ранние дни мобильных веб-сайтов на iPhone, когда Стив Джобс впервые представил технологии в январе 2007 года на сцене Macworld, когда Керрис был с Apple, а позже в видеочате через Фейстайм,

«Что изменило, что позволило Интернету быть у каждого в кармане? Это как-то так», — сказал он. «Это почти произошло, когда вы этого не знали, и тогда люди принимают это как должное».