英伟达中国区Omniverse Lead何展:技术裂变,让元宇宙变得触手可及
发布时间:2022-12-31 | 发布者: 东东工作室 | 浏览次数: 次更多精彩内容,请关注 《2022网易未来大会》专题报道
记者:普子胥
12月19日-23日,2022网易未来大会盛大举行。2022网易未来大会全新升级为“未来周”,囊括三天的思想之夜和两天的峰会,包括思想之夜、创新力论坛、元宇宙论坛、内容力论坛、智美之夜F·F盛典。
12月22日下午元宇宙论坛上,英伟达中国区Omniverse Lead何展发表了《技术裂变让元宇宙触手可及》演讲,就近一年来英伟达技术与实践的突破,以及3D的标准和英伟达在AIGC相关技术储备进行了分享。
“这只老虎身上有350万根毛发,这样的制作通过算法优化之后,可以稳定在左上角30fps帧数上,单块GPU就可以完成。”何展表示,经过一年的发展,英伟达实现了Audio2Face的技术更迭,于AIGC生成的内容进化上取得了意想不到的进步:“去年我们在AIGC整个市场创造的价值大概80多亿美金。”
以下为英伟达中国区Omniverse Lead何展演讲实录:
大家下午好,和去年一样也是在年底,在网易未来大会上和大家分享内容,非常的开心,心情也特别的不一样,去年和今天也都不一样。
我们几位演讲嘉宾准备资料时都没有通过气,但内容契合度非常高。我今天的内容也是分几块和大家分享一下,我们过去一年里,如果看过去年网易元宇宙大会的分享,一年之后英伟达做了哪些事情,和大家汇报一下。第二部分,我会重点提3D的标准和AIGC,AIGC是大家热聊的话题,我们在这方面储备了一些技术也和大家分享一下。
这是我们年初我刚刚发布的路径追踪算法视频。这段视频展示了一只老虎在热带雨林里行走的镜头,大概几十秒,大家看到每一帧画面全部都是数字化完成的。这里一共有31亿个三角面,在这个过程中进行渲染。过程中,我们做了30亿次光线追踪、反射、折射。这只老虎身上有350万根毛发,这样的制作通过算法优化之后,可以稳定在左上角30fps帧数上,单块GPU就可以完成。背后是来自于我们对于算法优化的迭代,这是我们过去一年做的事情。
去年,我也和大家分享过我们AIGC的工具Audio2Face,也是在Omniverse平台上。今天我带来一个升级版,以前的Audio2Face顾名思义,我们和网易这方面合作也很多,今天分享一个Audio2Emotion,语音输入,驱动面部表情。现在可以看到AI进化到什么程度,大家看看这个视频。这是数字人,仍然是输入一段台词,已经识别到这个台词是看不到东西的一张脸,同时眼睛的情绪,所有情绪都通过这个算法完成。还有一些很搞笑的对话,这一类数据在去年的时间里和大家分享的时候,我是没有想象到,对于技术的探索在过去一些年里我们的AIGC生成的内容进化是非常快的。
今天主要和大家分享两块我们的一些想法和思路,一个是对于3D标准的探索。大家都知道不管是创建数字世界也好,还是做Metaverse世界也好,我们离不开大家一起共建,这里需要一些标准。比如今天我提到采用开源的全球标准USD,另外是分享一下我们在AIGC的探索。
首先看一下USD,通用场景描述。我们展示这样一个例子,如果大家想要创建类似这张图片的城市,大家都听说过BIM或者CIM这样的概念,做这样的项目时我们的设计师会用很多工具,非常知名伟大产品都在这上面,但它又隶属于不同公司,它的3D标准不一样。
我们看到一些问题,如果我们的标准没有统一,相对于每个人之间语言是不同的,隔了一堵墙。现在想要解决这个事情,就需要把每个设计环节打通,形成一个闭环。可以看到从概念的设计到计算,到仿真,到最后经验积累要形成一个闭环。闭环形成前提就需要一个标准,所以USD和OMNIVERSE作为结合就可以解决这件事情,不管用什么样不同的软件,都可以通过这样的标准交互同一个项目,通过OMNIVERSE强大的计算平台,这是我们想实现的。
最终达到的目的,我们通过USD技术连接不同地方、不同时区、不同职能部门的设计师,工程师,艺术家们,大家可以共建这个项目。这是我们今天分享的第一个,需要一个标准。同样的标准不单单是描述标准,还有交互、传递,像3D的GLTF,更多投资在这方面的研发中,不久的将来我们会在工业界推出一些新的内容,旨在打通孤岛。
这是我们和用户合作的,创建了火星表面的项目,不同工具有非常知名的软件,在不同的软件界面下实时操作一些系统,可以看到在概念设计的细节,在添加材质的过程中可以看到右侧实时渲染效果,这就是USD带来的颠覆性变革,希望未来大家会更多使用它。
第二部分和大家同步的是在AIGC上一些探索,给大家展示一下我们在过去一年里全球发布的工具。
这是我摘取的一些内容,去年我们在AIGC整个市场创造的价值大概80多亿美金,我们看到成长的倍速是非常快的,到2028年达到630亿美金。同样我们在亚太区也一样,年复合增长率在35%以上,这些数据已经告诉大家实际上是未来非常大的市场。它能带来什么:首先它可以创造新的产品和服务、改变新的营销模式、最终还会帮助我们企业决策者提供参考的依据,这个工作非常有意义。
这个工具叫Get3D,这个过程完全是通过输入照片,图片,就可以生成这些3D的模型,这样的算法叫Get3D,这是几个月之前我们研究院发布的,相信给美术、艺术师、设计团队提供很好的工具。二是Magic3D,它是用文本生成3D模型的。过去圈内公司也都做了很多工作,Magic3D可以达到通过一段文字,实时生成,可以看一下它的内容。这里也做了很多优化,比如输入一段文字怎么生成3D模型。虽然现在还不够快,我们再过一两年,它的进展速度是值得让大家期待的。大家可以看到一个月前,我们发布的3D match模型都是有颠覆性和变革性的,通过一些文字生成的3D模型。
Stable-Diffusion,我们已经做入Omniverse里,大家看到右侧的图可以通过输入一段文字,生成一些你想要的图片,同时导入到Omniverse中,得到完全逼真可视化的作品。
这里给大家展示一下艺术家通过这个功能能做到什么,或者能改变什么。这里就是界面,如果你想要设计室内装修效果图,我们输入一段文字,大家可以在里面通过深度学习方式检索到对应文字的所有数字资产。我们在右侧可以布置好所有一系列的,像花瓶,你怎么样布置,我们展示实时的通过AI工具来布置空间的视频。
最后,展示一下这段视频,也是我觉得很震撼:今年几个月前有一条新闻,科学家在研究月球形成的过程,大家看这段视频。这段视频通过计算机图形学的方式,展示了当时月球形成的过程。大家看这里数据量之大,你不可想象的。它的过程是这样的,当年有一个很大的碰撞,到了地球。碰撞之后,碰撞的物体裂成了两块,一块变成很大的一块,因为地球引力吸进去了。另外一小块被甩出来了,那一小块就是月球,所以我们整个用这种方式来做了一下整个过程的展示,非常震撼的。
我觉得一个宏观角度是在天文学角度,很多未解之秘没有探索,这个有4000块GPU复现了这个过程。用这个例子告诉大家,我们很多技术演变颠覆还远没有到达我们想象的结果。
契合我们的主题,技术裂变让我们很多事情变得触手可及,同样需要在这个过程不断修炼我们自己的产品也好,我们自己也好,包括疫情之下大家保持健康,我们怎么样在接下来时间里发挥企业自己个人的勤奋和努力。非常荣幸,而且非常感恩我们生活在这个时代,大家可以在这个时间里充分的贡献自己的力量。
这是我今天的分享,谢谢大家!