NVIDIA周锡健:沉浸式VR对性能要求极高

Category: 
NVIDIA周锡健:沉浸式VR对性能要求极高
2016年9月27

9月26日,2016中国VR生态峰会将在杭州梦想小镇盛大开幕,本次峰会由中国图象图形学学会指导,电科技网和传媒梦工场主办。本次大会聚集了来自全球500多名高层代表、200多家虚拟现实产业链的优秀公司和十多家知名投资团队等。
 
 
2016中国VR生态峰会以“感知·连接”为主题,旨在为全球VR领域精英人物、领军企业、知名机构及普通创业者搭建专业化的交流分享平台,共同探讨VR产业现状及发展趋势,共享VR发展成果。
 
 
近期,国务院在正式印发的《“十三五”国家科技创新规划》中指出,研发新一代互联网技术以及发展自然人机交互技术成首要目标,并且侧重点是智能感知与认知、虚实融合与自然交互。
 
 
随着虚拟现实(VR)技术被国务院再一次提及之时,工信部和发改委也在近日联合制定的《智能硬件产业创新发展专项行动》中表示,要将VR、AR列为发展重点。
 
 
NVIDIA中国区VR硬件业务开发负责人周锡健认为,VR就是一个对现实的虚拟化。那么VR游戏若想获得完全的体验,性能支持必定是首要需求。对开发而言,强大的开发SDK是必不可少的。NVIDIA利用多重解析度渲染可使虚幻4性能提升50%,NVIDIA PHysX模拟再现真实物理效果。而类似声纳原理的声源轨迹追踪技术使听觉体验更加精准。全方位重建VR体验中的图像、声音、触觉、互动四大感官体验。
 
以下为周锡健演讲全文:
 
大家好!我是来自英伟达的周锡健,负责中国区的VR业务。VR带来了很多巨大的机会,我相信在座很多朋友或者是媒体朋友都知道,但是VR到底拉动了哪一方面的图形新商机?
 
在这之前,我给大家讲两个案例。这幅图是我们冰岛一个开发商开发的应用,简单来说就是珠穆朗玛峰。大家有没有攀登过珠穆朗玛峰?我昨天上网查了一下,如果你要爬珠穆朗玛峰,首先你要有一笔非常大的资金,而且你还要用一年的时间锻炼你的身体,最后你还要承受有可能挂了的危险,才可以成功攀爬珠穆朗玛峰。
 
但如今VR的应用就可以轻松做到,像冰岛的开发商就可以开发出一个很逼真的珠穆朗玛峰的应用,这款游戏已经可以下载。大家说我也可以爬珠穆朗玛峰,我们也不一定要在家里体验珠穆朗玛峰,我跟大家讲一个案例,这是我们国美国公司一起合作的MASA2030。大家看过一个电影叫《火星救援》,我想在座有钱的朋友也不一定去火星,因为去火星是一张单程票。所以VR给我们带来以前不能感受到的内容,所以带来了很大的商机。
 
 
我们来看一看沉浸式VR体验
 
其实对我们的图形计算能力有一个非常好的性能需求,我们估算要有7.5倍的性能提升,才能满足沉浸式的VR体验。为什么这么说?首先我们平时在家里玩游戏的时候,我们可能用21或23寸的全高清显示器在玩,分辨率在1920×1080就不一样了。而VR要求的分辨率是3024×1680,所以体验完全不可以。
 
这是我们做的一个调查,其实这也是一个非常大的机会,因为我们认为到2020年,累计会有1亿台配备我们GeForce GTX VR Ready PC。技术是越来越进步的,这就是我们目前VR配备的PC的情况,大家知道我们最近有很多的显卡,但是到了2016年,当我们英伟达发布了新一代10系列,就可以看到我们一直到2020年,我们每一年的性能都会呈2-3倍的增长,才可以勉强满足VR对性能的强烈需求。
 

跟NVIDIA成为伙伴,在VR市场有什么样的优势?
 
我们可以看到我们的市场占有率是85%-100%,100%基本上我们在高端的市场特别是VR市场,用户的占有率非常高。当然我们全球有2亿的GeForce玩家。另外我们有1000多台的计算在不断测试驱动的稳定性和兼容性,其实在这里我可以有一个小的插曲,大家想想你在家里玩游戏突然死机,你肯定很气愤,大家会再重启玩。但是如果你在网吧,你老是死机,你受不了,你马上要换。所以可网吧市场占有率就可以看到我们有很多机器在工作。当然最后一个重点,我们超过300位的资深工程师在VR SDK工具上进行开发。
 
我们看看300多名分布在全球各地的工程师,他们到底在干什么?首先给大家看一张不好看的照片,其实虚拟现实对延迟非常短,目前最先进的一些头盔延迟已经是11MS,但是不好意思,你如果要投像上达到不头晕,要小于20MS,到底20MS是怎样的感觉?我们看到一下,20MS是1秒的五分之一,这是一件非常痛苦的事情。
 
我们NVIDIA呢?针对头盔的开发者和游戏开发者为全套的NVIDIA VRWORKS,它解决了来自于VR真实世界的四大感官元素的挑战,首先是图象,还有声音,还有触觉,还有物理的特效。我们觉得如果满足了这四大感官元素,那么我们可以有一个比较逼真和比较舒适的体验。
 
实际上我们刚才提到的关于四大感官元素的挑战,其实我们也有解决方案的。看一下视觉,听觉上用了轨迹追踪的技术模仿声音,触觉也采用了云物理技术进行虚拟结算,待会儿可以跟大家介绍一个小的案例,可以看到物理运算繁衍到真实的触控感觉是怎么样。这是我们全套为VR开发者量身定做的综合性SDK。最近VRWORKS又加入一个360的全景直播,24、32路等拼接,我们都有一些完整的解决方面来解决这个问题。
 
这里花比较短的时间讲一讲我们的VRWORKS对图象方面的优化。大家可以看到最右边的图象,它是一个不扭曲的正常图片,但是你们知道戴了一个VR的头盔,其实你的眼睛跟屏幕之间有一个凸透镜,凸透镜就会有变化,所以我们的GPU要算出左边的图象,算出一个畸变的图象,最后得出一个正确的图象,也就是负负得正。我们人眼视野应该保持最高的清晰度,大家可以看到红色部分是在你的视野边缘,所以它不那么清楚也可以接受。大家可以看到右边的图象,它直接给变化了。所以相当于我们用了50分的东西出了100分的图象。我们采用了一个叫MIS的特效,我们很多开发者已经用了这个东西。我们刚才讲人眼看见清的地方,就是中间的中格,它是视野最清晰的地方,把周边的分辨率降低,可以加大渲染的效果。
 
给大家讲一个案例,我们北京有一个做房地产的客户,大家知道房地产是比较热门的,所以虚拟房地产也很热门。我们的客户用了一个礼拜的时间,性能直接提升30%,他还有多余的力量,他就用多余的性能改善光照,所以它非常逼真。但是这么好的技术,让你把几千行代码给你,你也会疯掉。但实际上我们跟全球的两大引擎开发商,我们把这些技术整合在引擎里面,所以开发者只要调用引擎里面的插件,就可以带来性能的提升。通过这些技术,我们甚至可以达到1.5倍的像素及2倍的性能提升,这都是可以测试到了。
 
刚才我们简单讲了一下关于图象方面的优化,当你觉得你看到的东西不错的时候,其实你想我对听到的东西也有一些追求。传统的音效模式是这样的,有个音源,有个人源。我举个例子,我跟党总讲话,我跟他讲话,我就可以直接传到他。其实声音不是这样,它应该像一个池塘一样的,你丢一个石头,就是一圈一圈的。所以我们用了一个显卡上的很著名的技术——轨迹技术。很简单,还是以党总为例,我是一个音源,在我的口里发出1600条射线,这个射线发出16次,最后12次追踪发到党总这里,因为这里有玻璃等东西,它追踪12次之后的声音是最真实的。这里我们有一个方程,有输入、输出、运算单元,我们输入有声音源、声音位置与方向、环境的几何结构、环境的物理性质,输出还有声音的遮挡、吸收与反射、HRTFs、基于距离的衰减、混响等等,这些技术最后也会集成到游戏引擎,游戏开发者就可以比较方便地做这些事情。
 
还有一个非常重要的,因为真实世界是有很多的物理规则,所以在虚拟的世界里面,它同样应该有一些物理规则要遵守。我们花一些时间讲一下六大物理效果,有PHYSX、FLEX、爆破,下面的就比较简单,我们叫HAIRWORKS,我们的头发很多,所以你头动的时候,我们计算出来以后,它就非常逼真,还有我们的FLOW和CLOTH,所以我们有这么多了以后,你看到的虚拟世界的东西不那么机械了,你不小心打破一个瓶子,它的水就会流下来,怎么流?完全是遵守物理规则的。
 
如果遵守物理规则之后,我们还可以做一些什么东西?其实我们还可以做VR的Touch。我们的第三方开发商完全可以利用我们的物理引擎,计算出来的效果就可以挂入他们的设备,就可以有更逼真的物理效果。我简单讲一下,我在这边突然有一个手榴弹,在离我8米的地方爆炸。爆炸了就可以有碎片,物理就可以计算这个碎片到底插到你的脸还是背。大概到了1秒钟有一个冲击波,以一个圈的形式打到你肚子,然后在外面还有一圈有一圈,然后我们可以算出来这些东西,实际上已经有人在做这方面的东西。
 
其实刚才我们讲了很多复杂或者是比较乏味,让人听起来想睡觉的技术,虽然它们多么有用。我们NVIDIA做了一个模型,我们都是在一个模型里面得到游戏,我们来看一看FUN HOUSE到底怎么样。刚才说的物理效果都是在这里,这个是水,这个是碎片,这个用的爆破,因为用疯狂的机枪扫射它,你可以把这个瓶子打个粉碎。谢谢。这么精彩的一款游戏,其实已经公开发布了,是免费的。
 
有这么好的技术,我们当然不想就到这里玩完就算了。其实这个游戏里面包含了非常多的效果,包括粒子、洋流、头发、爆破等等功能。有一个好的消息是,现在我们开放了很多的MOD,可以改成自己的FUN HOUSE。当然最好玩的一个地方,就是我们已经把这个游戏的代码,在develop里面把作为的代码开发,游戏开发者可以去改代码,也可以创造出更好的游戏。其实这个游戏开发出来的时候,感兴趣的不是用户,而是一些主题公园和线下体验店,你们可以感觉到这款游戏在这些店里面多么受欢迎。
 
我们刚才说的VR应用是集中在游戏上,大家可以看到VRWORKS上有加速VR应用的开发,大家可以在医疗、能源、教育、游戏、社群等都可以看到英伟达的足迹。
 
我们最后说一说NVIDIA帮助构建一个强大的VR Ecosystem,我们有针对VR的头盔、平台&应用商店,包括我们把VR技术直接给到应用开发者,我们还用视觉计算做一些输入和步骤,最后转码加速,我们都做了很多的努力。

相关文章

VRrOOm Wechat