信息学院在计算机图形学领域取得系列重要突破

ON2022-12-10CATEGORY科研进展

作为计算机图形学领域的一个基础研究问题,图形渲染技术在生产生活、科学研究的方方面面都有着十分广泛的应用,是经济社会数字化发展的重要基础。神经辐射场NeRF)为代表的神经网络渲染新范式发展迅猛,成为了新一代计算机图形学的核心技术。近期,上海科技大学信息学院在神经辐射场研究方面取得系列突破,引领了神经辐射场的芯片架构以及高精度数字人混合建模渲染的前沿研究,相关成果被计算机图形学领域知名学术会议ACM SIGGRAPH ASIA 2022接收。


面向神经渲染的专用处理器芯片架构

NeRF的神经图形渲染以其流程简洁生成效果出众等优势,成为了未来面向AR/VR以及元宇宙等各类应用的三维数字内容生成和渲染的主流方案。然而NeRF神经渲染算法架构不同于现有的各类卷积神经网络,且运算量巨大。因此,一款专用的支持NeRF算法的处理器芯片对于神经渲染技术真正落地至关重要。

针对上述需求,信息学院娄鑫、周平强和虞晶怡三个课题组通力合作,通过2年多的努力开发了一款面向NeRF算法的神经渲染处理器架构ICARUS,实现了NeRF渲染的全流程。同时, ICARUS在设计过程中运用了诸如近似计算等多项技术,实现了更高的能效比。研究人员通过Synopsys公司的芯片验证平台HAPS对ICARUS架构进行了原型验证。 基于40nm CMOS工艺的评估结果表明,ICARUS在执行基于NeRF的神经渲染任务时,能效大幅领先于现有的GPU和CPU。相关成果题为ICARUS: A Specialized Architecture for Neural Radiance Field Rendering发表娄鑫组博士生饶朝林为论文第一作者,娄鑫、虞晶怡为通讯作者,上海科技大学为唯一完成单位。

原文链接:https://arxiv.org/pdf/2203.01414.pdf


1:(a)基于NeRF的神经渲染原理。(bICARUS在HAPS上验证。(cICARUS架构潜在的应用。


2:ICARUS架构示意图。

3:基于HAPS的原型验证系统


智能数字人系列成果

近年来随着元宇宙逐渐兴起,数字人技术快速发展。信息学院团队提出了基于神经辐射场和光场建模相结合的智能数字人系列成果。

解决将神经网络动态场景重建渲染整合到传统的基于网格模型的下游应用中的难题,信息学院许岚课题组虞晶怡课题组合作提出了一套全新的基于NeRF下动态写实数字人的快速建模、动态压缩和高质量渲染系统,高效地将神经网络优化技术融入到传统的动画网格模型工作流中。成果数倍数量级地提升了传统动态三维重建流程的效率,通过神经渲染引擎技术,为业内动静态三维重建提供全新的解决方案,将极大推动三维重建、人工现实和数字人等行业的发展。相关成果题为Human Performance Modeling and Rendering via Neural Animated Mesh”发表,信息学院博士生赵富强为论文第一作者,许岚、虞晶怡为通讯作者,上海科技大学为第一完成单位。

原文链接:https://arxiv.org/pdf/2209.08468.pdf


1:基于NeRF的快速建模与动态压缩(左),高精度的神经网络渲染(中),应用到AR/VR设备中(右)


2:神经表面重建器架构示意图

 

为解决数字人轻量化实时动态驱动的难题,虞晶怡课题组与许岚课题组提出了视频驱动神经面部资产以实现微表情级别的实时面部捕捉方法(NPFA)。该方法将首创的4D PBR扫描技术与神经网络表达相结合,得到真实而细腻的视频驱动人脸效果。极大程度地降低了高精度数字人制作与驱动的成本,减少了数字人艺术家的大量重复工作,丰富了数字人的应用场景,有力推动游戏影视、虚拟现实和数字人等行业的发展。相关成果以题为Video-driven Neural Physically-based Facial Asset for ProductionACM SIGGRAPH ASIA 2022大会接收为Technical Paper - Journal Track并受邀作报告分享。信息学院博士生张龙文、硕士生曾初啸、硕士生张启煊论文共同第一作者,许岚、虞晶怡为通讯作者,上海科技大学为第一完成单位。

原文链接:https://arxiv.org/abs/2202.05592


3:自主知识产权的穹顶光场系统首次实现动态毛孔级PBR材质扫描

4:由神经网络输出的面部资产仅需要简单的RGB图像就可驱动,真实反映毛孔挤压与血流变化


解决解剖学正确角色生成的问题,信息学院虞晶怡课题组、张玉瑶课题组上海市第九人民医院王旭东团队合力构建了一个同时对脸部外表面与内部头骨建模的系统,构建出符合解剖学规则的参数化(Parametric)人脸生成模型SCULPTOR。SCULPTOR可以运用照片人脸模型等素材,通过对头骨、脸部几何形状和脸部外观进行联合建模,生成高质量和有特色的面部细节,并以此为依据进一步调整角色相貌。同时,SCULPTOR也可以根据骨骼形状推测角色的相貌,做物理模拟甚至将两个角色融合。该方法将被应用于数字人创作、整形预测等多个方向,为文化娱乐与医疗美容行业提供新的技术解决方案。相关成果以题为SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric GeneratorACM SIGGRAPH ASIA 2022大会接收为Technical Paper - Journal Track并受邀作报告分享。信息学院硕士生仇泽淞、博士生李玉玮论文共同第一作者,信息学院张玉瑶、虞晶怡,上海市第九人民医院王旭东为共同通讯作者,上海科技大学为第一完成单位。

原文链接:https://arxiv.org/abs/2209.06423


5:SCULPTOR工作建立了解剖学正确的参数化人脸模型,能够生成更加丰富准确又多元化的角色

6:应用示意图,实现通过一张照片,即可推测下颌骨形状与姿势