信息学院在计算机视觉领域取得多项重要成果（第二期）

信息学院视觉与数据智能中心许岚课题组专注于计算机视觉、计算机图形学和计算摄像学的交叉研究，致力人体数字孪生、动态光场重建、人工现实、人工智能结合数字娱乐等研究领域，以实现对以人为中心的动静态场景的运动捕捉和感知理解。近日，该课题组在“IEEE计算机视觉与模式识别会议” (IEEE Conference on Computer Vision and Pattern Recognition，CVPR 2021) 上发表2篇论文，全面展示了他们在计算机视觉领域的最新研究成果。

稀疏多相机下网络驱动的实时人体动态渲染

动态人体四维重建和渲染在沉浸式VR / AR体验中至关重要，但现有方法仍旧无法从稀疏的多RGB相机中恢复出精细的几何形状和纹理结果。在这项研究中，课题组首次提出了一种实时的基于神经网络的人体动态捕捉和渲染系统，可以在任意视角下中生成高质量几何和高真实感纹理。该方法首先采用分层采样的策略通过隐式函数的方法实时生成任意视角的深度图，然后使用基于神经网络的纹理融合方法在新视角下生成高分辨率的逼真纹理图像。此外，该方法采用了基于神经网络的法向融合来增强几何细节，并且将几何和纹理渲染建模成一个多任务的学习框架。大量的实验证明了该方法能够高效实现人体动态行为的高质量几何重建和逼真的自由视角渲染。

该文章题目为NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras。信息学院2018级硕士研究生索鑫为第一作者，许岚为通讯作者，上海科技大学为第一完成单位。

基于多模态的单目相机复杂人体运动捕捉

复杂人体运动的动态捕捉具有重要的应用价值，但在单目拍摄下会遇到复杂的动作模式和严重的自遮挡难题。在这项研究中，课题组提出了ChallenCap——一种基于精细人体模型和多模态参考的单个RGB相机的复杂人体动态捕捉算法。该算法针对人体动态捕捉引入了学习和优化联合框架，提出了一个带有生成网络的混合运动推理框架，利用时序编解码器从稀疏视图参考中提取运动细节，利用运动判别器从非匹配标记参考中提取特定的复杂运动特征。研究人员进一步提出了运动优化模块，通过联合利用从多模态参考中学习到的运动细节，以及从输入图像参考中获得的可靠运动细节，来提高跟踪精度。该文章还构建了一个全新的具有丰富复杂运动的数据集，并在该数据集上进行大量实验，证明了所提出方法的有效性和鲁棒性。

该论文题为ChallenCap: Monocular 3D Capture of Challenging Human Performances using Multi-Modal References。信息学院2019级硕士研究生何彦男为第一作者，许岚为通讯作者。上海科技大学为第一完成单位。

CVPR是IEEE一年一度的国际学术会议，是计算机视觉领域三大代表性学术会议之一, 在国际上享有很高的声誉。根据谷歌学术指标（Google Scholar Metrics）截止至去年6月的统计数据， CVPR在所有谷歌收录刊物和会议中综合影响力排名第五。