上科大新科技助力冬奥现场转播，定格精彩瞬间

2022北京冬奥会正在如火如荼地进行。除了精彩绝伦、争分夺秒的竞赛项目为人们津津乐道，本届冬奥运中亮相的新技术也引起了广泛关注。场馆建设、绿电供应、人员训练、赛事转播……冬奥会上大量运用的科学技术让亿万观众在欣赏比赛的同时，也感受到科技冬奥的魅力。

上海科技大学智能视觉中心与其孵化企业叠境数字联合研发的“自由视角视频特效直播应用系统”服务了本届冬奥会比赛视频转播，为屏幕前的观众提供了现场自由视角的观赛体验。

针对冬奥会冰雪运动的特点，上海科技大学团队在已有的自由视角技术的算法研究成果基础上，打造了更快速可靠的“自由视角视频特效直播应用系统”，并作为幕后技术支持单位参与了冬奥会冰壶及大道速滑比赛自由视角技术的应用。他们参与设计了“冰立方”国家冰壶馆中的64套4K超高清自由视角采集系统，以及“冰丝带“国家速滑馆中的80套4K超高清自由视角采集系统，可以从多个方位和角度拍摄运动员的身影，并最终通过电视等媒体向观众呈现多视角的精彩比赛画面。

“自由视角视频特效直播应用系统”不仅可以让观众不再局限于从一个视角观看比赛，而且还配有“时间凝结”特效，可以定格精彩瞬间。在冰壶、速度滑冰两项赛事的转播中，运动员在投壶瞬间、过弯道时的画面会被定格，彷佛时间凝结，同时观赛视角开始转动，让观众可以更全面地了解运动员的位置关系以及瞬间运动的轨迹。

为了满足冬奥会赛事转播对系统应用的更高要求，上科大智能视觉中心将以往在计算机视觉、深度学习等领域的科研成果进行了快速转化，解决了应用过程中的多重挑战，实现了技术运用的突破。新技术解决了传统多相机标定的效率问题。借助三维标定算法，可以在有限的场景特征点信息下，进行快速标定，从而快速应对比赛期间相机变动等问题，解决了冰雪项目场地中特征简单而无法精确快速标定的应用难题。

目前智能视觉中心正在结合新兴的神经网络渲染技术和传统的视频分层渲染策略，使用深度学习方式，在大量运动场景数据的支持下，实现了稀疏相机部署条件下的虚拟视角生成，从而可以渲染出大视角范围、支持编辑的自由视角视频。该方法的相关研究成果已发表在2021年国际知名期刊ACM ToG - SIGGRAPH 2021特刊上，题为Editable Free-Viewpoint Video Using a Layered Neural Representation。

由上科大牵头，相关孵化企业一起实现了更自然的、可控的大范围自由视点生成，也进一步赋能了更具沉浸感的互动式视角体验，为打造精彩、非凡、卓越的冬奥盛会贡献一份科技力量。未来，自由视点生成渲染技术有望在智慧城市、元宇宙、电影特效，乃至体育教学等领域展现更宽广的应用前景。