Email:ceo@lianyun.wang
Google也发布了开源库Draco,用于压缩和解压缩 3D 几何网格和点云。
目前,点云编码主要分为两种技术路线:基于视频的点云编码方法和基于几何的点云编码方法。基于视频的点云编码基于视觉体积视频编码V3C的框架,其方法主要涉及块(Patch)划分重组、几何和纹理图像的生成、填充及编码、辅助划分信息以及占位图的编码等新技术。基于几何的点云编码方法主要涉及八叉树表征、属性预处理、属性变换、变换/预测、属性量化、属性熵编码等新技术。
未来,点云编码技术发展将围绕下列方面展开:更高效的几何表征方法及属性预测技术、更灵活的编码速度配置,支持多种延迟场景,比如离线转码、云游戏、视频直播、视频会议等,兼容各终端设备,实现场景自适应,提高编码速度(帧间并行加速、预分析和后处理加速),智能码率控制等。
5)动态3D网格编码
3D网格已成为视觉沉浸媒体主要的数据格式之一。一个3D网格由以下部分组成:拓扑信息、几何信息、映射信息、顶点属性、属性映射。上述五部分中,若任一部分包含时变,即为动态网格。相较于静态网格,一个动态网格序列的数据量更为庞大,因为它包含大量随时间变化的信息。ISO/IEC JTC 1/SC 29/WG7正在计划开发一种新的3D网格压缩标准,用以压缩具有时变拓扑信息和可选时变属性映射的动态网格。该标准面向各类应用场景,如实时沉浸式通信、自由视点视频、AR和VR等。SC 29/WG7计划基于视觉体积视频编码(V3C)的框架进行技术集成和扩展。目前,国内标准工作组暂未开设相关专题组。
未来,3D网格编码技术的发展特点大致如下:支持静态和动态网格编码、支持有损和 无损压缩、支持随机访问、低延迟、具有容错能力、支持并行编码和解。
音频编码
当前,音频编码技术正在向深度学习等人工智能技术相结合的方向发展,通过深度学习算法提高音频编码的压缩码率,降低音频编码的复杂度。同时,为了满足虚拟现实等应用需求,提供沉浸式和虚实融合的应用体验,实现3DoF甚至6DoF的声音感受,灵活适用各类场景,从个性化音频制作到基于场景的个性化渲染回放,高质量、低延迟、自适应可变速率、定位准确的三维声编码技术成为当前音频编码技术的焦点,国内外均针对三维声编解码技术和标准开展了相布局和研究工作。
国际上,ISO/IEC JTC 1/SC 29下设WG6 “MPEG音频组”制定了MPEG-H 3D Audio(ISO/IEC 23008-3)标准,目前正在开展MPEG-I音频编码标准制定工作。