3D Gaussian Splats 将被整合进3D资产格式glTF标准

什么是3D Gaussian Splats？

3D Gaussian Splats（3DGS）是一种在实景捕捉领域新兴的革命性3D表现技术。与传统的实体几何体不同，它利用辐射场（radiance fields）以前所未有的照片级真实感细节再现现实世界中复杂的环境。这种先进技术能够捕捉传统3D捕捉手段或摄影测量网格难以表现的细微特征，如薄结构、半透明材质、反射和复杂纹理。其高效渲染高保真空间内容的独特能力，已在地理空间、图形学及标准化社区中引发广泛关注。

通过标准化实现互操作性

此次，各领域关键组织认识到3D Gaussian Splats的巨大变革潜力，决定携手推进其在Khronos glTF标准中的整合。该联合倡议旨在建立一个标准化、高互操作性的框架，支持3D Gaussian Splats的编码与共享，确保其在各类平台和应用之间具备广泛的兼容性与易用性。

采用SPZ格式：高效、简洁、灵活

本次倡议的核心是采用Niantic Spatial提供的MIT许可开源文件格式——SPZ格式。SPZ格式是Niantic Labs于去年10月为打造“3D Gaussian Splats的JPG”而开源的技术。

SPZ可在保持视觉保真度与性能的同时，将3D Gaussian Splats的体积较PLY格式压缩高达90%。其简洁与高效特性在计算性能与高质量可视化之间实现了良好平衡，被认为非常适合广泛采用。结合SPZ的优势与glTF的灵活结构，不仅实现了互操作性和简便集成，还通过预留额外数据字段，确保了未来对多样化用户需求和定制工作流的可扩展性。

正在开发的新glTF扩展功能

目前，Khronos 3D Formats Working Group正在开发两个新扩展，用于在glTF资产中标准化并提供Gaussian Splats支持：

• KHR_gaussian_splatting：定义在glTF中存储3D Gaussian Splats的结构。它将Gaussian Splats作为具有位置、旋转、缩放、透明度、球面谐波函数（支持漫反射与镜面反射成分）等属性的点云图元进行处理。该结构支持“优雅降级”（graceful fallback），即在不完全支持该数据的环境中，仍可将其渲染为稀疏点云。
• KHR_gaussian_splatting_compression_spz：支持使用SPZ格式进行高效存储与流式传输。SPZ数据作为glTF图元内的缓冲区存储，可解码为属性使用，或直接传递至渲染管线。根据内容需求，可灵活编码0至3阶的球面谐波函数。

这些扩展旨在为glTF中长期支持3D Gaussian Splatting奠定基础。在确保实现高精度空间渲染的灵活、高性能平台的同时，也为技术成熟后向更高级功能演进预留空间。

面向实用化的挑战与改进

在验证该方法的过程中，联合团队使用多种地理空间数据集进行了全面评估。结果显示，在天线、围栏、输电线、轨道等地理空间中常见的细长线性地物上，会出现影响准确可视化与分析的视觉伪影。如何在不显著增加数据体积的前提下精确捕捉这些细长的splat，成为一大挑战。

为解决此问题，团队对SPZ格式的旋转精度进行了虽小但关键的改进，并发布了SPZ库2.0.0版本。改进后，SPZ的旋转通过归一化四元数中最小的三个分量进行编码，每个分量以10位有符号整数存储，最大分量通过推导得出，其索引以2位记录，从而优化了旋转精度。

后续评估表明，数据质量显著提升，验证了该方案在真实地理空间应用中具备实用性和高度适应性。

关于参与标准化工作

随着标准化工作的推进，Khronos Group积极欢迎更广泛社区的反馈与贡献。研究人员、开发者、标准制定者及3D技术专家的多元意见，对构建满足实际需求的稳健规范至关重要。

可通过成为Khronos Group成员，直接参与Khronos 3D Formats Working Group并主导扩展开发；也可通过参与OGC标准讨论，或在以下GitHub仓库中进行开放协作贡献：