ECCV 2026 Oral 最佳论文奖 | 帝国理工学院提出HKTex：摆脱UV展开，用「不泼溅」的测地高斯重塑3D纹理

原创 CV君 2026-09-15 23:04 江苏

极小存储下的高保真神经几何渲染

十九世纪高斯在“绝妙定理”中便已揭示：弯曲的曲面注定无法在不产生拉伸与剪切的前提下完美展平为二维平面。然而数十年来，3D 渲染与内容创作却始终被传统 UV 展开（UV Mapping）所掣肘——接缝撕裂、纹理扭曲、分辨率不均，以及存储顶点 UV 坐标所带来的沉重冗余，一直是图形学难以根除的顽疾。

针对这一长期瓶颈，来自帝国理工学院的研究团队的方案斩获 ECCV 2026 最佳论文奖（Best Paper Award / Long Oral），提出了一种颠覆性的内蕴纹理表示法——HKTex（Heat Kernel Textures，热核纹理）。该方法跳出 UV 展开与屏幕泼溅的窠臼，直接在流形曲面上部署“测地高斯”，以平均不到 100 KB（UV 拟合 96.6 KB、多视角重建仅 78.7 KB）的极小体积，实现了高达 98.9 的 SSIM 与毫厘毕现的高保真纹理重构，为流形几何建模开辟了全新范式。

背景与动机：当 3D 高斯遇到弯曲网格

近期，3D 高斯泼溅（3DGS）凭借极高的渲染速度与出色的视觉质量重塑了三维重建领域。不少学者尝试将高斯基元引入三维网格的表面纹理建模，但现存方案大多面临两难选择：

  1. 退回 UV 空间：依然依赖预先展开的 UV 坐标系，在二维平面上泼溅高斯，传统 UV 映射的缺陷未获根本解决；

  2. 三维欧氏空间泼溅：标准 3D 高斯定义在环境欧氏空间中，三维刚性椭球基元无法自然弯折贴合复杂的弯曲流形；在梯度反向传播时，传统的欧氏位置更新极易让高斯点脱离几何表面漂浮在空气中。

此外，尽管神经隐式场（如基于坐标的 MLP、内在神经场 INFs）能够规避 UV 展开，但全局网络求值计算沉重，且往往伴随高频纹理过度平滑的问题。

如上图（Fig. 1）所示，HKTex 彻底摒弃了空间中的欧氏高斯假定，建立在离散黎曼几何之上，构建了一套从表示、滤波到优化均严格在网格流形上运转的完备管线。

方法详解：流形上的测地高斯

HKTex 将纹理显式表示为包含  个可优化热核的集合 。每个热核由以下元组参数化：

其中  为热源在网格表面上的重心坐标位置（所在三角形面索引与重心坐标）， 与  为控制热扩散方向与拉伸强度的旋转角和各向异性参数， 与  分别控制核的尺度截断阈值和边缘锐度， 则是该核对应的 RGB 颜色残差。

其整体前向与求值流程包含以下关键模块：

1. 连续各向异性热核与双调和距离滤波

在三角网格  上，截断到前  阶特征模态的连续各向异性热核公式为：

其中  与  为对应各向异性拉普拉斯-贝尔特拉米算子（ALBO）的特征值与特征函数， 为源点质量（实际实现中统一设为单位质量  以加速计算）。

如上图（Fig. 5）所示，由于物理热扩散会随着时间演化发生能量耗散，热源自身温度会衰减；研究团队首先除以中心热量  进行归一化，锁定中心峰值为 。更重要的是，有限谱截断（）会导致远端出现类似吉布斯现象的谱环状伪影（Spectral Ringing）。HKTex 引入基于各向同性特征基的双调和距离（Biharmonic Distance, ）进行高斯衰减加权：

强行约束局部支撑域，消除了远端高频振荡。随后通过软步进函数  进行截断滤波，使热核可以在弥散渐变与边缘清晰的测地椭球之间自由过渡。

2. 谱基参数化对齐与双线性插值

为避免在反向传播中对每个核的不同  频繁求解极其耗时的离散 ALBO 特征分解，HKTex 设计了参数化谱插值策略：

  • 在  构成的  半极坐标对数网格上预计算离散 ALBO 特征基；

  • 特征基对齐（Novel Alignment Pipeline）：不同各向异性矩阵求出的特征向量存在置换错位、旋转漂移与符号翻转的问题。HKTex 依次通过匈牙利算法（Hungarian Algorithm）恢复顺序、正交 Procrustes（SVD）对齐坐标系、以及符号矩阵纠正相位，使所有节点基底与各向同性 LBO 完全一致；

  • 在运行时，仅需通过双线性插值即可在毫秒级内重构出任意连续参数对应的特征属性。

3. 局域颜色合成与双调和 KNN 加速

全局评估  个表面碰撞点与  个热核具有  的计算复杂度。借助预计算的双调和谱嵌入坐标 ，研究团队利用 GPU 上的 FAISS 快速检索出距离当前光线交点最近的  个热核，将复杂度严格压低至 。最终表面颜色由局部贡献最大的  个核通过单位分解加权后，叠加至全局可学习底色  上：

4. 黎曼测地优化与流形感知自适应致密化

  • 位置更新（Geodesic Optimisation）：核中心梯度被投影到当前三角形的切空间  得到初始速度向量 ；借助基于 GPU 的 DisGeod 库，通过指数映射（Exponential Map）沿最直测地线在网格表面滑行更新，并将动量沿路径进行平行移动（Parallel Transport），保证热核永远贴合表面。

  • 剪枝与致密化（Pruning & Densification）：周期性统计各核在颜色合成中的命中频率与能量，修剪冗余基元。对于重构误差高于阈值的区域：小核执行原位克隆（Clone）；大核则结合网格局部第一主曲率方向与自身旋转角 ，计算切向偏置向量，利用流形指数映射沿主轴分裂为两个尺度减小 1.6 倍的新核（Split）。

实验结果与分析

评估实验基于 Objaverse 数据集中经过几何流形与材质过滤的数千个高质量网格模型展开，涵盖两大主要任务：UV 纹理拟合（313 个模型）与多视角图像反向渲染（162 个模型）。

任务一：UV 纹理拟合压缩

在该项实验中，HKTex 在严格匹配内存预算的条件下，与 InstantNGP、Intrinsic Neural Fields (INFs)、基于 2D 高斯泼溅的 ImageGS 以及顶点颜色（Vertex Textures）进行了对比。

如上表（Table 1）所示：

  • 存储与精度双优：HKTex 仅用平均约 4.8k 个核、96.6 KB 的极低存储，便在结构相似性指标上取得了全场最优的 SSIM 98.9 与 MS-SSIM 99.5，均方误差 MSE 降至 0.08 × 10⁻³。

  • 摆脱 UV 开销的降维打击：显式 2D GS 方法（ImageGS）即使提供 UV 图，依然需要为网格每个顶点永久存储 UV 坐标；当几何顶点增多时，这部分固定内存开销急剧压缩了高斯基元的存储预算，导致 ImageGS 分配到的高斯数量过少而表现崩溃；而 HKTex 完全内蕴，免去了所有外部拓扑开销。

定性可视化（Fig. 2）表明，神经场基线（INFs、InstantNGP）在高频纹理区域往往呈现明显的模糊过渡；而 HKTex 在相同或更小的存储预算下，呈现出锐利的图案边缘与贴合流形的自然细节。

任务二：多视角图像反向渲染与 PBR 集成

通过将 HKTex 包装为 Mitsuba 3 与 Dr.Jit 中的自定义可微纹理算子，模型可直接在可微光线追踪中根据多视角观测进行反向优化。

如上表（Table 2）所示，在从多视角渲染图恢复表面外观时，HKTex 斩获全指标最佳表现：

  • PSNR 达到 37.61 dB，感知指标 LPIPS 降至 2.1 × 10⁻²，全面优于基于哈希网格的 NVDiffRec 改良版以及高分辨率顶点颜色；

  • 整体存储仅需 78.73 KB，相比神经隐式基线（约 500~600 KB）降低了近一个数量级。

开源实践与技术特性

HKTex 的开源代码基于 PyTorch 构建，主要技术依赖与实现细节包括：

  • 核心依赖：利用 Triton 进行自定义算子代码生成，配合 GPU 版 faiss 实施极速双调和邻域检索；

  • 可微光线追踪：基于 mitsuba (v3) 与 drjit 构建自定义路径回放反向传播（PRB）光线积分器（光线追踪深度为 3）；

  • 流形测地计算：采用 DisGeod 库高效完成 GPU 上的指数映射与最直测地线追踪。

模型对每个网格需一次性预计算一套特征分解数据（平均耗时约 98 秒，约 370MB 缓存），该过程完全确定，推理与网络分发时无需随权重持久化保存，实际传输仅需包含约 4k 个热核参数的数十 KB 文件。

写在最后

HKTex 展现了一种跳出“欧氏空间约束”与“二维平面映射”的图形学建模新思路。它没有盲目沿用 3DGS 的投影栅格化范式，而是深入离散微分几何，将高斯分布的物理本质——热扩散核，原生地植入到三角网格的流形曲面上。

这种数学上的内蕴连续性，使其在功能上近乎于流形表面上的矢量扩散曲线（Diffusion Curves on Surfaces），不仅彻底终结了由 UV 展开引入的接缝与扭曲，也为未来三维流形上的紧凑参数化表示、可微矢量图形编辑提供了极具价值的理论基石。

入群加好友(v:xiao-ma-baoli)，请备注你感兴趣的技术方向
入群加好友(v:xiao-ma-baoli)，请备注你感兴趣的技术方向

跳转微信打开