2026 年 11 月 18 日(当地时间)——香港中文大学(深圳)与打造 3D 生成 AI 服务 Meshy 的 Meshy AI 研究团队,公开了为 3D 模型生成 PBR 贴图的方法「UltraTex」的论文。
UltraTex 是什么
UltraTex 是一项研究:从没有颜色的 3D 模型(网格)加一张参考图,生成反照率(Base Color)、金属度与粗糙度三张贴图。论文已被 SIGGRAPH Asia 2026(ACM Transactions on Graphics)录用。
该方法生成的贴图支持 PBR,因此在游戏引擎或渲染器里改变光照,也能得到与材质相符的反射。

既有方法的课题
从图像推断 PBR 贴图是件难事,光看外观判断不出来。比如画面里一处明亮的地方,无法区分它是下面哪一种:
- 抛光过的金属
- 有光泽的涂装
- 照上去的灯光
- 单纯颜色较亮的图案
论文指出,把多方向生成的图像贴到网格上的传统方法,虽然反照率质量在提高,金属度与粗糙度还留着两个问题。
- 把非金属的部分判成金属
- 粗糙度变得平坦,出不来细小的变化
UltraTex 的思路
美术做贴图时会一边想「这块是什么材质」「光怎么打上去」,一边把贴图做出来。
UltraTex 沿用这个顺序,把关于材质与光的知识编进生成过程,从而更准确地推断金属度与粗糙度。
另外,SIGGRAPH Asia 2026 还录用了吉林大学与打造 3D 生成 AI「Tripo」的 VAST 等团队的「UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing」。
名字里都带「UltraTex」,但那是另一篇以 2K 生成多视图图像的论文。本刊的技术论文预览文章里介绍过它。
主要特点
分两阶段生成贴图
UltraTex 采用两阶段结构:先做反照率,再以这张反照率为线索推断金属度与粗糙度。生成时用扩散模型做出把模型从 6 个方向看过去的图像(多视图)。
贴图生成出来的流程
- 生成反照率:同时生成 6 个方向的反照率,以及表现表面细小凹凸的着色法线
- 推断金属度与粗糙度:依据生成的反照率、参考图与材质相关信息,生成金属度与粗糙度贴图
- 超分并放到 UV 上:把各方向的贴图超分放大,铺到 4K 的 UV 贴图上
- 补全看不到的部分:6 个方向看不到的位置,用同一批作者此前的研究「LumiTex」的新视角生成模型补上
把反照率与法线一起生成,就能拿形状信息作线索,反照率的细节也会更细。
用 VLM 读出「这是什么材质」
推断金属度与粗糙度时,借用了处理图像与语言的视觉语言模型(VLM)的知识。
把 VLM 内部的特征用一个轻量适配器转成表示材质的 token 交给扩散模型,就能给出「这块是皮革」「这里是金属配件」这样的零件级线索。论文里 VLM 用的是 Qwen3.5-4B。
用固定光照下的渲染来训练
金属度与粗糙度的贴图,单看它本身很难分辨材质差异。所以 UltraTex 把「按正解材质在固定光照下渲染出的图像」当作学习目标,让模型从高光强度与反射锐度的差异里学到材质的细微变化。
训练用了从 Objaverse-XL 与 TexVerse 选出的 13 万个 3D 模型;反照率用与金属度、粗糙度用的模型,各用 32 张 NVIDIA A100 训练了约 2 天。
转成法线贴图,以及支持多张参考图
论文还介绍了两个应用方向。
- 转成法线贴图:生成的着色法线可以转成常见的切线空间法线贴图。在不改动原网格形状的前提下,加上头盔雕刻、五官、发丝走向这类细小凹凸
- 多张参考图:稍作改动,就能扩展成用多方向拍摄的参考图作为输入,减少被遮挡的部分与材质判断上的含糊
与既有方法的比较
论文与商用 3D 生成服务、开源方法都做了比较。
比较时间的说明
比较是为投稿 SIGGRAPH Asia 2026 在 2026 年 4 月做的。对手是 Meshy 6、TripoAI v3.1 等当时的版本,不含 2026 年 8 月公开的 Meshy 7 等。
金属度与粗糙度能否区分
下图是同一张参考图下各方法的生成结果。每组的左边是颜色(反照率),右边两张小图从上到下是金属度与粗糙度;金属部分分对的标○,没分对的标×。

比如上排的花瓶,Hyper3D 的金属度贴图把金属主体的大部分标成了黑(当作非金属),Meshy 6 则几乎没出金属度。UltraTex 的金属度贴图里,金属主体是白、皮带是黑,分得很清楚。
与商用服务的比较
31 位职业 3D 建模师在不知道结果出自哪种方法的情况下,按 1~5 分打分。
| 方法 | 平均 | 渲染 | 反照率 | 金属度 | 粗糙度 |
|---|---|---|---|---|---|
| UltraTex | 4.31 | 4.55 | 4.33 | 4.21 | 4.11 |
| Seed3D 2.0 | 3.20 | 2.96 | 3.29 | 3.36 | 3.17 |
| Meshy 6(HD) | 3.13 | 3.36 | 3.41 | 2.96 | 2.83 |
| TripoAI v3.1(4K) | 2.95 | 3.17 | 3.03 | 3.04 | 2.53 |
| Hunyuan3D v3.1 | 2.85 | 3.01 | 3.01 | 2.85 | 2.55 |
| Hyper3D v2.0 | 2.19 | 1.97 | 1.93 | 2.39 | 2.47 |
论文中的用户调查结果(1~5 分,越高评价越好)
研究页面还给出了并列两组结果让人选哪个更好的数据。向右伸的蓝色是被选 UltraTex 的比例,向左伸的灰色是选了对方方法的比例,中间的浅蓝是平手。

并列比较的结果(%)
| 对比对象 | 选了 UltraTex | 平手 | 选了对方 |
|---|---|---|---|
| Hyper3D v2.0 | 89% | 6% | 5% |
| Hunyuan3D v3.1 | 83% | 14% | 3% |
| TripoAI v3.1 | 83% | 12% | 5% |
| Meshy 6 | 71% | 21% | 8% |
| Seed3D 2.0 | 66% | 19% | 15% |
与开源方法的比较
在 Objaverse-XL 的 152 个模型上,把生成的贴图与正解做比较。数值是表示图像质量的 FID,越低越接近正解。
| 方法 | 贴图图像 | 改变光照后的渲染 |
|---|---|---|
| UltraTex | 144.3 | 111.2 |
| TRELLIS.2 | 158.7 | 158.4 |
| LumiTex | 159.5 | 144.4 |
| Hunyuan3D-2.1 | 189.2 | — |
目前的局限与注意事项
UltraTex 的局限与公开状况
- 能处理的材质范围:贴图只有反照率、金属度与粗糙度三张,表现不了透明、半透明与焦散。宝石只能用反照率的图案加较低的粗糙度做出接近的外观
- 风格化资产:为了让画面好看而把金属度与粗糙度用在物理上不正确数值上的 UGC 资产,有时无法正确区分材质
- 代码与模型尚未公开:代码运行在 Meshy AI 的内部机制之上,是否公开取决于 Meshy 的内部审核与批准。虽然有 Hugging Face 页面,但截至本文撰写时(2026 年 11 月 19 日),模型权重尚未上传
Meshy 上可用的 PBR 贴图生成
研究页面在说明 UltraTex 的代码运行在 Meshy AI 内部处理平台之上后,也提到可以在 meshy.ai 上试用基于 Meshy 7 模型的 8K 贴图生成。
这个「8K Texture」是 2026 年 7 月 22 日公开的功能,生成 8,192×8,192 像素的基色。

该功能基于 Meshy 定位为新贴图算法的「Multiview Diffusion」,不是从低分辨率放大,而是一开始就以 8K 生成。
同时,去除贴图里映出的阴影与高光的处理(delighting)也有改善,因此在任何游戏引擎的光照下都能正确显示。

8K 贴图的制作步骤
- 在 Meshy 的 Workspace 里生成或读入模型
- 在贴图面板把分辨率设为「8K」(也可选 2K、4K)
- 生成(约 2 分钟)
- 按主要 3D 工具对应的格式导出
另外,Meshy 的博客也把 8K Texture 的输出定位为基色,并没有提到 UltraTex。UltraTex 论文的输出是含金属度、粗糙度的 4K UV 贴图,8K Texture 功能里用到了多少 UltraTex 的技术也不清楚。
此外,2026 年 10 月 30 日还公开了面向风格化游戏资产的贴图模式「Meshy N1」。N1 的输出是 2K 基色;需要写实资产或更细细节时,官方建议用 Meshy 7。
关于使用
UltraTex 是研究发表,截至本文撰写时(2026 年 11 月 19 日),还不能在自己的环境里使用代码或模型。
Meshy 的 8K Texture 可在付费方案里使用,免费方案只能以较低分辨率生成。
Meshy 的价格方案与积分用法已在 Meshy 7.1 的文章里整理,请参阅那篇。
UltraTex: Aligning Physical Knowledge for High-Fidelity PBR Texture Generation(arXiv)


评论留言