全部模型资源
  • 全部模型资源
  • - 交通工具
  • - 动物昆虫
  • - 场景\道具模型
  • - 建筑模型
  • - 植物模型
  • - 武器模型
  • - 独家资源库
  • - 科幻模型
  • - 角色动画库
  • - 角色模型
  • 游戏开发知识博客

UltraTex:给无贴图的 3D 模型生成 PBR 贴图的新方法

2026 年 11 月 18 日(当地时间)——香港中文大学(深圳)与打造 3D 生成 AI 服务 Meshy 的 Meshy AI 研究团队,公开了为 3D 模型生成 PBR 贴图的方法「UltraTex」的论文。

UltraTex 是什么

UltraTex 是一项研究:从没有颜色的 3D 模型(网格)加一张参考图,生成反照率(Base Color)、金属度与粗糙度三张贴图。论文已被 SIGGRAPH Asia 2026(ACM Transactions on Graphics)录用。

该方法生成的贴图支持 PBR,因此在游戏引擎或渲染器里改变光照,也能得到与材质相符的反射。

一张木桌上堆满带完整 PBR 材质的物件:陶罐、金属器皿、卷轴、木箱与一个小人偶,皮革、金属与陶瓷的反射各不相同

既有方法的课题

从图像推断 PBR 贴图是件难事,光看外观判断不出来。比如画面里一处明亮的地方,无法区分它是下面哪一种:

  • 抛光过的金属
  • 有光泽的涂装
  • 照上去的灯光
  • 单纯颜色较亮的图案

论文指出,把多方向生成的图像贴到网格上的传统方法,虽然反照率质量在提高,金属度与粗糙度还留着两个问题。

  • 把非金属的部分判成金属
  • 粗糙度变得平坦,出不来细小的变化

UltraTex 的思路

美术做贴图时会一边想「这块是什么材质」「光怎么打上去」,一边把贴图做出来。

UltraTex 沿用这个顺序,把关于材质与光的知识编进生成过程,从而更准确地推断金属度与粗糙度。

另外,SIGGRAPH Asia 2026 还录用了吉林大学与打造 3D 生成 AI「Tripo」的 VAST 等团队的「UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing」。

名字里都带「UltraTex」,但那是另一篇以 2K 生成多视图图像的论文。本刊的技术论文预览文章里介绍过它。

主要特点

分两阶段生成贴图

UltraTex 采用两阶段结构:先做反照率,再以这张反照率为线索推断金属度与粗糙度。生成时用扩散模型做出把模型从 6 个方向看过去的图像(多视图)。

贴图生成出来的流程

  • 生成反照率:同时生成 6 个方向的反照率,以及表现表面细小凹凸的着色法线
  • 推断金属度与粗糙度:依据生成的反照率、参考图与材质相关信息,生成金属度与粗糙度贴图
  • 超分并放到 UV 上:把各方向的贴图超分放大,铺到 4K 的 UV 贴图上
  • 补全看不到的部分:6 个方向看不到的位置,用同一批作者此前的研究「LumiTex」的新视角生成模型补上

把反照率与法线一起生成,就能拿形状信息作线索,反照率的细节也会更细。

用 VLM 读出「这是什么材质」

推断金属度与粗糙度时,借用了处理图像与语言的视觉语言模型(VLM)的知识。

把 VLM 内部的特征用一个轻量适配器转成表示材质的 token 交给扩散模型,就能给出「这块是皮革」「这里是金属配件」这样的零件级线索。论文里 VLM 用的是 Qwen3.5-4B。

用固定光照下的渲染来训练

金属度与粗糙度的贴图,单看它本身很难分辨材质差异。所以 UltraTex 把「按正解材质在固定光照下渲染出的图像」当作学习目标,让模型从高光强度与反射锐度的差异里学到材质的细微变化。

训练用了从 Objaverse-XL 与 TexVerse 选出的 13 万个 3D 模型;反照率用与金属度、粗糙度用的模型,各用 32 张 NVIDIA A100 训练了约 2 天。

转成法线贴图,以及支持多张参考图

论文还介绍了两个应用方向。

  • 转成法线贴图:生成的着色法线可以转成常见的切线空间法线贴图。在不改动原网格形状的前提下,加上头盔雕刻、五官、发丝走向这类细小凹凸
  • 多张参考图:稍作改动,就能扩展成用多方向拍摄的参考图作为输入,减少被遮挡的部分与材质判断上的含糊

与既有方法的比较

论文与商用 3D 生成服务、开源方法都做了比较。

比较时间的说明

比较是为投稿 SIGGRAPH Asia 2026 在 2026 年 4 月做的。对手是 Meshy 6、TripoAI v3.1 等当时的版本,不含 2026 年 8 月公开的 Meshy 7 等。

金属度与粗糙度能否区分

下图是同一张参考图下各方法的生成结果。每组的左边是颜色(反照率),右边两张小图从上到下是金属度与粗糙度;金属部分分对的标○,没分对的标×。

网格排列大量模型,每个模型给出反照率与金属度、粗糙度三张小图,列标签为 Hyper3D v2.0、Hunyuan3D v3.1、Meshy 6(HD)、Tripo v3.1(4K)与 Ours,金属部分分对或分错的分别标有圆圈与叉号

比如上排的花瓶,Hyper3D 的金属度贴图把金属主体的大部分标成了黑(当作非金属),Meshy 6 则几乎没出金属度。UltraTex 的金属度贴图里,金属主体是白、皮带是黑,分得很清楚。

与商用服务的比较

31 位职业 3D 建模师在不知道结果出自哪种方法的情况下,按 1~5 分打分。

方法 平均 渲染 反照率 金属度 粗糙度
UltraTex 4.31 4.55 4.33 4.21 4.11
Seed3D 2.0 3.20 2.96 3.29 3.36 3.17
Meshy 6(HD) 3.13 3.36 3.41 2.96 2.83
TripoAI v3.1(4K) 2.95 3.17 3.03 3.04 2.53
Hunyuan3D v3.1 2.85 3.01 3.01 2.85 2.55
Hyper3D v2.0 2.19 1.97 1.93 2.39 2.47

论文中的用户调查结果(1~5 分,越高评价越好)

研究页面还给出了并列两组结果让人选哪个更好的数据。向右伸的蓝色是被选 UltraTex 的比例,向左伸的灰色是选了对方方法的比例,中间的浅蓝是平手。

三组两两对照:Meshy 6 与 Ours、TripoAI v3.1 与 Ours、Seed3D 2.0 与 Ours,每组给出反照率与金属度、粗糙度贴图

并列比较的结果(%)

对比对象 选了 UltraTex 平手 选了对方
Hyper3D v2.0 89% 6% 5%
Hunyuan3D v3.1 83% 14% 3%
TripoAI v3.1 83% 12% 5%
Meshy 6 71% 21% 8%
Seed3D 2.0 66% 19% 15%

与开源方法的比较

在 Objaverse-XL 的 152 个模型上,把生成的贴图与正解做比较。数值是表示图像质量的 FID,越低越接近正解。

方法 贴图图像 改变光照后的渲染
UltraTex 144.3 111.2
TRELLIS.2 158.7 158.4
LumiTex 159.5 144.4
Hunyuan3D-2.1 189.2 —

目前的局限与注意事项

UltraTex 的局限与公开状况

  • 能处理的材质范围:贴图只有反照率、金属度与粗糙度三张,表现不了透明、半透明与焦散。宝石只能用反照率的图案加较低的粗糙度做出接近的外观
  • 风格化资产:为了让画面好看而把金属度与粗糙度用在物理上不正确数值上的 UGC 资产,有时无法正确区分材质
  • 代码与模型尚未公开:代码运行在 Meshy AI 的内部机制之上,是否公开取决于 Meshy 的内部审核与批准。虽然有 Hugging Face 页面,但截至本文撰写时(2026 年 11 月 19 日),模型权重尚未上传

Meshy 上可用的 PBR 贴图生成

研究页面在说明 UltraTex 的代码运行在 Meshy AI 内部处理平台之上后,也提到可以在 meshy.ai 上试用基于 Meshy 7 模型的 8K 贴图生成。

这个「8K Texture」是 2026 年 7 月 22 日公开的功能,生成 8,192×8,192 像素的基色。

绿色背景上印着巨大的 8K TEXTURE 字样,右侧是一个戴兜帽的绿皮哥布林角色

该功能基于 Meshy 定位为新贴图算法的「Multiview Diffusion」,不是从低分辨率放大,而是一开始就以 8K 生成。

同时,去除贴图里映出的阴影与高光的处理(delighting)也有改善,因此在任何游戏引擎的光照下都能正确显示。

同一只青花果纹双耳瓷瓶并排两张,左侧标注 4K、右侧标注 8K,右侧花纹与釉面细节更清晰

8K 贴图的制作步骤

  • 在 Meshy 的 Workspace 里生成或读入模型
  • 在贴图面板把分辨率设为「8K」(也可选 2K、4K)
  • 生成(约 2 分钟)
  • 按主要 3D 工具对应的格式导出

另外,Meshy 的博客也把 8K Texture 的输出定位为基色,并没有提到 UltraTex。UltraTex 论文的输出是含金属度、粗糙度的 4K UV 贴图,8K Texture 功能里用到了多少 UltraTex 的技术也不清楚。

此外,2026 年 10 月 30 日还公开了面向风格化游戏资产的贴图模式「Meshy N1」。N1 的输出是 2K 基色;需要写实资产或更细细节时,官方建议用 Meshy 7。

关于使用

UltraTex 是研究发表,截至本文撰写时(2026 年 11 月 19 日),还不能在自己的环境里使用代码或模型。

Meshy 的 8K Texture 可在付费方案里使用,免费方案只能以较低分辨率生成。

Meshy 的价格方案与积分用法已在 Meshy 7.1 的文章里整理,请参阅那篇。


UltraTex: Aligning Physical Knowledge for High-Fidelity PBR Texture Generation(arXiv)

UltraTex(研究页面)

Meshy Textures Just Went Native 8K(官方博客)

次世代模型库 - 3D模型资源下载

评论留言