直观即时绘制3D模型可添加文本提示VAST又开源了
发布时间:2025-04-30 20:14:29| 浏览次数:
它改进了传统3D建模学习曲线陡峭、耗时耗力的痛点,尤其是在初期“打形”阶段。
直观绘制(Sketch Intuitively):在画布上随手勾勒简单的 2D 形状和线条。添加文本提示(Add Text Prompts):通过文字输入,赋予模型语义信息或特定属性。即时生成(Generate Instantly):实时看到基于草图和文本生成的 3D 模型,并随着输入的修改而动态更新。
Tripo Doodle是一款旨在彻底简化并加速3D创作流程的全新交互界面。
值得注意的是,Tripo Doodle并非从零构建,它巧妙地利用并扩展了VAST旗下TripoSG基础模型的能力,并针对实时、多模态交互进行了创新:
TripoSG是它的底层引擎,它是一图像到3D(Image-to-3D)形状生成模型。
该模型开创性地采用了大规模整流流 Transformer(Large-Scale Rectified Flow Transformer)架构,能在精选数据集上进行训练,直接从条件输入(基础模型通常是图像)生成高保线D网格。
Tripo Doodle的核心突破在于增强了TripoSG,使其能够理解并同时融合草图和文本两种输入模态。
自然语言提示则负责引导语义理解,影响物体的类型、风格和具体特征(例如,演示中加入“dragon”文本提示,就能将一个基础的怪兽草图转化为龙形态)。
为了实现“涂鸦”体验所必需的近乎实时的生成速度,Tripo Doodle采用了CFG Distillation等优化技术。
通过训练一个更快的“学生”模型来模拟(或“学习”)更大TripoSG 模型的输出能力,从而实现能在用户连续输入时进行快速推理和实时更新。
以下实例突显了Tripo Doodle如何将从概念到初步3D可视化的时间缩短至秒级,让3D创作变得前所未有的简单和有趣。
随着用户绘制、擦除、修改草图,或添加/更改文本提示(如将普通怪兽变为“乌龟怪兽”或带翅膀的“龙怪兽”),3D模型会动态、无缝地更新。
“Randomize”(随机化)功能允许用户基于同一份草图和文本输入,快速浏览多种不同的、合理的3D解释,极大地促进了创意发散。
即使是初次使用者,也能快速上手并创造出如“番茄怪兽”、“毛毛虫怪兽”等充满趣味(有时甚至出人意料)的作品,充分证明了其直观性和高效性。
VAST诚邀全球的研究者、开发者和创作者们,深入探索TripoSG及Tripo Doodle背后的技术理念,在其基础上构建应用。九游娱乐九游娱乐