热门:CVPR 2026 | BiMotion:用 B 样条曲线重新定义 3D 角色运动生成

机器之心Pro
2026-03-26 12:23:41

图 1:同一文本描述下,AnimateAnyMesh(上)与 BiMotion(下)的生成结果对比。离散帧采样导致动作语义中途断裂,而连续 B 样条曲线则将完整动作保留至序列末尾。


(资料图)

  • 论文标题:BiMotion: B-spline Motion for Text-guided Dynamic 3D Character Generation
  • 论文:https://arxiv.org/abs/2602.18873
  • 项目主页:https://wangmiaowei.github.io/BiMotion.github.io/
  • 代码:https://github.com/wangmiaowei/BiMotion
  • 数据集(Hugging Face):https://huggingface.co/datasets/miaoweiwang/BiMotion
  • 第一作者主页:https://wangmiaowei.github.io/

当你希望 AI 将 "士兵举起手臂,向后倾身,然后身体向前扑倒" 这段文字转化为一段 3D 角色动画,现有大多数方法给出的答案是:一段摇摇晃晃、语义残缺的短片段。这并非模型能力不足,问题的根源在于将运动表达为逐帧离散序列这一根本性的设计决策。

来自爱丁堡大学、康奈尔大学和密歇根大学的研究团队提出了 BiMotion:一种基于 B 样条曲线的文本驱动 3D 角色运动生成框架,即将在 CVPR 2026 正式发表,三位审稿人均给出 5/6 的高分评价。其核心主张只有一句话:运动是连续的,就应该用连续的方式来表达。

离散帧的困境:

为什么现有方法总在 "丢情节"

目前主流 3D 运动生成方法大多采用 VAE–潜在扩散模型架构,该架构具有固定的输入窗口,每次只能处理固定帧数的运动序列。面对长度各异的真实运动数据,现有方法只有两条路:

  • 裁剪(Cropping):将长序列切割为短片段,模型仅能学到局部子动作,而非完整语义。如文本描述 "转圈后停步",模型最终只能生成 "向右转"。
  • 均匀降采样(Downsampling):将 200 帧压缩至 16 帧再复原,导致动作卡顿抖动,如同一份低帧率的 GIF。

问题的本质在于:帧数仅代表时间采样密度,与动作语义本身无关。一只龙扇翅膀的动作,用 24 帧记录还是 120 帧记录,语义始终是 "扇翅膀"。逐帧离散表示,是这一领域长期忽视的根本性瓶颈。

B 样条:用少数控制点,刻画完整轨迹

BiMotion 的核心思路是将每个顶点随时间的运动轨迹,用一条连续可微的 B 样条曲线来表达。B 样条是计算机图形学中的经典参数曲线,仅用少量 "控制点" 便可描述一条光滑连续的轨迹;修改其中一个控制点只影响局部区域,不会破坏整体形状。

具体实现上,BiMotion 将任意长度 T 的顶点位移序列,通过带 Laplacian 正则化的最小二乘拟合,压缩为固定数量(默认 16 个)控制点。该压缩具有闭合解,在普通消费级 CPU 上,对 5 万顶点、200 帧的网格,不到一秒即可完成。Laplacian 正则专门处理序列极短时的欠定义问题,相比 Ridge 正则,其生成的插值更自然、过渡更流畅,消融实验对此给出了明确验证。

模型架构:从控制点到可生成的运动潜空间

图 2:BiMotion 整体架构。训练时(红色箭头)顶点差异转化为 B 样条控制点后编码为运动潜码;推理时(黑色箭头)从噪声采样得到控制点,经 B 样条重投影还原为任意长度的动画序列。

BiMotion 整体采用 VAE 加 Rectified Flow Matching 的两阶段架构。

B 样条 VAE

编码器将初始网格形状与控制点一并压缩为紧凑的运动潜码,其中包含两项关键设计:

  • 法线融合(Normal Fusion):将顶点法线信息以余弦相似度加权的方式融入点特征,有效解决网格上空间相近但内在结构属于不同部位(如手指关节)难以区分的问题,且无需依赖网格特定的拓扑结构,对任意拓扑均表现稳健。
  • 多层级控制点嵌入(Multi-level Control Point Embedding):受小波包分解启发,将控制点逐层分解为从粗到细的多级残差并分别编码。相比标准频率位置编码,这种方式能同时捕捉运动的全局节奏与局部细节(如狮子尾巴的微小摆动),重建误差大幅降低。

图 3:B 样条 VAE 架构。编码器(橙色区域)将初始形状与控制点压缩为潜码;解码器(绿色区域)重建控制点后通过 B 样条重投影得到顶点差异序列。

损失函数设计

VAE 训练采用三项联合损失:拟合损失(直接对齐控制点)、对应损失(通过 B 样条重投影对齐原始轨迹,早期训练收敛更快)、局部刚性损失(约束相邻顶点间距在各帧保持一致,防止形变时产生表面 "融化" 的视觉伪影)。三项损失各司其职、互为补充,共同保证运动的精度、连续性与形状一致性。

运动生成(Flow Matching DiT)

生成阶段基于 Rectified Flow 与 Diffusion Transformer(DiT),以初始网格的潜码和 CLIP 文本嵌入为条件,从高斯噪声中逐步去噪并采样出运动潜码,再经 VAE 解码器还原为完整动画序列。由于 B 样条重投影对帧数完全自由,推理时可按需输出任意长度的动画,如慢动作或子弹时间镜头。单张 A100 上平均推理时间仅为 4.4 秒。

BIMO 数据集:约 3.9 万条带文本标注的动态网格序列

为训练 BiMotion,团队整理并将开放 BIMO 数据集,包含约 39,000 条动态网格运动序列、总计逾 368 万帧,涵盖动物、机器人、人体、道具等多种类别。每条序列配有 3 条高质量文本描述,全部展开为 16 个 B 样条控制点存储,便于直接使用。

DeformingThings4D 部分来自 OmniMotionGPT 的人工标注;Objaverse 部分则通过基于 GPT-5 的自动标注流水线生成,配备生成器与质检器两个环节,确保描述的准确性和风格一致性。

实验结果:全面领先,效率显著提升

图 4:定性对比。左列:机器人与鹿的动作对比;右列:老虎与行走机器人的动作对比。红圈标注基线方法产生的形变伪影,BiMotion 均表现清晰自然。

团队在 20 个静态网格上与三类代表性方法展开全面对比:前馈生成方法 AnimateAnyMesh、动态高斯生成方法 GVFDiffusion,以及基于视频优化重建的 V2M4。网格来源涵盖 Meshy 生成资产与现有 3D 内容库,属于所有基线中最为严格的评测设置之一。

在 VBench 自动评估的 5 项指标中,BiMotion 在整体一致性、时序稳定性、美学质量和动作丰富度四项均居最优。其主体一致性略低于 AnimateAnyMesh,但消融实验已揭示该差距为虚高:后者生成的动作幅度极小、近乎静止,相邻帧高度相似,致使该指标人为偏高。

20 位参与者的用户研究中,BiMotion 在 "文本与动作匹配度"、"动作合理性"、"动作表现力" 三个维度的平均得分均超过 4.0/5.0,远高于所有对比方法。效率方面,网格顶点规模从 9K 增至 24K 时,BiMotion 生成时间仅从 3.7 秒微增至 4.6 秒,峰值显存从 1.1 GB 小幅升至 1.3 GB;而 AnimateAnyMesh 在同等条件下时间与显存均翻倍以上,充分体现 BiMotion 面向大规模网格的更强可扩展性。

局限性与未来展望

BiMotion 目前固定使用 16 个控制点,对高频、极复杂运动细节的表达能力仍有提升空间;同时基于固定网格拓扑的假设,暂不支持拓扑变化(如角色分裂、融合)的动画生成。当前 BIMO 数据集规模(约 3.9 万条)相较于视频或图像领域仍偏小,引入更大规模数据有望进一步提升质量与泛化能力。代码与 BIMO 数据集现已全部开源,欢迎社区共同建设。

作者简介:

Miaowei Wang, 目前是爱丁堡大学信息学院的博士研究生(2023年10月入学),研究方向为计算机视觉与计算机图形学中的可控运动表征(controllable motion representation)。他的博士研究由Amir Vaxman教授和Oisin Mac Aodha教授共同指导。 在此之前,他曾就读于密歇根大学电气工程与计算机科学系,在Jason Corso教授的指导下完成研究生学习。

责任编辑:508
热点新闻

深圳热线 版权所有 Copyright © 2022 SZONLINE(SZONLINE.CN) All Rights Reserved.邮箱:920 891 263 @qq.com

京ICP备2022016840号-96 营业执照公示信息