NVIDIA 发布 Cosmos3-H-Dreams 手术生成式模拟器
NVIDIA 发布 Cosmos3-H-Dreams，一个基于 Cosmos 3 的实时生成式手术模拟器，可从视频与机器人运动学学习胆囊切除术场景，并响应器械动作实时生成画面。
模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano，使用 28 个动作维度、832 x 480 视频和 10 Hz 对齐动作训练，经教师到学生蒸馏得到四步与两步两个检查点，配合 FlashDreams 流式推理可在单张 NVIDIA RTX PRO 6000 GPU 上交互运行。官方称这是首个基于临床胆囊切除术录像训练、支持实时运动学控制的生成式手术模拟器，并提供适配自有数据与控制器的方法。
关注点
读者可了解生成式手术模拟器如何从桌面任务走向临床场景，以及实时推理所需的蒸馏与缓存管理方法。