开源已成为推动机器人和自动驾驶创新的重要力量。通过提供从仿真框架到AI模型的关键基础设施，英伟达正在推动协作开发，加速实现更安全、更强大的自主系统。

在本月的CES展会上，英伟达发布了一套全新的开放物理AI模型和框架，旨在加速人形机器人、自动驾驶汽车和其他物理AI实体的开发。这些工具覆盖了机器人开发的整个生命周期——从高保真度世界仿真和合成数据生成，到云原生编排和边缘部署，为开发者提供了一个模块化工具包，用于构建能够在真实世界中推理、学习和行动的自主系统。

OpenUSD提供了通用框架，标准化了3D数据在这些物理AI工具之间的共享方式，使开发者能够构建准确的数字孪生体，并在从仿真到部署的过程中无缝复用。基于OpenUSD构建的英伟达Omniverse库，为整个技术栈提供真实仿真的数据源。

英伟达物理AI技术栈的实际应用

在CES 2025展会上，开发者将英伟达物理AI技术栈从实验室带到了展厅，展示了从重型设备和工厂助手到社交和服务机器人的各类设备。

该技术栈整合了英伟达Cosmos世界模型、英伟达Isaac技术（包括全新的Isaac Lab-Arena开源框架用于策略评估）、英伟达Alpamayo开放产品组合（涵盖自动驾驶汽车的AI模型、仿真框架和物理AI数据集），以及英伟达OSMO框架用于跨计算环境的训练编排。

卡特彼勒的Cat AI助手采用英伟达Nemotron开放模型驱动智能体AI，运行在英伟达Jetson Thor边缘AI模块上，将自然语言交互直接带入重型车辆驾驶室。操作员可以通过"Hey Cat"式的提问获得逐步指导，还可以通过语音调整安全参数。

在后台，卡特彼勒使用Omniverse库构建工厂和作业现场的数字孪生体，帮助仿真布局、交通模式和多机器工作流程。这些洞察在部署到作业现场之前会反馈到设备和车队中，使AI辅助操作更加安全高效。

LEM外科展示了其Dynamis机器人手术系统，该系统已获FDA批准并在脊柱手术中得到常规临床应用。新一代系统采用英伟达Jetson AGX Thor进行计算，英伟达Holoscan进行实时传感器处理，英伟达Isaac医疗版训练其自主机械臂。

LEM外科还使用英伟达Cosmos Transfer——一个开放的、完全可定制的世界模型，支持基于物理的合成数据生成——来生成合成训练数据，并使用英伟达Isaac Sim框架进行数字孪生仿真。作为专为硬组织手术设计的双臂人形手术机器人，Dynamis系统模拟人类外科医生的灵巧性，能够以更高精度执行复杂的脊柱手术，减轻外科医生和手术助手的体力负担。

NEURA Robotics基于完整的英伟达技术栈构建认知机器人，在部署到家庭环境和工作场所之前，使用Isaac Sim和Isaac Lab在基于OpenUSD的数字孪生体中训练其4NE1人形机器人和MiPA服务机器人。该公司使用英伟达Isaac GR00T-Mimic对Isaac GR00T基础模型进行后训练。

此外，NEURA Robotics正与SAP和英伟达合作，将SAP的Joule智能体与其机器人集成，使用Mega英伟达Omniverse蓝图在复杂、逼真的操作场景中仿真和优化机器人行为，然后将这些智能体和行为部署到公司的Neuraverse生态系统以及现实世界的机器人车队中。

AgiBot使用英伟达Cosmos Predict 2作为其Genie Envisioner（GE-Sim）平台的世界建模主干——使该平台能够生成基于强大视觉和物理先验的动作条件视频。将这些数据与Isaac Sim和Isaac Lab相结合，以及在AgiBot自有数据上进行后训练，使得在Genie Envisioner中开发的策略能够更可靠地迁移到Genie2人形机器人和基于Jetson Thor的紧凑型桌面机器人上。

下一代机器人开发工具

英伟达最近推出了Agile，这是一个基于Isaac Lab的人形机器人运动操控引擎，为在Unitree G1和LimX Dynamics TRON等平台上训练强健的强化学习策略提供了完整的、从仿真到现实验证的工作流程。

机器人开发者可以使用Agile内置的任务配置、用于决策的马尔可夫决策过程数学模型、训练工具和确定性评估工具来调整策略。然后，开发者可以在Isaac Lab中对这些策略进行压力测试，并更可靠、高效地将运动和全身行为迁移到现实世界的机器人上。

社区合作与开放生态

Hugging Face和英伟达正通过将英伟达Isaac GR00T N模型和仿真框架集成到LeRobot生态系统中，将两个机器人社区联合起来。开发者现在可以直接在LeRobot中访问Isaac GR00T N1.6模型和Isaac Lab-Arena，以简化策略训练和评估。

此外，Hugging Face的开源Reachy 2人形机器人现已与英伟达Jetson Thor完全互操作，支持直接部署先进的视觉语言动作（VLA）模型，实现强健的现实世界性能。

ROBOTIS作为智能伺服器、工业执行器、机械手、开源人形平台和教育机器人套件的领先开发商，使用英伟达Isaac技术构建了一个开源的仿真到现实流水线。该工作流程从Isaac Sim中的高保真数据生成开始，使用GR00T-Mimic进行增强来扩展训练集，然后微调基于VLA的Isaac GR00T N模型，直接部署到硬件上——加速了从仿真到强健现实世界任务的转换。

Q&A

Q1：英伟达物理AI技术栈包含哪些核心组件？

A：英伟达物理AI技术栈包含英伟达Cosmos世界模型、Isaac技术（包括Isaac Lab-Arena开源框架）、Alpamayo开放产品组合（涵盖自动驾驶汽车的AI模型和仿真框架）、以及OSMO编排框架，覆盖从仿真到边缘部署的完整开发周期。

Q2：OpenUSD在机器人开发中起什么作用？

A：OpenUSD提供通用框架，标准化3D数据在物理AI工具间的共享方式，使开发者能够构建准确的数字孪生体，并在从仿真到部署过程中无缝复用。基于OpenUSD的Omniverse库为整个技术栈提供真实仿真的数据源。

Q3：这些技术在医疗机器人领域有哪些应用？

A：LEM外科的Dynamis机器人手术系统是典型应用，该系统已获FDA批准用于脊柱手术。它使用Jetson AGX Thor进行计算，Holoscan处理实时传感器数据，Isaac医疗版训练自主机械臂，并通过Cosmos Transfer生成合成训练数据，实现高精度复杂手术操作。