从机器人学到具身智能¶

前言：十年前我们讨论怎样造机器人，今天我们讨论机器人怎样学习¶

2016年，YY硕的《机器人工程师学习计划》在中文互联网流传开来，也是我大一时对机器人领域建立宏观认识的入门材料。

在那个时代，机器人工程师更像一名“系统总师”：既要懂机械结构和电机，也要懂嵌入式、控制、视觉、Linux、ROS和软件工程。学习路径往往从焊接电路板、调试单片机、参加机器人比赛开始，再逐步进入运动学、动力学、定位、规划和控制。

十年以后，机器人的基本问题并没有消失，但研究和工程范式已经发生了明显变化。

MuJoCo、Isaac Lab、SAPIEN等仿真平台成为机器人学习的重要基础设施；强化学习开始能够生成四足机器人和人形机器人的复杂运动技能；模仿学习逐渐成为机械臂、双臂机器人和灵巧操作的重要技术路线。与此同时，大模型进入机器人系统，视觉—语言—动作模型、世界模型等概念相继出现。新版《机器人工程师学习计划》也有人开始维护和贡献。

今天，我们也有了陈天行维护的《Embodied-AI-Guide》，以及ScaleLab整理的《具身智能简易入门指南》。前者更接近一个持续更新的中文百科全书和资源索引，后者则列了一些VLA领域的代表性工作组织当前的研究版图。

珠玉在前，论材料的广度和深度，以上资料已经足够大家花数周阅读、用数年深入。本章不打算再写一份百科全书，而是希望从AI专业学生的视角出发，回答几个更直接的问题：

传统机器人学与具身智能究竟是什么关系？强化学习在机器人运动控制中取得了怎样的突破？模仿学习为什么正在成为机器人操作的主流路线？VLA和世界模型又真正改变了什么？

接下来，让我们一起走过一段从Robotics到Embodied AI的短途旅程。

一、什么是具身智能¶

最简单的理解，具身智能就是拥有身体的智能。

但这里的“拥有身体”，并不是给一个语言模型安装机械臂，也不是让模型能够调用机器人接口。它意味着智能体必须通过一个具体的身体感知世界、改变世界，并承担行动产生的后果。

具身智能首先是身体与感知。

人形、四足、双轮足、轮式移动底盘、固定机械臂、移动双臂机器人，都有不同的自由度和运动范围，一个算法在固定机械臂上能够工作，并不意味着它能直接迁移到人形机器人上。

不同传感器所提供的世界也不同。RGB图像擅长表达颜色、纹理和语义，深度相机提供空间结构，激光雷达适合地图构建，编码器提供关节状态，IMU反映身体运动，力传感器和触觉传感器则告诉机器人是否已经发生接触。

具身智能的第二部分是智能与学习。

传统机器人控制擅长解决稳定、精确和可预测的问题。例如，机器人已经知道机械臂模型、目标位置和环境结构，就可以通过运动学、轨迹规划、PID、阻抗控制或模型预测控制完成动作。

但传统方法通常依赖人工建模和预先定义的问题边界。面对开放世界，工程师不可能为每一种杯子、每一种光照、每一种桌面布局和每一种失败情况分别编写规则。

于是，机器人研究开始借鉴深度学习和大模型的经验：不再完全依赖人工定义的规则，而是让机器人从数据和交互中获得策略。

传统控制回答的是：

在目标和模型已经确定的条件下，怎样稳定地执行动作？

具身智能试图进一步回答：

当目标由自然语言给出、环境不断变化、对象从未见过时，机器人怎样理解任务、选择技能，并根据执行结果调整行为？

因此，具身智能不是传统机器人的反面，而是机器人学试图从结构化环境走向开放环境时形成的新研究范式。

二、历史沿革：从Robotics到Embodied AI¶

Robotics在做什么¶

传统机器人学的核心，是把一个复杂的物理系统拆解成若干可以建模和验证的模块。

一套典型机器人系统通常包括：

感知系统从相机、雷达和传感器中提取信息；状态估计系统判断机器人和物体的位置；规划系统决定机器人应该走哪条路径；控制系统把轨迹转换成电机命令；硬件系统负责真正执行动作。

这形成了经典的“感知—规划—控制”流水线。

这种方法的优势是明确、可解释和可调试。如果机械臂没有抓住物体，工程师可以检查是目标检测错了、位姿估计偏了、轨迹规划失败了，还是夹爪控制出了问题。

传统机器人学尤其擅长处理结构化环境。在工业生产线上，物体位置固定、工装经过设计、照明条件稳定，机器人可以数万次重复同一个动作。此时，精确模型和确定性控制往往比复杂的学习系统更加可靠。

机器人学几十年的积累，也形成了一套极其坚实的知识体系：运动学描述机器人能够到达哪里，动力学描述机器人运动时受到什么力，控制理论保证系统稳定，状态估计处理传感器噪声，规划算法处理碰撞与约束。

即使在2026年，大量机器人最底层的关节控制仍然依赖PID、前馈、阻抗控制、LQR或MPC。学习方法更适合用于难以精确建模的部分，而不是直接取代所有传统控制。

传统机器人学的限制也来自它的优点：系统被拆分得越清楚，接口中的人工假设就越多。传统机器人学并非没有智能，而是它的智能主要存在于工程师事先设计的模型、模块和约束中。

Embodied AI在做什么¶

Embodied AI的变化，是把一部分原本由工程师显式编写的知识，转移到数据和学习过程中。

强化学习和模仿学习分别形成了两条重要路线。

强化学习让机器人通过奖励和试错形成行为。工程师不再规定每一步应该怎样移动，而是规定什么结果更好，让策略在大量交互中寻找动作。

模仿学习则让机器人直接学习人类或专家的示范。工程师不必写出“怎样折衣服”的全部规则，只需要采集足够多的人类演示，让模型学习观测到动作的映射。

进入大模型时代后，机器人学习又出现了一次变化。

过去，一个模型往往只服务于一台机器人、一个任务和一个环境；现在的研究希望把来自不同任务、不同机器人甚至互联网的数据合并起来，训练能够迁移到更多场景的通用策略。

因此，从Robotics到Embodied AI，真正发生的变化并不是“模型替代机器人学”，而是知识的来源发生了变化：

传统机器人依赖人工建立的模型和规则；机器人学习依赖示范、奖励和交互数据；VLA与世界模型则希望利用更大规模的数据，形成可以跨任务复用的视觉、语义和动作先验。

三、强化学习：让机器人通过试错获得动作能力¶

关于强化学习，可以先学习《强化学习的数学原理》，建立马尔可夫决策过程、贝尔曼方程、价值函数和策略梯度的基础，再通过CS 185/285补充深度强化学习、Actor-Critic、离线强化学习和机器人应用。

强化学习是什么¶

简单来说，强化学习将机器人与环境的交互描述为一个序列决策过程。

机器人在时刻 \(t\) 观察状态 \(s_t\)，采取动作 \(a_t\) ，环境转移到新状态 \(s_{t+1}\)，并返回奖励 \(r_t\)。策略的目标不是让当前一步的奖励最大，而是最大化长期累积回报：\(\max_\pi \mathbb{E}\left[\sum_{t=0}^{T}\gamma^t r_t\right]\)

这里的策略 \(\pi\) 描述机器人在不同状态下应该采取什么动作，\(\gamma\) 则用于平衡当前收益和长期收益。

这意味着强化学习不需要人类告诉机器人每一步的正确动作，只需要定义怎样的结果是好的。

例如，训练四足机器人行走时，可以奖励机器人按照目标速度向前移动、保持身体稳定，同时惩罚跌倒、关节越界、足端打滑和动作剧烈变化。

机器人通过大量试错，逐渐找到一套能够获得较高长期奖励的策略。

强化学习最吸引人的地方，是它可能发现人类没有显式写出的动作方式。传统控制器通常从动力学模型和工程经验出发，而强化学习可以在巨大的策略空间中进行优化。

但“只需要写奖励”并不意味着问题变简单了。

如果奖励函数设计不合理，机器人就可能找到工程师没有预料到的投机行为。

所以强化学习的难点，往往不是把PPO代码运行起来，而是定义状态、动作、奖励、终止条件和训练分布，使学到的策略符合真正的任务目标。

强化学习在locomotion中取得了怎样的突破¶

这部分的内容如果感兴趣可以参考 RoboParty Lab‬ ‌ 的Konw how 深入学习。

Locomotion 泛指机器人利用身体在环境中移动。在当前具身智能研究中，最受关注的是四足机器人和人形机器人的腿足运动。

腿足运动本质上是一个高度动态的接触控制问题。机器人每走一步，足端都会与地面建立或解除接触，摩擦力、冲击、身体惯性、关节力矩和地面形变共同决定机器人是否稳定。传统运动控制的思路，大体可以概括为“建模 + 求解”：先建立机器人动力学模型，再写出目标函数和约束条件，最后把问题转化成一个最优控制问题，例如 LIP/ZMP、WBC、MPC、Convex MPC 等方法。

对于传统控制来说，需要显式建立 \(X_{t+1}=F(X_t,U_t)\) 这样的动力学模型；而对于强化学习来说，仿真环境中的 step() 函数隐式承担了这个动力学模型的角色。

强化学习的突破，正是从这里开始的。

它没有完全绕过机器人动力学，而是把“显式建模和在线求解”转移到了“仿真采样和离线优化”中。机器人在仿真中反复试错，观察状态、输出动作、获得奖励，再通过 PPO、Actor-Critic 等算法更新策略。

强化学习首先在四足机器人上取得明显突破，原因并不难理解。相比人形机器人，四足机器人有四条腿，硬件也更早成熟。因此，它成为 RL locomotion 早期探索的形态。

以 ANYmal、MIT Mini Cheetah、Unitree 系列等平台为代表，研究者逐渐跑通了一条典型路线：

先在仿真中训练策略，再通过领域随机化缩小 Sim-to-Real gap，最后部署到真实机器人上。训练时会随机化质量、摩擦、控制延迟、电机参数、地形高度、传感器噪声等因素，让策略不要过度依赖某一个精确仿真环境。四足机器人证明了：只要硬件、仿真、随机化和状态估计足够可靠，强化学习策略就可以真正跨过 Sim-to-Real gap，在真实腿足机器人上稳定运行。

四足机器人主要追求鲁棒移动，人形机器人则多了一个更高目标：动作不仅要稳，还要像人。这就引出了 DeepMimic、AMP、Human2Humanoid、BeyondMimic 这一条路线。

DeepMimic 的核心思想，是把动作捕捉数据和强化学习结合起来。强化学习的作用，就是让机器人在跟踪参考轨迹的同时学会平衡和抗扰动。AMP 则进一步把“轨迹跟踪”变成“风格学习”：通过判别器学习人类动作数据的运动风格，让机器人在完成速度跟踪等任务的同时，动作看起来更像人。再往后，Human2Humanoid、OmniH2O、BeyondMimic 等工作开始把人体动作重映射、全身遥操作、RL 训练和真实人形机器人部署组合起来，使人形机器人不只是会走，而是能完成更复杂的全身动作。

当机器人能够稳定跟踪单个动作后，下一个问题自然出现：能不能让一个策略学会很多动作？

早期方法往往一个策略对应一种动作，比如走路、跑步、跳跃、蹲起、跳舞。这样做可以展示效果，但离通用人形 controller 还很远。真正有用的人形机器人，需要一个底层控制器能够覆盖大量动作，并根据上层任务灵活切换。

SONIC 这类工作探索的就是大规模动作跟踪：扩大动作数据集、并行环境数、网络容量和训练算力，让一个策略学会大量人类动作。

除此之外，只依靠本体感知的策略，可以让机器人具备很强的鲁棒盲走能力，但它终究只能“踩到了才知道”。如果要稳定上楼梯、跨沟、跳上高台、通过稀疏落脚点，就需要加入外部感知。

于是 locomotion 进入 perceptive locomotion 阶段。这一阶段的典型思路，是在本体感知策略之外加入深度图、高程图或局部地形图，让机器人提前感知前方地形。使机器人能够完成盲走难以完成的上下台阶、跳沟和爬高台等任务。

以上只是对强化学习在Locomotion领域的应用的简单梳理，在后续的章节，你也能看到强化学习在模仿学习后训练中的应用。

四、模仿学习：机器人为什么需要人类示范¶

行为克隆：把机器人学习变成监督学习¶

与强化学习相比，模仿学习采用了另一种思路：

人类或专家控制器已经知道怎样完成任务，机器人只需要观察专家的状态—动作序列，并学习相同的行为。

最基础的方法是行为克隆。给定图像、机器人状态和专家动作，训练一个模型预测下一步动作：\(\hat a_t=\pi_\theta(o_t)\)

训练过程与普通监督学习非常相似。输入可以是相机图像和关节状态，标签则是遥操作人员当时给出的机械臂动作。

它的优点非常直接：不需要设计复杂奖励函数，适合学习那些人类很容易演示、却很难写成公式的任务。

例如，怎样展开一件皱褶的衣服，怎样握住塑料袋的边缘，怎样双手配合把物体装进狭窄容器。这些任务涉及柔性物体、接触和复杂动作顺序，很难完全依赖规则和精确模型解决。

行为克隆长期以来却被认为是一种“过于简单”的方法。在WhynotTV对徐丹飞的采访中，他回忆自己在DeepMind实习期间逐渐相信Behavior Cloning能够真正工作，而Deepmind本身却因为对强化学习的信仰错过了模仿学习飞速发展的早期使时期，在后续才反应过来，是个很有趣的故事。

从行为克隆到VLA¶

传统行为克隆模型通常只服务于一个任务或一台机器人。它可以学习“把杯子放到盒子里”，也可以学习“把方块推到目标位置”，但它往往难以理解开放语言，也难以把在一个机器人、一个场景中学到的经验迁移到另一台机器人或另一个家庭环境中。

这背后的原因很直接：传统行为克隆学到的是一个相对局部的映射。

给定图像、关节状态和语言指令，模型输出下一步动作。训练数据如果只覆盖某个厨房、某种桌面、某台机械臂，那么模型自然只能在这个分布附近工作。一旦物体换了、桌面布局变了、语言指令更开放，或者机器人本体发生变化，模型就很容易失效。

VLA，也就是 Vision-Language-Action 模型，试图把这个问题往前推进一步。StarVLA 中给出了一个比较清晰的统一形式：VLA 可以被看作一个策略 \(\pi\)，将多模态观测历史和语言指令映射为未来的 action chunk，同时也可以预测一些辅助输出，例如未来图像、子任务描述或中间推理结果。

VLA 出现的直接原因，是机器人数据太少，而互联网视觉语言数据太多。

传统机器人策略只能从机器人数据中学习。可是机器人数据采集成本很高，大模型时代给机器人提供了另一种可能：VLM 已经从互联网图文数据中学到了大量语义知识，知道什么是杯子、抽屉、碗、垃圾桶。VLA 的核心想法，就是把这种预训练语义能力迁移到机器人控制中。早期 OpenVLA、RT-2、π0 等工作都沿着这条思路展开：先利用大规模视觉语言模型获得视觉和语言表征，再通过机器人动作数据把这些表征连接到真实动作。OpenVLA 是一个 7B 参数开源 VLA，使用互联网视觉语言数据和多样机器人示范共同训练，并强调可以通过微调适配新任务。

现在很多 VLA 方法虽然名字不同，但结构上大体可以抽象成两部分：第一部分是 backbone，通常是 VLM，用来处理图像、语言和多模态输入。第二部分是 action head，用来把 backbone 的表示转换成机器人动作。

于是，VLA 的主流范式大致可以分成三类。

第一类是 VLM 后接动作头，直接预测动作。最直观的做法，是把 VLM 当作视觉语言特征提取器，然后在后面接一个 action head，让模型直接输出动作。这个动作可以有两种表示方式。一种是把动作离散化成 token，让模型像生成语言一样生成动作 token。RT-1、RT-2、OpenVLA 等路线都与这种思路有关。另一种是直接回归连续动作值，直接用 L1 loss 监督动作。

第二类方法不再把动作看作单点回归，而是把动作看成一个需要生成的连续分布。代表性路线是 Diffusion Policy 和 π 系列。Diffusion Policy 的思想是：机器人动作不是一个确定值，而是一段连续轨迹。模型从噪声开始逐步去噪，生成未来若干步动作。这样可以更好地表达多峰动作分布，也能生成更平滑的动作序列。π0 则进一步把 flow matching 引入 VLA。在 flow matching 或 diffusion VLA 中，模型学习：从当前图像和语言条件出发，合理的未来动作分布长什么样？

第三类方法是双系统架构。这类方法不要求一个模型同时完成所有事情，而是把系统分成两个层次：VLM 负责高层语义理解、任务分解和慢速推理；DiT、diffusion 或 flow-matching action head 负责快速生成低层动作。经典的比如 GR00T 。

不过，VLA 远远不是终点。现在还没有真正能类比LLM的大规模预训练的VLA出现。这个路还在走，还不知道要走多远。

从VLA到世界模型¶

在传统意义上，世界模型更接近一个前向动力学模型：给定当前状态和动作，预测未来状态。

这个思想在机器人学和强化学习里并不新。模型预测控制、Dreamer 系列方法，本质上都在利用某种世界模型帮助智能体规划和学习。

但在大模型时代，世界模型的含义被扩展了。

视频生成模型可以生成未来视频，VLM 可以理解场景语义，VLA 可以直接输出动作。于是一个自然的问题出现了：能不能把“预测未来”和“生成动作”放到同一个模型里？

这就是 World Action Model，简称 WAM，逐渐出现的原因。

VLA 的典型形式是：

当前观测 + 语言指令 → 动作

WAM 更进一步：

当前观测 + 语言指令 + 候选动作 / 目标 → 未来状态 + 可执行动作

具体来说，Motus、Cosmos Policy、Fast-WAM、AHA-WAM、DreamZero、BagelVLA、Cosmos 3 等工作，都是在探索怎样把“生成动作”和“预测未来”结合起来。有的工作尝试把视频生成模型改造成机器人策略，有的工作让模型同时预测未来画面和机器人动作，有的工作把长时程世界预测与短时程动作控制分开，还有的工作希望通过预训练世界模型减少真实机器人数据需求。它们的共同方向是：机器人模型不应只回答“下一步该怎么动”，还应该理解“这样动之后世界会怎样变化”。因此，WAM 可以看作 VLA 的进一步扩展：VLA 强调从视觉和语言生成动作，WAM 则进一步强调在生成动作的同时预测行动后果。

五、强化学习与模仿学习不是对手，而是两种互补的知识来源¶

强化学习的知识来自试错，模仿学习的知识来自示范。

强化学习擅长回答：

在给定目标和环境反馈时，怎样找到能够获得更高长期回报的行为？

模仿学习擅长回答：

人类已经知道怎样做时，怎样把这种行为传递给机器人？

如果只使用强化学习，机器人通常需要巨大的交互量，奖励函数也很难设计；如果只使用模仿学习，机器人又容易受限于示范数据，一旦进入训练数据没有覆盖的状态，就可能缺乏恢复能力，也很难超过示范者本身。

因此，越来越多机器人系统采用组合路线：先用模仿学习从人类示范中获得基础技能，让机器人至少接近正确行为；再用强化学习根据任务成功率、执行效率等反馈继续优化策略；部署过程中再收集失败案例、人工接管和纠正数据，把这些经验重新放回训练循环中。

在 manipulation 中，这条路线尤其明显。 π*0.6 强调“从经验中学习”，使用 RECAP 方法把示范、on-policy 数据和人工接管纠正统一进自我改进流程，使 VLA 能够在真实部署中继续提升。 SimpleVLA-RL 则说明，RL 可以作为 VLA 超越监督微调的重要工具：它在 OpenVLA-OFT 上进行强化学习训练，在 LIBERO、RoboTwin 和真实任务中提升长程规划与泛化能力，并观察到策略发现训练数据中未显式出现的新动作模式。

这说明，未来机器人学习的主流问题很可能不再是“RL 还是 IL”，而是怎样让示范、试错、纠正和真实部署数据形成闭环。

因此，未来的机器人系统会越来越像一个自进化的数据飞轮：

示范提供起点，试错带来改进，人工纠正修复失败，真实部署扩展分布，新的数据再反过来训练更强的策略。

具身智能真正困难的地方，也许不只是训练出一个强大的 VLA，而是建立这样一个能够持续采集经验、筛选经验、利用经验并安全改进的闭环系统。

六、对具身智能的信仰¶

今天的具身智能领域充满了乱象。

资本的涌入让这个方向迅速升温，也让很多概念被过度包装。一个机械臂接上大模型，就可以被称为具身智能；一个机器人完成固定场景下的演示，就可能被宣传为通用机器人；一个还没有稳定落地的模型范式，也会被包装成通向 AGI 的必经之路。

但是我们总要对技术有点信仰。

有人相信，只要把视觉语言模型扩大到足够规模，机器人就会自然获得通用操作能力；有人相信，人形机器人将成为人工智能最终的身体；也有人相信，只要采集足够多的遥操作数据，机器人领域就能复现语言模型的 Scaling Law。

信仰哪条技术路线都不重要，重要的是我们要看到遥远的那颗北极星。

过去几十年，自动化主要发生在工厂、仓库和高度结构化的场景中；而真正大量的人类劳动，仍然存在于厨房、医院、养老院、家庭、农业、建筑、灾害救援和各种非结构化环境里。这些劳动往往重复、辛苦、危险，却又因为环境复杂、对象多变、动作细碎，很难被传统自动化系统替代。

如果具身智能真的成熟，它带来的不只是一个会聊天的机器身体，而是生产力的进一步解放。

它意味着机器人可以替人搬运重物、清洁房间、照护老人、处理危险环境、完成枯燥重复的体力劳动；意味着更多人可以从低价值、高损耗的劳动中解放出来，把时间投入到创造、陪伴、教育、研究和更有尊严的生活中。

这才是我愿意相信具身智能的原因。

不是因为今天的 demo 已经足够完美，也不是因为某一种模型架构一定会胜出，而是因为这件事本身值得被做。人类发明工具的历史，本来就是不断把身体从沉重劳动中解放出来的历史。从石器到蒸汽机，从电力到计算机，每一次生产力跃迁，本质上都是让人少做一些不得不做的事，多做一些真正想做的事。

当然，这条路不会轻松。机器人硬件仍然昂贵，数据仍然稀缺，仿真和现实之间仍然有 gap，操作任务仍然脆弱，大模型也远没有真正理解物理世界。很多所谓“通用机器人”的演示，离稳定产品还有很远距离。

但技术信仰从来不应该建立在短期泡沫上，而应该建立在长期问题的价值上。

所以，对具身智能的信仰，不是相信某家公司、某篇论文、某个模型或者某台人形机器人。

而是相信这样一件事：

智能最终不应只存在于语言和屏幕中，它应该进入世界，理解世界，并帮助人类更自由地生活。