从动作跟踪到柔顺交互：参考动力学与接触控制

人形机器人与物体交互时，需要协调运动跟踪、接触力和全身平衡。物体几何或接触状态发生变化后，固定运动参考可能产生较大的接触力；允许参考随外力调整，则需要同时约束位移范围和接触稳定性。

本文从阻抗与导纳控制出发，介绍柔顺参考如何随交互力更新，以及全身策略如何执行这些参考。GentleHumanoid 提供方法背景，基于 Omni 的普通物体交互、柔顺交互与 FALCON 扩展提供具体实现。物体交互部分以双手夹持和承载箱体为例，分析法向预紧、接触丢失与参考回弹，文中对应数值均来自这一案例。新增机制属于适配实现，需要与原论文方法区分。

三条实现的区别首先在力从哪里来、参考改到哪一层：Gentle 使用交互弹簧分别驱动虚拟参考与仿真连杆；Omni 交互适配把处理后的接触力送进参考积分器；FALCON 扩展还将笛卡尔退让经 IK 转成关节参考。它们共享虚拟动力学的思路，但受力模型、积分状态和策略输入各不相同，下面分开推导。

1. 先区分关节 PD、阻抗和导纳

关节 PD 的典型形式是：

它在关节空间定义误差与力矩的关系。末端接触刚度还受到姿态、雅可比和机构耦合影响。固定接触、忽略冗余和其他动力学项时，可用局部近似：

所以把所有关节 $K_p$ 统一减半，不能保证每个接触方向都得到相同的柔顺变化。接近奇异位形时，这种简化分析尤其需要谨慎。

阻抗控制通常从运动偏差生成力或力矩；导纳控制从外力生成运动参考。例如让位置接口机器人追踪一个虚拟质量的状态：

其中，$x_0$ 是名义目标，$x_r$ 是柔顺参考，$M_v$ 是虚拟质量，并非实际手臂质量。虽然一些实现把模块命名为 impedance reference，从“力输入、位置参考输出”的接口看，它承担导纳参考生成的作用。

2. 刚度、质量和阻尼分别控制什么

对静止目标、恒定外力、未触发限幅的单轴系统，令 $e=x_r-x_0$：

自然频率与阻尼比为：

质量改变响应速度，刚度改变静态退让距离。增大质量不会降低恒定载荷下的最终退让量。取 $M_v=0.5$ kg、$K=250$ N/m，临界阻尼为 $D=22.3607$ N·s/m，自然频率 $3.5588$ Hz。10 N 恒力对应 4 cm 平衡偏移。

对静止目标、常系数且未限幅的单轴参考模型，还可以从能量检查阻尼的作用。取虚拟动能与弹性势能之和：

外力通过运动做功，正阻尼消耗能量；无外力时能量不增加。但这里分析的只是连续时间虚拟参考。离散积分、移动目标、限幅、接触状态机与跟踪策略加入后，还需要重新分析整个闭环，不能把这一个等式当成真机交互安全的证明。

图 1：静止目标受到 10 N 阶跃力的单轴解析响应，均使用临界阻尼。虚线表示 Omni 配置的 3 cm 总偏移边界；曲线未模拟裁剪、接触状态机或机器人动力学，不是真机测量。

对于移动目标，上述绝对加速度形式变为：

没有参考加速度前馈时，快速变化的名义轨迹本身也会引起偏移。因此不能看到 $x_r-x_0$ 就全部归因于接触。

3. GentleHumanoid 为什么要改参考

纯粹加入随机推力，再奖励机器人恢复原动作，往往训练出抗扰动能力；它不会自动学会“对人的推拉让开”。GentleHumanoid 将交互力和柔顺参考联系起来，使任务目标允许身体在接触中发生受控偏移。GentleHumanoid 论文

论文原图：GentleHumanoid 作者，Figure 2，CC BY 4.0；未修改。来源：论文／原图。图右的部署演示属于论文结果，不是本文适配的验证结果。

图 a 维护虚拟参考状态，而非直接把外力当作 actor 动作；图 b 同时比较位置、速度和交互力。实现对应到 command 的参考积分、奖励函数的目标替换、以及实际仿真身体状态三个位置。只添加外力 randomization 而保留刚性目标，会改变训练扰动，却没有复制这条机制。

该图也提醒我们检查训练／部署的信息边界：privileged observation 可以帮助训练，但不能假定部署拥有同样的接触力真值。Omni 物体交互适配和 FALCON 扩展的新增链路分别在下文展开。

两个力分别作用在哪里

对肩、肘、手等选定连杆，各维护一个三维虚拟点。记名义动作目标为 $x_{\mathrm{tar}},v_{\mathrm{tar}}$，积分状态为 $x_r,v_r$，真实机器人状态为 $x_{\mathrm{sim}},v_{\mathrm{sim}}$；前三维位置都在同一个 root 坐标系中表示。这里的虚拟点不是关节转角，虚拟质量也不是 armature。参考模型的基本方程为：

驱动力将虚拟点拉向名义动作：

这里，$K_{\mathrm{drive}}$ 的单位是 N/m，$D_{\mathrm{drive}}$ 是 N·s/m；下发到电机的关节 PD 则使用 N·m/rad 和 N·m·s/rad。两者都能从二阶系统分析，但作用空间、惯量和控制对象不同，不能直接复制数值。

交互弹簧描述连杆与外界的联系，其基础形式为：

阻性接触从接触开始时的位置建立锚点；机器人继续向接触方向运动时，弹簧产生恢复力。引导接触将锚点移向从人体姿态采样的目标，产生协调的推拉。对肩、肘、手使用同一姿态样本，可以保留运动链的几何关系；若每个点独立抽方向，可能生成同一手臂难以协调完成的受力组合。锚点在代码中保存在 root 系，切换时平滑插值，不能把它当成始终固定的世界坐标障碍物。GentleHumanoid：力模型与锚点定义

同一模型要计算两遍：虚拟参考使用 $f_{\mathrm{interact}}^{\mathrm{ref}}=f_{\mathrm{interact}}(x_r)$，仿真施力使用 $f_{\mathrm{interact}}^{\mathrm{sim}}=f_{\mathrm{interact}}(x_{\mathrm{sim}})$。前者决定期望怎样退让，后者改变真实机器人的动力学。驱动力留在参考积分器中；交互力则按真实连杆位置计算后施加到仿真身体。把所有力都理解成“不作用于机器人”，会漏掉训练时的受力环境。

单边接触与向量限幅

基础弹簧在两个方向都会拉回，实现还要定义接触在哪一侧生效。令 $n$ 从锚点指向名义目标，位移 $d=x_{\mathrm{anchor}}-x$，当前实现使用：

当 $n^Td<0$，力沿 $-n$ 作用；当虚拟点或真实连杆离开该接触侧，力为零。符号取决于 n 的定义，不能把 clamp_max(0) 随手改成 clamp_min(0)。这是单边接触代理，尚未包含完整的摩擦锥或物体形变模型。

驱动力的安全阈值另作一次范数裁剪：

它保持向量方向，仅缩小幅值。例如原力为 (6,8,0) N、阈值为 5 N，结果是 (3,4,0) N；逐分量裁剪得到的 (5,5,0) N，其范数仍超过 5 N。论文记号 $\tau_{\mathrm{safe}}$ 在这里仍是力，单位 N，并非关节力矩。它与交互力上限 $F_{\max}$ 是不同参数。GentleHumanoid：驱动力限幅

参考怎样积分，代码又增加了什么

论文主文使用半隐式 Euler：先更新速度，再用新速度更新位置。当前实现额外增加质量链阻尼 $D_0=2$ N·s/m，并对加速度、速度做范数限幅：

参考更新的主要计算可写成下面的等价步骤；sat_norm 表示上面的范数裁剪，批次与连杆维度省略：

1
2
3
4
5
6
7
8
9
10

for _ in range(4):
    drive = kp * (target_pos - ref_pos) + kd * (target_vel - ref_vel)
    drive = sat_norm(drive, safe_force)
    displacement = anchor - ref_pos
    projected = (displacement * direction).sum(-1, keepdim=True).clamp_max(0) * direction
    interaction = sat_norm(spring_gain * projected, max_interaction_force)
    acceleration = sat_norm((drive + interaction - 2.0 * ref_vel) / 0.1, 1000.0)
    ref_vel = sat_norm(ref_vel + physics_dt * acceleration, 4.0)
    ref_pos = ref_pos + physics_dt * ref_vel
# 另用 actual_pos 代替 ref_pos 计算真实连杆的施力

这条实现设置 $M=0.1$ kg、$v_{\max}=4$ m/s、$a_{\max}=1000$ m/s²；子步 h 读取物理步长。若物理步长为 0.005 s，4 次更新才覆盖 0.02 s 的策略周期。复制循环次数时，仍需核对实际 physics_dt 与控制周期；不能每次使用 0.02 s 再循环四次。论文主文与附录对积分名称和步长的描述并不完全一致，这里以代码中的“先速度、后位置”顺序说明运行机制。

驱动刚度还随期望力阈值变化：

当 $F_{\mathrm{safe}}=10$ N 时，$K_{\mathrm{drive}}=200$ N/m，驱动阻尼约为 8.9443 N·s/m。考虑额外阻尼后，无接触、静止目标且未触发限幅时，阻尼比约为 $10.9443/8.9443=1.224$，已不是恰好临界。驱动力在纯位置误差达到 5 cm 时进入限幅；目标或参考正在运动时，速度误差也会使它提前饱和。

接触弹簧怎样改变平衡点与阻尼比

在单轴接触侧已激活、目标和锚点静止、所有限幅都未触发的局部区间，方程变为：

因此：

取 $K_{\mathrm{drive}}=200$ N/m、$K_{\mathrm{spring}}=100$ N/m、名义目标为 0、锚点为 −3 cm，平衡参考在 −1 cm：驱动力为 +2 N，交互弹簧力为 −2 N。增大接触刚度改变的不只是退让距离，也会改变闭环自然频率和阻尼比；按驱动弹簧设计的临界阻尼，并不保证接触后仍临界。

这里也能判断“刚性特例”的说法是否成立。令交互弹簧刚度趋于无穷，参考趋向锚点；令安全阈值趋于无穷，只是去掉驱动力裁剪。两者并不等于固定跟踪原动作。普通物体交互与柔顺交互的区别，应检查是否启用受力参考更新，以及更新后的参考是否真正进入奖励和控制接口。

训练信号怎样约束上述模型

论文的柔顺奖励为：

三个原始量如下，系数对应论文 Table I；后面的机器人握手适配另有实际权重表。论文使用误差范数的指数核，不能将下面的范数擅自平方。GentleHumanoid：奖励定义与权重

论文将交互弹簧刚度在 5–250 N/m 内随机化，锚点与受力集合按时间重采样；当前代码还对锚点、刚度和阈值做平滑过渡。这与“每隔几秒独立抽一个恒力向量”不同，力会随位置变化。本文握手适配只在右手建立有效接触，单点力上限为 6 N，躯干合力／合力矩预算为 7 N／4.5 N·m；不能把论文展示的 0–25 N 力分布、默认单点上限 30 N 和本例上限 6 N 混为同一参数。

学生策略的可部署观测可概括为：

参考状态与交互力真值属于教师的额外信息。论文的压力垫用于接触力测量与评估，不能据此认定学生必须把压力垫读数作为输入；原方法可通过本体感知与历史学习接触响应。若要显式在线力闭环，才需另行定义传感器或估计器接口。当前握手适配仍训练教师，并未因为具备力观测槽位就自动完成学生部署。

最后还要关注坐标系：在运动的 root frame 中积分，位置、速度和力必须使用相容的变换。严格的相对速度包含旋转项，$\dot x_b=R^T(\dot x_w-\dot p_{\mathrm{root}})-\omega_b\times x_b$。当前速度变换只旋转世界速度差，未减去旋转项；在躯干快速旋转时，它不等于该相对位置坐标的时间导数。

Gentle 适配：力、位置、速度是不同奖励

下面列出握手柔顺任务的交互奖励与运动跟踪奖励；姿态生存、接地与动作正则属于另外的 loco 组。环境默认在每组奖励汇总后乘 step_dt。这是针对当前握手动作的适配配置，不是论文表格的照抄。applied_force_mean 和 applied_force_max 虽有 weight=1，但 enabled=false，所以不计入回报。

点击名称可跳到对应的公式与实现说明，并自动展开。

逐项实现

1
2
3

error = (force_applied - force_expected).norm(dim=-1).mean(-1)
r = 0.5 * (torch.exp(-error / 4) + torch.exp(-error / 2))
r *= ~((force_applied.norm(dim=-1) > safe_limit + 10).any(-1))

1
2
3

actual = force_applied.norm(dim=-1)
expected = force_expected.norm(dim=-1)
r = -((actual > safe_limit + 10) & (actual > expected + 5)).float().mean(-1)

1
2

error = (force_keypoint_w - actual_body_pos).norm(dim=-1).mean(-1)
r = torch.exp(-error / 0.25)

1
2

error = (force_keypoint_vel_w - body_vel_w).norm(dim=-1).mean(-1)
r = (torch.exp(-error) + torch.exp(-error / 0.5)) / 2

1
2
3
4

target = nominal_keypoints.clone()
target[:, compliant_ids] = force_keypoint_w
error = (target - actual).norm(dim=-1).mean(-1)
r = torch.exp(-error / 0.5)

1
2

error = (lower_target - lower_actual).norm(dim=-1).mean(-1)
r = torch.exp(-error / 0.5)

1
2

error = (root_target - root_actual).norm(dim=-1)
r = torch.exp(-error / 0.4)

1
2

error = axis_angle_error.norm(dim=-1)
r = (torch.exp(-error) + torch.exp(-error / 0.5)) / 2

1
2

error = (v_ref_body - v_actual_body).norm(dim=-1)
r = (torch.exp(-error) + torch.exp(-error / 0.5)) / 2

1
2

error = (omega_ref_body - omega_actual_body).norm(dim=-1)
r = torch.exp(-error / 2.5)

1
2

error = (q_ref - q).abs().mean(-1)
r = (torch.exp(-error / 0.6) + torch.exp(-error / 0.3)) / 2

1
2
3

qd_fd = (q - q_last) / step_dt
error = (qd_ref - qd_fd).abs().mean(-1)
r = (torch.exp(-error / 3) + torch.exp(-error / 1.5)) / 2

loco 组仍负责站稳：当前启用 survival 15、impact force 0.05、feet slip 8.5、joint velocity 0.003、action rate 0.8、二阶动作差 0.005、位置限位 20（soft factor 0.75）、feet on ground 8、下肢／腰默认姿态 5.8、termination 12；这些惩罚的负号在函数内部。joint acceleration、feet air time、feet contact count 在该任务关闭。调整柔顺项时不能把支撑正则当成没有了，也不能跨实现只比较正负号。

对原生思路的具体适配还包括：只在右手施加交互力、上肢动作幅度按左右侧和关节分组降低、保留力观测槽位以兼容已有 checkpoint，并以 student_train=False 训练当前教师。训练中的特权力信息不能不经验证直接放入部署 actor。

4. 基于 Omni 的普通交互与柔顺交互

普通物体交互先用 OmniRetarget 生成机器人、物体与场景之间的几何参考，再由物理跟踪策略执行。本例使用箱体作为交互对象。接触会改变机器人的真实状态，名义目标本身却不会因为手腕受力自动退让：策略仍朝原有参考纠偏。

柔顺交互在 command 层启用 enable_compliance，为手臂接触链维护位置与速度状态。接触力经滤波、法向投影及限幅进入虚拟动力学；积分后的参考再经过方向边界与接触状态机，最后替换身体位置奖励的对应目标。预紧、防滑和接触丢失项共同约束“既能退让，又不松手”。仿真材质的 compliance 参数只影响接触模型，不能代替这条主动参考更新链。

与前面的 Gentle 交互弹簧相比，这个参考积分器接收的是处理后的真实接触力，而不再用虚拟点到锚点的弹簧距离生成外力。子步更新为：

这里的接触力先经过上游的滤波和方向处理；积分器自身再次按向量范数限幅。它没有 Gentle 质量链中额外的 −2v 阻尼项，阻尼由驱动项 D 提供。之后才执行总偏移边界与径向速度修正，不能把两套积分器写成参数不同但其余完全相同的模型。

图 2：重定向提供名义几何参考；力驱动的参考更新处理交互变化；全身策略在平衡与跟踪之间协调。图中的力反馈必须来自传感器、估计器或仿真，不能凭空假定部署端可用。

本文物体交互案例中的柔顺参数为：虚拟质量 0.5 kg，基准刚度 250 N/m，reset 时随机化范围 200–350 N/m，4 个积分子步，驱动力范数上限 25 N，输入交互力裁剪 30 N，总偏移边界 0.03 m。临界阻尼随刚度重算。

随机化区间对应 $\omega_n=20.0$–$26.4575$ rad/s，即约 3.18–4.21 Hz；不能沿用旧注释中的频率估计。10 N 恒力在基准刚度下需要 4 cm 平衡位置，已经超出 3 cm 边界，所以此时系统最终行为由饱和机制决定，不能继续按线性平衡点解释。

注意 25 N 限制的是虚拟驱动力。它不是硬件接触力上限。实际峰值还受到接触刚度、惯性、跟踪误差和控制延迟影响；输入力裁剪也只是避免参考积分被异常尖峰破坏，不会让真实接触力消失。

5. 物体交互中的方向柔顺与接触稳定性

双手夹持依赖法向预紧产生摩擦。一个简化对称模型要求：

例如仅作量纲示例，$m=2$ kg、$\mu=0.5$ 时，每侧至少需要约 19.62 N 法向力，尚未计入运动加速度和力矩平衡。若每侧只有 12 N，则简单模型最多支持约 1.22 kg。真实抱箱可能还有前臂、胸部支撑，不能用这个例子推定实际箱重或实际成功与否。

Omni 对手腕采用法向柔顺，限制向外张开，并保留向内建立接触的能力。一般阶段向外上限 5 mm，左右向内上限分别为 5、10 mm；承载阶段向外进一步限制到 1 mm。这样做的动机是防止接触尖峰触发过度松手，但代价是更窄的退让空间。

预紧目标为 12 N，带 ±2 N 死区与 EMA 滤波系数 0.25。若更新周期为 $\Delta t$，该滤波的等效时间常数为：

例如 50 Hz 时约 69.5 ms。滤波改善噪声，却可能掩盖快速滑落，因此实现还使用原始力骤降触发快速向内恢复。滤波时间常数应由实际 command 更新周期确认，不能拿渲染 FPS 代入。

承载时，法向力超过 20 N 要持续 0.20 s 才慢速退让，下降到 15 N 以下解除；超过 25 N 可跳过等待。接触丢失还会锁住向外方向，直到恢复阈值满足一定时长。这是带滞回和时间条件的状态机，不能简化成一个连续弹簧。

配置中的拾取、承载、放置窗口采用参考帧号。更换动作速度或裁剪动作后必须重新映射这些窗口，否则预紧可能在箱子还没接触时开启，或者已经放下之后仍继续夹紧。

6. 为什么只裁剪位置会在松手时反弹

半隐式 Euler 的参考更新为：

如果 $x$ 超出边界后只把位置裁回去，但保留向外速度，虚拟系统仍保存着将参考推离边界的动量。外力撤掉后会出现不符合预期的延迟回归或回弹。

Omni 的边界处理去除相对目标速度中继续向外的径向分量。设 $n=(x_r-x_0)/\|x_r-x_0\|$，触及边界时执行：

向内速度允许参考脱离边界，切向速度不被粗暴清零。这类 anti-windup 处理比单纯减小质量更直接地解决边界储能问题，但并不构成整个学习闭环的被动性证明。

7. FALCON 扩展多了一层 Cartesian IK

这套扩展在原有控制器前加入柔顺参考与关节修正，再通过 teacher、adaptation、finetune 等配置连接学习过程。其整体延迟和可跟踪带宽与直接把关键点参考交给全身策略的方案不同。

实际实验配置覆盖了类默认值：虚拟质量为 0.3 kg，参考速度上限 0.4 m/s，加速度上限 4 m/s²，偏移上限 0.15 m。不能用类默认的 0.1 kg、4 m/s、1000 m/s² 描述运行行为。

此外，主更新循环再次覆盖刚度，使用 $F_{\mathrm{safe}}/0.05$；力阈值范围 3–15 N 对应实际刚度 60–300 N/m。YAML 中的 driving_stiffness: 50 不是这条运行路径的最终刚度。

取阈值 10 N，得到 $K=200$ N/m、$M=0.3$ kg、驱动阻尼 15.4919 N·s/m；再加相对速度阻尼 2，静止、未饱和近似下 $f_n=4.1094$ Hz、$\zeta\approx1.1291$。限速限加速度触发后，响应不再服从这个线性二阶模型。

将笛卡尔误差变成关节修正，采用阻尼最小二乘：

配置中的 $\lambda=0.05$ 缓解奇异位形放大，但引入残差。再加姿态项：

这里 $J^\#$ 是阻尼伪逆，因此第二项不处于严格零空间，通常 $J(I-J^\#J)\ne0$。姿态恢复可能干扰主要末端任务，需要通过残差和关节速度检查，而不是把“nullspace”变量名当成数学保证。

该扩展的额外阻尼作用于 $v_r-v_0$；若错误地作用于绝对速度，会使匀速移动的名义参考受到持续阻力。另一方面，其参考速度裁剪仍作用于当前实现中的速度向量，名义轨迹很快时也会受限。应分别测试静止目标受推和移动目标受推。

FALCON 扩展：先确认参考改变后奖励跟踪的是谁

下表列出 FALCON 受力控制适配中，与上肢柔顺接口直接相关的十项底层环境奖励。上下肢组权重均为 1；每项再乘控制周期，惩罚课程初始为 0.5，只作用于配置名单内的项。下肢速度、站立、足接触等目标继续承担平衡任务。

逐项实现

1
2

error = (q_upper - q_upper_ref).square().sum(-1)
r = torch.exp(-error / 0.1)

1

raw = (action_upper - previous_action_upper).square().sum(-1)

1

raw = torque_upper.square().sum(-1)

1

raw = qd_upper.square().sum(-1)

1

raw = ((qd_upper - qd_upper_previous) / dt).square().sum(-1)

1
2

raw = ((q_lower_soft - q_upper).clamp_min(0)
       + (q_upper - q_upper_soft).clamp_min(0)).sum(-1)

1

raw = (qd_upper.abs() - simulator_velocity_limits).clamp(0, 1).sum(-1)

1

raw = (torque_upper.abs() - 0.9 * torque_limits_upper).clamp_min(0).sum(-1)

1

raw = (hand_v - hand_v_previous).norm(dim=-1).sum(-1)

1

raw = (hand_omega - hand_omega_previous).norm(dim=-1).sum(-1)

这套基础奖励表没有上述 Omni 物体交互案例中的 12 N 法向预紧项，也没有 Gentle 的 force_target_tracking 同名项。接入柔顺参考的第一步是让上肢关节跟踪目标确实来自导纳＋IK，并保持观测与奖励引用一致；是否再训练新的力代价，需要单独指定实验。教师训练、观测适应和微调各自优化不同的对象，应分别报告它们带来的改进。

Reference teacher 实际训练的是重建损失

必须把上面的底层环境奖励与教师训练分开。ComplianceReferenceTeacher 冻结 FALCON，使用特权观测编码 latent，再解码柔顺位移，经过 IK 喂给冻结的控制器。其配置保留 clip／GAE 等字段是为了复用原训练基础设施；实际 _training_step 只反传位移重建和 latent 正则，没有对 FALCON 参数做 PPO 更新。

逐项实现

1
2

squared = (decoded.reshape(-1, 6, 3) - target.reshape(-1, 6, 3)).square()
loss_reconstruction = (squared * weights).sum() / (weights.sum() * 3).clamp_min(1)

1
2
3

wrist_norm = target.reshape(-1, 2, 3, 3)[:, :, 2].norm(dim=-1)
arm_weight = 1 + 3 * (1 - wrist_norm / 0.03).clamp(0, 1)
weights = arm_weight.repeat_interleave(3, dim=1).unsqueeze(-1)

1
2

loss = loss_reconstruction + 1e-5 * latent.square().mean()
displacement = 0.15 * torch.tanh(decoder_output)

教师优化器学习率 3×10⁻⁴、weight decay 10⁻⁵，梯度裁剪 1；这又是优化器设置，不是环境奖励。端到端评估应执行 encoder → decoder → IK → 冻结控制器。当前 teacher 的评估配置明确关闭普通 actor-only ONNX 导出，因为单独导出 actor 无法包含环境侧 IK。要声称部署等价，必须把参考解码与 IK 的执行契约一并保存。

8. 重定向怎样与柔顺衔接

离线重定向应先确保可达性、足底支撑、手物接触位置与手臂几何关系合理。在线柔顺只能在允许的空间内修改参考，不能负责补救严重穿透、不可能达到的手距或错误脚步。

可采用三个明确层次：名义参考 $x_0$ 表达任务意图；接触方向与允许偏移集合 $\mathcal C_t$ 表达交互约束；导纳积分给出候选 $\tilde x_r$，再投影到允许集合。投影时同步处理速度状态，防止边界储能。

离线把重定向权重调小，并不等于在线柔顺。前者没有实时外力输入；后者需要感知接触并随时间更新。若部署没有力传感器，应明确使用什么估计器或学习隐变量，以及训练是否覆盖它的延迟和误差。

实现补充：普通交互与柔顺交互的奖励差在哪里

下表比较基于 Omni 的普通物体交互与柔顺交互，列出全部奖励及其差异，数值对应本节的箱体夹持与承载案例。“—”表示普通交互没有这一项，不是权重未知。所有数值都是配置权重；Holosoma RewardManager 再乘控制周期 dt，窗口、接触条件和 ramp 则在项内部生效。代码块提炼了真实计算顺序，省略环境访问及批量索引。

逐项实现

1
2

err2 = (p_anchor_ref - p_anchor).square().sum(-1)
r = torch.exp(-err2 / 0.3**2)

1
2

angle = quat_error_magnitude(q_ref, q_actual)
r = torch.exp(-angle.square() / 0.4**2)

1
2

err2 = (p_body_aligned - p_body).square().sum(-1)
r = torch.exp(-err2.mean(-1) / 0.3**2)

1
2

angle = quat_error_magnitude(q_body_aligned, q_body)
r = torch.exp(-angle.square().mean(-1) / 0.4**2)

1
2

err2 = (v_ref_w - v_w).square().sum(-1)
r = torch.exp(-err2.mean(-1) / 1.0**2)

1
2

err2 = (omega_ref_w - omega_w).square().sum(-1)
r = torch.exp(-err2.mean(-1) / 3.14**2)

1

cost = (action - previous_action).square().sum(-1)

1
2

cost = ((lower_soft - q).clamp_min(0)
        + (q - upper_soft).clamp_min(0)).sum(-1)

1
2

peak = contact_forces_history.norm(dim=-1).amax(dim=1)
cost = (peak[:, forbidden_body_ids] > 1.0).sum(-1)

1

r = torch.exp(-(p_box_ref - p_box).square().sum(-1) / 0.3**2)

1

r = torch.exp(-quat_error_magnitude(q_box_ref, q_box).square() / 0.4**2)

1
2

err2 = (p_ankle_target - p_ankle).square().sum(-1)
r = torch.exp(-err2.mean(-1) / 0.12**2)

1
2

angle = quat_error_magnitude(q_ankle_ref, q_ankle)
r = torch.exp(-angle.square().mean(-1) / 0.25**2)

1

r = torch.exp(-quat_error_magnitude(q_base_ref, q_base).square() / 0.30**2)

1
2
3

contact_mask = latest_ankle_force_z.abs() > 10.0
speed2 = ankle_velocity[..., :2].square().sum(-1).clamp_max(4.0)
cost = (speed2 * contact_mask).sum(-1)

1
2

threshold = torch.maximum(reference_distance - 0.03, reference_distance.new_tensor(0.19))
cost = envelope * ((threshold - actual_distance).clamp_min(0) / 0.05).clamp_max(1).square().sum(-1)

1
2

r_base = torch.exp(-(x_compliant - x_wrist).square().sum(-1).mean(-1) / 0.12**2)
r = r_base * (1.0 - 0.8 * envelope)

1
2

angle = quat_error_magnitude(q_wrist_ref, q_wrist)
r = torch.exp(-angle.square().mean(-1) / 0.25**2)

1
2

d = ((z_ref - z_wrist - 0.005).clamp_min(0) / 0.02).clamp_max(1)
cost = active * d.square().amax(-1)

1
2

fz = wrist_force_history[..., 2].amax(dim=1)
cost = active * ((fz - 2).clamp_min(0) / 20).clamp_max(1).square().amax(-1)

1
2

err2 = (v_compliant - v_body).square().sum(-1)
r = torch.exp(-err2.mean(-1) / 1.0**2)

1
2
3

delta = offset_box_actual - offset_box_ref
tangent = delta - (delta * normal_ref).sum(-1, keepdim=True) * normal_ref
r = active * torch.exp(-tangent.square().sum(-1).mean(-1) / 0.06**2)

1
2
3
4

v_point = v_box[:, None] + torch.cross(omega_box[:, None].expand_as(offset), offset, dim=-1)
# 转到箱体系并去除法向后，与参考同类量比较
speed_error = (v_tangent_actual - v_tangent_ref).norm(dim=-1)
cost = active * ((speed_error - 0.01).clamp_min(0) / 0.05).clamp_max(1).square().amax(-1)

1
2
3

p = ((gap - gap_ref - 0.002).clamp_min(0) / 0.02).clamp_max(1)
v = ((opening_speed - 0.02).clamp_min(0) / 0.10).clamp_max(1)
cost = active * (p.square() + 0.5 * v.square())

1
2
3
4
5
6
7

target = 12.0 * envelope
zero = torch.exp(-(target / 8.0).square())
g = torch.exp(-((force - target[:, None]) / 8.0).square())
score = ((g - zero[:, None]) / (1 - zero[:, None]).clamp_min(1e-6)).clamp(0, 1)
balance = torch.exp(-((force[:, 0] - force[:, 1]) / 8.0).square())
contact_gate = (force.amin(-1) / target.clamp_min(1e-6)).clamp(0, 1)
r = envelope * (0.6 * score.mean(-1) + 0.4 * balance * contact_gate)

1
2

minimum = 8.0 * envelope
cost = ((minimum - filtered_force.amin(-1)).clamp_min(0) / 8.0).square()

1
2
3
4

deficit = ((10.0 - raw_force).clamp_min(0) / 10.0).clamp_max(1)
drop = ((drop_rate.amax(-1) - 100.0).clamp_min(0) / 100.0).clamp_max(1)
cost = active * (deficit.amax(-1).square() + 0.25 * drop.square()
                 + (deficit[:, 0] * deficit[:, 1]).square())

1
2

peak = compliance_force_history.norm(dim=-1).amax(dim=1).clamp_max(30)
cost = (peak - 15).clamp_min(0).sum(-1)

1
2

peak = selected_force_history.norm(dim=-1).amax(dim=1).clamp_max(150)
cost = (peak.sum(-1) - 25).clamp_min(0)

用一次短暂松手检查奖励是否表达了任务

在承载稳态、两腕原始法向力同时变成 0、下降速率超过 200 N/s 时，fast-contact-loss 原始代价达到 1＋0.25＋1=2.25；乘 −1.5，再乘 0.02 s，单步贡献为 −0.0675。若只有一腕失联、其余条件相同，双侧乘积项为 0，单步为 −0.0375。这个差值才是新增双侧项实际表达的偏好。

但其他奖励仍可抵消这项惩罚。因此评估应同时画原始力、EMA 力、腕间距、箱体高度及各项加权贡献；只看到总 reward 上升，无法判断它是否学会“拿稳”。窗口帧号依赖这段动作；换片段必须重标，不能直接照抄 155–507。

哪些来自原方法，哪些是交互适配

普通交互保留运动／物体跟踪和正则。机器人适配先修正手腕末端接触名单，并放宽限位奖励的软区间。柔顺交互再增加虚拟参考、法向偏移边界、预紧及失联状态机；奖励侧增加独立手脚项、切向位置／速度、腕间距和两种时间尺度的力反馈。它们是上述物体交互案例的设计，不是 OmniRetarget 论文原图中“最小跟踪奖励”的逐项复现。

GentleHumanoid 提供受力改变目标的思路，但双手夹箱必须额外保证摩擦与支撑。FALCON 扩展则增加 Cartesian IK，把柔顺目标重新映射到关节空间。三者共享“可变参考”的思想，不能据此假定它们的力反馈位置、奖励核、actor 观测或部署条件完全相同。

9. 实验必须同时测“让得开”和“拿得住”

比较刚性跟踪、只加导纳、加入方向约束与预紧的版本时，应固定动作、箱重、摩擦、初始接触和外力时序。至少记录接触力峰值及 95 分位、超阈值持续时间、接触冲量、箱子滑移、掉落率、轨迹误差和外力撤除后的回归时间。

净接触力向量的范数可能因为多接触方向相消而较小；若目标是限制局部压力，不能只记录整条手臂的合力。应同时观察具体接触点或接触区域的法向力。

上述数值用于解释参考模型与交互适配。尚未在统一协议下测得接触力降低幅度或成功率变化，不据此声称性能提升。

当力峰值下降时，还要确认下降是否来自任务真正更柔顺，还是来自手臂不再碰箱子。成功率、接触力和任务误差必须一起报告，才能判断这个柔顺控制器有没有解决原问题。