Machine Learning | Yasen Jia

Learning-based Locomotion方法总结

Tue, 11 Aug 2026 00:00:00 +0000

本文总结Locomotion的已有方法，包括blind locomotion和perceptive locomotion的方法。目前Locomotion的方法多与表征学习（Representation Learning）相结合，表征学习的目的是从数据中学习出有效、抽象的特征表示，帮助网络更高效地学习。

blind_locomotion

blind_locomotion的方法可以分为两个大类：不使用表征学习和使用表征学习。

不使用表征学习

不使用表征学习的blind locomotion的一般做法是堆叠本体感知的历史帧。本体感知的一帧 $o_t$ 一般包括$c_t, \omega_t, g_t, q_t, \dot{q}_t, a_{t-1}$ （$c_t$为命令，$\omega_t$为基座角速度，$g_t$为重力向量在基座坐标系中的投影，$q_t$为关节角度，$\dot{q}_t$为关节角速度，$a_{t-1}$为策略上一帧输出的动作）。这类方法的做法就是将本体感知的多帧$o_{t-H:t}$堆叠在一起输入给actor，然后再让actor输出动作$a_t$，。critic方面一般是输入全知的特权信息，包含本体感知信息以及只有仿真中才能获取的一些信息（基座线速度、连杆接触状态、足端高度、高度图等）。整体的架构如下所示：

给actor输入多帧本体感知能够增强策略的鲁棒性，核心的insight是本体感知的历史信息中包含了机器人状态随时间变化的规律，网络可以根据这些规律来应对更复杂的情况（崎岖地形、受外力扰动等）。如果没有历史信息的话，网络只能根据当前时刻的感知来应对动态的环境，信息过于稀少。

优势

实现简单

缺点

训练效率低，学得慢

代表性文章

使用表征学习

使用表征学习的方法可以分为多种形式：

Teacher-Student系列：使用teacher encoder编码与任务相关的物理状态，sutdent encoder根据本体感知的历史信息预测teacher encoder的编码。具体又可以分为不同的实现形式：
- ：由ETH的Marco Hutter组提出的最原始的Teacher-Student实现，主要特点为两阶段训练，encoder和actor绑定在一起，二阶段蒸馏时用action loss来优化student的encoder和actor。
- ：CMU的Deepak Pathak组提出的Teacher-Student变体，仍然是两阶段训练，encoder和actor解绑，第一阶段训练完actor后第二阶段使用冻结的一阶段actor，二阶段蒸馏时用latent loss来优化student的encoder。
- ：MIT的Pulkit Agrawal组提出的Teacher-Student变体，单阶段训练，依然是encoder和actor解绑，训练时用latent loss来优化student的encoder，用RL的loss来优化teacher encoder和actor。这种方式中student没有实际和环境交互，类似于behavior cloning的idea，得到的student policy的效果并不好。
- ：SusTech的张巍组提出的并行Teahcer-Student方案，单阶段训练，最主要的创新是将env分为teacher和student两组，将RL loss中的surrogate loss形式化为teacher surrogate loss + student surrogate loss，从而在RL更新中同时考虑两者的return，实现互相反哺的效果。
：KAIST的Jemin Hwangbo组提出的估计器网络方法，单阶段训练，核心idea是在训练中添加一个估计器网络，从本体感知的历史信息中估计出来真实物理状态（基座线速度、足端接触状态、足端相对于地面的高度等），将这个估计的信息输入给actor，使其可以有更高效的信息输入。
：KAIST的 Hyun Myung组提出的方法，通过预测下一步的observation来提取有效的中间表征，VAE的引入（与标准高斯分布的KL散度损失）使得隐变量聚集在一个超球面上，压缩了隐变量空间。
Contrastive Learning：相比于预测数值的回归的方式，对比学习提供了另一种方式来让策略隐式地理解环境状态与动力学。
- ：上海AI Lab的庞江淼组提出的基于对比学习的盲走方案，单阶段训练，基于方法得到隐向量的高效表征。
- ：逐际动力的谌骅组提出的基于对比学习的盲走方案，单阶段训练，基于方法得到隐向量的高效表征。

perceptive_locomotion

这里的perceptive_locomotion只涉及深度图输入的运动控制策略

对于输入深度图的perceptive_locomotion来说，由于深度图的信息维度更高，冗余更多，所以不使用表征学习来提取低维有效表征所造成的训练效率低下会更显著。这种任务的方法同样可以分为不使用表征学习和使用表征学习两大类。

不使用表征学习

与blind_locomotion类似，这类方法就是简单粗暴的将信息输入给网络。只不过在深度图方面，会引入CNN来处理图像。这类方法的代表是，通过AMP+MoE的框架来学习拟人的perceptive_locomotion动作。

使用表征学习

很多使用表征学习的perceptive_locomotion方法就是在blind_locomotion的框架基础上拓展而来的。大概可以分为以下几类：

Teacher-Student系列：
- ：CMU的Deepak Pathak组提出的方法，双阶段训练。论文中提出了两种训练方式，一种是直接沿袭RMA的方式，encoder和actor解耦，通过latent loss优化encoder；另一种是更贴合原始TS的方式，encoder和actor耦合，通过action loss优化encoder和actor。根据论文中展示的结果（Table 1），Monolithic的方式得到的student policy的性能更好。
- ：清华的赵行组提出的方法，使用两阶段的teacher-student训练，二阶段蒸馏时使用了BCE loss来优化，因为网络的输出被tanh限制在了[-1,1]之间，并且经过(1+a)/2的变换最终到了[0,1]之间，覆盖概率的特征。本文的一个创新在于virtual obstacle的引入，实现快速的预训练。这一思想在后期的中得到了继承，并利用实现了更快速的穿透检测。
- ：CMU的Deepak Pathak组提出的方法，同样使用双阶段Teacehr-Student，利用action loss来优化encoder和actor。这篇文章中提出了用预定的落点来引导机器人的基座线速度命令，解决了velocity-based的policy在复杂地形上命令难以完美执行的问题。
- ：南科大的张巍组提出的方法，在原始的盲走CTS的框架基础上拓展深度图的输入，利用decoder来进一步约束latent的表征。
EstimatorNet系列：这一系列的工作沿袭了EstimatorNet的估计物理状态的思想，在perceptive_locomotion的任务中用容易获得的深度图估计高效的地形表征。
- ：OSU的Alan Fern组提出的方法，主要idea是利用向前看的一个depth image来拟合机器人周身的heightmap，通过网络参数和仿真数据的scale，让单个视角的深度图也能拟合出来较为真实的heightmap。
- ：ETH的Marco Hutter组提出的方法，用四足机器人前后左右四个深度相机拟合机器人周身360°的heightmap。策略在训练直接输入仿真中获取的heightmap，实物上直接输入拟合到的heightmap即可。
- ：浙大的朱秋国组提出的方法，用向前看的深度相机拟合机器人前方的heightmap
- ：逐际动力的谌骅组提出的方法，同样使用U-Net来拟合高度图
DreamWaQ拓展：
- ：浙大的朱秋国组提出的方法，沿袭了的思路，利用VAE架构，通过拟合下一帧的obs以及当前的heightmap来获取中间表征
世界模型系列：
- ：上交的张伟楠组提出的方法，利用中提出的RSSM架构作为world model的架构，通过预测下一帧的深度图和本体感知来提取中间表征。

三种神经网络推理框架的推理速度对比

Tue, 11 Aug 2026 00:00:00 +0000

本文对比三种神经网络推理架构（LibTorch，OpenVino，OnnxRuntime）的推理速度区别，涵盖了Python和C++两种语言的对比。

推理架构介绍

LibTorch

LibTorch是PyTorch官方提供的Torch C++接口库，提供了与PyTorch类似的接口来进行张量操作。考虑使用LibTorch是因为训练框架使用了PyTorch，导出的JIT Script可以直接使用LibTorch载入。安装LibTorch的流程如下：

确保有一个python3.10的环境

在终端中输入python可以进入python解释器，看到输出的提示信息中有版本信息。如果现有的python不是3.10，可以安装一个miniconda，创建一个python3.10的环境。
```
# 安装好miniconda后
conda create -n env_name python=3.10
```
下载

Pytorch官网也有提供whl文件下载，但那个whl文件只适用于x86架构的计算机。而Nvidia Jetson提供的whl文件需要有CUDA才能正常使用，所以我自己编译了一个whl文件，可以在RDKX5这种无CUDA的ARM计算机上使用。

安装Pytorch

export TORCH_INSTALL=path/to/torch.whl
python3 -m pip install --upgrade pip
python3 -m pip install numpy
python3 -m pip install --no-cache $TORCH_INSTALL

将CMakeLists.txt的set(CMAKE_PREFIX_PATH path)中的path设为上述路径。

使用sudo find / -name "TorchConfig.cmake”即可找到LibTorch库的位置，最后使用的CMAKE_PREFIX_PATH类似于xxx/python3.10/dist-packages/torch/share/cmake/Torch

修改CMakeLists，将LibTorch添加到链接库中，然后就可以使用LibTorch的C++接口了。

# 根据自己的安装位置修改路径
set(CMAKE_PREFIX_PATH /usr/local/lib/python3.10/dist-packages/torch/share/cmake/Torch)
find_package(Torch REQUIRED)

include_directories(
 ${TORCH_INCLUDE_DIRS})

target_link_libraries(project_name
 ${TORCH_LIBRARIES}
 )

对于python来说，只需要pip install torch即可安装torch。

OpenVino

OpenVino是Intel推出的神经网络推理框架，支持多平台多架构部署，并且在每种平台每种架构下都进行了特定的优化来确保性能。目前对于Linux来说，Openvino支持的操作系统及设备如下：

OpenVino官方提供了很详细的文档，参考，顺利安装了OpenVino之后，就可以修改CMakeLists使用OpenVino了：

find_package(OpenVINO REQUIRED COMPONENTS Runtime)
set(ov_link_libraries openvino::runtime)
target_link_libraries(project_name
 ${ov_link_libraries}
 )

python：pip install openvino

OnnxRuntime

OnnxRuntime是一个专门使用onnx模型的多平台机器学习模型加速器，它具有灵活的接口，可以自由整合特定硬件的库。目前支持的平台如下：

将中的对应版本的压缩包下载下来，解压后有头文件（include）和库文件（lib），在CMakeLists中根据当前CPU架构选择对应的库文件使用即可：

# ---------------------------------------------------------------
# onnxruntime (vendored C++ SDK in third_party/onnxruntime)
# lib/<arch>/ : arch-specific prebuilt libonnxruntime.so (x86_64 or arm64)
# include/ : arch-independent headers
# ---------------------------------------------------------------
set(ONNXRUNTIME_DIR "${CMAKE_CURRENT_LIST_DIR}/third_party/onnxruntime")

set(ONNXRUNTIME_ARCH "${CMAKE_SYSTEM_PROCESSOR}")
if(NOT ONNXRUNTIME_ARCH)
 execute_process(
 COMMAND uname -m
 OUTPUT_VARIABLE ONNXRUNTIME_ARCH
 OUTPUT_STRIP_TRAILING_WHITESPACE)
endif()
if(ONNXRUNTIME_ARCH MATCHES "^(AMD64|amd64|x86_64)$")
 set(ONNXRUNTIME_ARCH x86_64)
elseif(ONNXRUNTIME_ARCH MATCHES "^(aarch64|arm64)$")
 set(ONNXRUNTIME_ARCH arm64)
else()
 message(FATAL_ERROR "Unsupported onnxruntime architecture: ${ONNXRUNTIME_ARCH}")
endif()
message(STATUS "onnxruntime architecture: ${ONNXRUNTIME_ARCH}")

set(ONNXRUNTIME_LIBRARY "${ONNXRUNTIME_DIR}/lib/${ONNXRUNTIME_ARCH}/libonnxruntime.so")
if(NOT EXISTS "${ONNXRUNTIME_LIBRARY}")
 message(FATAL_ERROR "onnxruntime library not found: ${ONNXRUNTIME_LIBRARY}")
endif()

find_package(yaml-cpp REQUIRED)
find_package(spdlog REQUIRED)

Python: pip install onnxruntime

测试条件

神经网络模型参数

模型整体是一个简单的MLP，参数量为283224（20W+）：

计算机参数

Architecture: aarch64
 CPU op-mode(s): 32-bit, 64-bit
 Byte Order: Little Endian
CPU(s): 6
 On-line CPU(s) list: 0-5
Vendor ID: ARM
 Model name: Cortex-A78AE
 Model: 1
 Thread(s) per core: 1
 Core(s) per cluster: 3
 Socket(s): -
 Cluster(s): 2
 Stepping: r0p1
 CPU max MHz: 1984.0000
 CPU min MHz: 115.2000
 BogoMIPS: 62.50
 Flags: fp asimd evtstrm aes pmull sha1 sha2 crc32 at
 omics fphp asimdhp cpuid asimdrdm lrcpc dcpop
 asimddp uscat ilrcpc flagm paca pacg
Caches (sum of all):
 L1d: 384 KiB (6 instances)
 L1i: 384 KiB (6 instances)
 L2: 1.5 MiB (6 instances)
 L3: 4 MiB (2 instances)

Python

使用来测试不同推理框架的速度。在仿真中运行时是单循环运行，一个while loop中进行更新obs -> 推理action -> 施加action（仿真步进decimation次）-> sleep到下一次策略推理：

while viewer.is_running() and self.is_running:
 sleep(self.cfg.mujoco.physics_dt * self.cfg.mujoco.decimation)
 self.update_state()
 dof_targets = self.policy_step()
 self.ctrl_step(dof_targets)

在实机上运行时，low_state使用ROS2的节点实现，low_cmd的发布在每次策略推理时执行，策略推理在一个单独的进程（inference_process）中进行。

C++

使用来测试不同推理框架的速度。该框架使用了一个自制的periodic_task类来实现周期性任务的执行，核心是一个基于绝对时间（absolute time）的时钟。

Python中三种推理框架速度对比

onnxruntime：平均推理时间为0.002966544s（约3ms），波动较大，经常跳到10ms以上
openvino：平均推理时间为0.004066487s（约4ms），波动较大，经常跳到10ms以上。
libtorch：平均推理时间为0.002999146s（约3ms），波动较大，经常跳到10ms以上。

C++中三种推理框架速度对比

onnxruntime：平均推理时间为0.000242817s（约0.2ms），波动较小，偶尔跳到1ms以上。
openvino：平均推理时间为0.000376115（约0.3ms），波动较小，偶尔跳到1ms以上。
libtorch：平均推理时间为0.001684558（约1ms），第一次推理时会跳到100ms以上，其他时候波动较小，偶尔跳到1ms以上。

总结

推理框架	Python推理速度（s，平均）	C++推理速度（s，平均）
onnxruntime	0.002966544	0.000242817
openvino	0.004066487	0.000376115
libtorch	0.002999146	0.001684558

总结来看，使用C++的onnxruntime最好，推理速度最快，波动最小。