Research Portfolio 2025

AI & Robotics
Research

强化学习 · 基础模型 · 自主系统

7 个研究项目,覆盖机器人运动控制到多智能体学术助手

Scroll
01Reinforcement Learning

NP3O

Barlow Twins 对比学习 · Cost-Constrained PPO · 四条腿机器人运动

下一代 PPO 变体。Barlow Twins 对比学习替代标准 RMA teacher-student 蒸馏,1600 轮即收敛——超越 10000 轮基线,跟踪精度与稳定性均更优。

Video

NP3O · 1600 轮

Video

NP3O · 10000 轮 Benchmark

Cost-Constrained PPO

3 项安全约束(关节限位/力矩/速度),Softplus 成本 critic,k 值退火课程

速度预测辅助头

MSE(z_vel, priv_vel)——编码器从历史状态预测机器人速度

02Visual Navigation

Open Nav

零样本视觉语言导航 · 4 模型并行感知 · LLM 语义先验 · 室内仿真 + 户外第一人称

无需环境特定训练的零样本物体搜索。LLM 提供语义先验(物体共现、空间分区概率),4 个基础模型并行感知。8 种室内仿真场景全面验证,扩展至户外城市 3D 第一人称相机实时物体搜索。

Video
Video

室内仿真场景 A

Video

室内仿真场景 B

Video

室内仿真场景 C

Video

室内仿真场景 D

Video

室内仿真场景 E

Video

室内仿真场景 F

Video

室内仿真场景 G

Video

室内仿真场景 H

Video

户外城市 3D 第一人称物体搜索

4 模型并行感知

GroundingDINO + YOLOv7(检测)、SAM(分割)、BLIP2(开放词汇场景描述)——每帧并行推理

语义前沿地图

3D 体素投影 + 语义标签,前沿探索由 LLM 空间先验引导

03Real-Time LLM

RRLLM

The Real Real-Time LLM · 8 头并行解码 · vLLM 推理 · AI 虚拟主播

端到端实时 LLM 系统:SimpleTool 8 头并行解码消除自回归瓶颈 + Open LLM VTuber 生产级实时直播应用。基于 RT-Qwen3-4B-AWQ,消费级 GPU 即可运行。从推理加速到多模态直播的完整技术栈。

运行在 Terraria 上面的效果

运行在 Terraria 上面的效果

运行在 VTuber 上面的效果

运行在 VTuber 上面的效果

RT-Qwen3-4B-AWQ 骨干

4B 量化模型,消费级 GPU,多工具协调(确认 4B 会坍缩为单工具,8B+ 才稳定多工具)

创新点 3

vLLM continuous batching + PagedAttention 高吞吐推理

04Aerial Autonomy

AIR-Planner

多智能体强化学习 + MPC · RACER 分布式集群协同探索 · ROS1→ROS2 桥接

基于 MAPPO/MAPPG 多智能体强化学习与 MPC 的自主无人机航迹规划系统。CNN+GRU 循环策略网络 + PopArt 自适应值归一化,ACADO 最优控制 + qpOASES 实时轨迹优化。引入 RACER 算法实现 swarm_exploration 分布式多机协同探索,自研 ROS1→ROS2 跨版本桥接层打通新旧生态。

Video
Video

RACER 分布式集群协同探索

RACER 分布式集群算法

swarm_exploration 多机协同探索,动态任务分配与信息共享,实现多无人机分布式覆盖搜索

ROS1→ROS2 跨版本桥接

自研桥接层兼容 ROS1 遗留节点与 ROS2 新生态,打通仿真到真机全链路

05Multi-Agent Systems

Research Assistant

16 Agent · LangGraph 多智能体 · 学术研究全流程

综合多智能体学术研究系统。LangGraph StateGraph 协调 16 个专业智能体,星形拓扑。Chainlit + CLI 双界面,PostgresSaver 检查点,PPT-Master 幻灯片生成,AGENTREVIEW+REBUTTALAGENT 双阶段审稿。

Video

创新点 2

LangGraph StateGraph 编排 + PostgresSaver 持久化检查点(SQLite 本地回退)

Chainlit + CLI 双界面

Web 交互式研究 + 命令行批处理自动化

06Autonomous Flight

Tunnel Searcher

狭窄隧道自主飞行 · EDF 距离场 · B 样条轨迹优化 · FastLIO 定位

首个能在直径仅 0.5m 真实隧道中全方向自主飞行的四旋翼系统。EDF 欧式距离场实时建图,霍夫变换 + CNN 检测截面形状,一维动力学 A* 降维搜索,B 样条多目标轨迹优化。FastLIO 紧耦合 LiDAR-IMU 里程计提供无 GPS 定位,标注数据集训练神经网络实现感知缺陷在线检测。

Video
Tunnel Searcher 系统架构与硬件平台

Tunnel Searcher 系统架构与硬件平台

创新点 2

EDF 距离场建图 + 霍夫圆/矩形检测 + CNN 形状分类器——实时感知隧道截面几何结构

一维动力学 A* 搜索

将 3D 隧道规划降维为沿中心线的位置-速度二维状态空间搜索,生成动力学可行初解

07Flight Control Systems

Omni Swarm

全驱动倾转旋翼 · PX4 飞控 · 控制分配 · 集群预留

基于 PX4 飞控框架的全驱动倾转旋翼无人机控制模块。定制角速度 PID + 解析推力分配算法,四个独立倾转舵机让无人机在悬停时也可产生水平力,实现真正全向运动。预留 swarm_bridge 集群通讯架构。

PX4 原生模块

uORB 消息总线集成,订阅姿态/角速度/遥控器输入,发布舵机/电机输出,深度嵌入 PX4 生态

SITL 仿真支持

提供完整 Gazebo SDF 模型 + ROMFS 启动脚本,可软件在环仿真验证全驱动控制逻辑