摘要

6月11日，浙江大學高飛團隊在Science Robotics發(fā)表研究論文《Precise aggressive aerial maneuvers with sensorimotor policies》。在該研究中，NOKOV度量光學動作捕捉系統(tǒng)為無人機實驗提供高精度狀態(tài)數(shù)據(jù)支持，用于硬件在環(huán)（HIL）測試中的虛擬狹縫生成以及閉環(huán)控制對比實驗中的全狀態(tài)反饋，為無人機高機動飛行與算法驗證提供關鍵實驗基礎。

正文

一、研究背景：無人機高機動飛行的實驗挑戰(zhàn)

在無人機高機動飛行與狹縫穿越任務中，傳統(tǒng)方法通常依賴狀態(tài)估計、軌跡優(yōu)化等模塊化系統(tǒng)。這些模塊分別進行設計與調(diào)參，在復雜飛行任務中容易產(chǎn)生信息損失與誤差累積。

在極小安全裕度的飛行場景中，這種誤差可能顯著影響系統(tǒng)性能與穩(wěn)定性。因此，如何構建更加端到端的無人機自主飛行策略，并在真實環(huán)境中進行可靠驗證，是該領域的重要研究問題。

工作原理與系統(tǒng)實現(xiàn)

二、研究方法：端到端sensorimotor策略

該方法通過學習策略實現(xiàn)視覺輸入與飛行動作之間的直接映射，在一定程度上模擬了生物系統(tǒng)中感知與動作緊密耦合的控制機制。本文訓練了一個端到端的“感覺—運動”策略（sensorimotor policy），將高維視覺信號和慣性數(shù)據(jù)直接映射為底層控制指令，從而呈現(xiàn)出類似鳥類飛行中感知與運動無縫融合的機制。

三、NOKOV度量動作捕捉系統(tǒng)的實驗支持作用

在本研究的實驗驗證過程中，NOKOV度量光學動作捕捉系統(tǒng)主要承擔以下作用：

1. HIL（硬件在環(huán)）測試支持

在硬件在環(huán)測試中，NOKOV系統(tǒng)提供無人機實時狀態(tài)數(shù)據(jù)，用于虛擬狹縫視覺環(huán)境的生成，使無人機能夠在非實體環(huán)境中進行策略驗證與飛行測試。

2. 無人機全狀態(tài)反饋

在基線對比實驗中，NOKOV系統(tǒng)為基線控制方法提供無人機全狀態(tài)信息，用于閉環(huán)控制與軌跡跟蹤驗證。

3. 飛行軌跡記錄與評估

通過高精度光學追蹤能力，NOKOV系統(tǒng)對無人機實際飛行軌跡進行記錄，為算法性能評估提供可靠數(shù)據(jù)依據(jù)。

四、實驗平臺與系統(tǒng)構成

該研究構建了一套無人機實驗系統(tǒng)，包括：

· 四旋翼無人機平臺

· 單目視覺傳感器

· PX4飛控系統(tǒng)

· NVIDIA Jetson Orin NX計算平臺

相機圖像輸入神經(jīng)網(wǎng)絡策略模型后，直接輸出推力與角速度控制指令，實現(xiàn)端到端飛行控制。

在部分實驗中采用HIL方式，通過NOKOV動作捕捉系統(tǒng)與機載IMU融合獲取無人機狀態(tài)信息，并用于虛擬環(huán)境生成與實驗驗證。

五、實驗內(nèi)容與結(jié)果驗證

實驗包括多種高難度飛行任務，例如：

· 傾斜狹縫穿越

· 動態(tài)狹縫響應式飛行

· 連續(xù)多狹縫穿越

· 多幾何形狀開口飛行

· 多視覺背景條件下飛行測試

結(jié)果表明，該方法在多種復雜場景下均表現(xiàn)出較高的穿越成功率與穩(wěn)定性。

六、sim-to-real與策略學習過程

研究采用信息引導式重置（Informed reset）提升強化學習探索效率，并通過擾動隨機化減少仿真與現(xiàn)實之間的差距。

該策略在單狹縫任務中顯著提升成功率，并增強了在連續(xù)穿越任務中的穩(wěn)定性與泛化能力。

七、對比實驗與系統(tǒng)驗證

實驗對比兩類基線方法：

· 基線1：依賴狹縫位姿與NOKOV動作捕捉提供全狀態(tài)反饋的閉環(huán)控制方法

· 基線2：基于視覺-慣性融合的位姿估計與在線規(guī)劃方法

結(jié)果表明，該研究提出的方法在無需外部定位系統(tǒng)的情況下，仍可達到接近基于特權狀態(tài)方法的性能水平。

八、NOKOV度量動作捕捉系統(tǒng)應用

NOKOV度量光學動作捕捉系統(tǒng)專注于為機器人、無人機及具身智能研究提供高精度運動數(shù)據(jù)支持，可應用于：

· 無人機實驗與控制驗證

· 強化學習與自主飛行研究

· 機器人軌跡跟蹤與狀態(tài)反饋

· HIL硬件在環(huán)測試系統(tǒng)

在本研究中，系統(tǒng)為無人機高機動飛行實驗提供了關鍵狀態(tài)數(shù)據(jù)支持與實驗驗證能力。

九、參考文獻及作者簡介

參考文獻：

[1] Z. Wang, X. Zhou, C. Xu, F. Gao, Geometrically constrained trajectory optimization for multicopters. IEEE Trans. Robot. 38, 3259–3278 (2022).

[2] D. Falanga, E. Mueggler, M. Faessler, D. Scaramuzza, “Aggressive quadrotor flight through narrow gaps with onboard sensing and computing using active vision” in Proceedings of the 2017 IEEE International Conference on Robotics and Automation (ICRA) (IEEE, 2017), pp. 5774–5781.

作者簡介

巫天越（共同一作），即將前往香港大學攻讀博士學位，浙江大學本碩。研究興趣為機器手以及人形機器人的靈巧操作智能，飛行機器人運動智能。在Science Robotics，Robotics: Science and Systems等機器人領域權威期刊與會議上以第一作者發(fā)表文章。

徐廣通（共同一作），杭州電子科技大學自動化學院副研究員。2015和2021年在北京理工大學分別獲得學士和博士學位。2021-2023年在清華大學精密儀器系從事博士后研究。2023-2026年在浙江大學湖州研究院開展科研工作，此期間完成以上工作。主要研究領域為飛行機器人自主導航、運動規(guī)劃、集群協(xié)同等。在TASE、RA-L、ICRA、IROS等機器人領域期刊/會議上發(fā)表論文數(shù)篇。

王子晗，華北電力大學工學碩士，進行此工作期間為浙江大學湖州研究院交流生，研究方向為機器人自主系統(tǒng)、決策規(guī)劃?，F(xiàn)有 1 篇研究工作錄用于機器人國際頂會 IROS。

林俊曉，浙江大學碩士，即將前往香港大學攻讀博士學位。研究方向為機器人系統(tǒng)設計、運動控制以及靈巧操作。在RA-L，IROS等機器人權威期刊/會議上發(fā)表論文數(shù)篇。

陳天洋，浙江大學控制科學與工程學院在讀碩士。研究方向為飛行機器人與視覺-語言-動作模型。

吳鈺澤，浙江大學博士，微分智飛青年科學家，發(fā)表包括Nature Communications、Science Robotics、T-RO等在內(nèi)論文近20篇，主要研究方向為VLA/VLN具身導航模型、無人機世界模型和機器人多智能體。

韓志超，浙江大學控制科學與工程學院博士，主要從事移動機器人運動規(guī)劃、非線性優(yōu)化、深度學習、強化學習等領域研究。

劉志洋，浙江大學博士，微分智飛公司COO。

高飛（通訊作者），浙江大學控制科學與工程學院長聘副教授、博士生導師，微分智飛創(chuàng)始人。主要研究方向：空中機器人、自主導航、運動規(guī)劃、環(huán)境感知、集群機器人。