引言

隨著無(wú)人機(jī)在低空經(jīng)濟(jì)中的廣泛部署，融合LiDAR幾何精確性與Camera語(yǔ)義豐富性的多模態(tài)感知技術(shù)已成為克服單一傳感器環(huán)境適應(yīng)性差、實(shí)現(xiàn)全天候魯棒感知的關(guān)鍵范式[1-3]。在此背景下，以VAF-Net[4]為代表的高性能融合模型，憑借其深度特征交互機(jī)制顯著提升了檢測(cè)精度，確立了當(dāng)前無(wú)人機(jī)三維目標(biāo)檢測(cè)的性能基準(zhǔn)[5]。

盡管多模態(tài)融合模型在服務(wù)器端表現(xiàn)卓越，但遷移至NVIDIA Jetson等機(jī)載平臺(tái)時(shí)面臨嚴(yán)峻的資源失配挑戰(zhàn)。邊緣模組通常受限于15 W~60 W功耗，F(xiàn)P32算力不足桌面級(jí)1/10，且共享內(nèi)存帶寬低于200 GB/s[6-7]。實(shí)測(cè)表明，SOTA模型VAF-Net[4]參數(shù)量高達(dá)39.99 M，單幀延遲超300 ms，具體痛點(diǎn)如下。

（1）存儲(chǔ)資源與限制：VAF-Net近40 M的參數(shù)規(guī)模嚴(yán)重?cái)D占機(jī)載存儲(chǔ)資源。在依賴低帶寬通信的場(chǎng)景下，其龐大的權(quán)重文件顯著增加了傳輸時(shí)延，制約了空中下載（Over-the-Air, OTA）的遠(yuǎn)程更新效率[8]。

（2）顯存容量與計(jì)算瓶頸：邊緣端顯存帶寬有限，標(biāo)準(zhǔn)Transformer融合模塊的復(fù)雜度極易引發(fā)顯存溢出[9]。同時(shí)，稀疏卷積網(wǎng)絡(luò)在嵌入式GPU上受限于訪存帶寬，導(dǎo)致常規(guī)通道剪枝陷入減參不提速的效率悖論[10-12]。

針對(duì)上述挑戰(zhàn)，本文提出了一種面向邊緣計(jì)算環(huán)境的輕量化多模態(tài) 3D 檢測(cè)網(wǎng)絡(luò)——Lite-VAFNet。本文致力于在極低的計(jì)算預(yù)算下實(shí)現(xiàn)檢測(cè)精度與推理速度的最佳平衡，主要貢獻(xiàn)如下。

（1）提出基于網(wǎng)格降維的參數(shù)解耦設(shè)計(jì)。對(duì)檢測(cè)頭（ROI Head）的參數(shù)冗余，提出網(wǎng)格降維策略。該策略通過(guò)解耦特征粒度與全連接層維度，在物理層引入低通濾波抑制高頻噪聲，成功將模型參數(shù)量壓縮約63%，顯著降低了邊緣端的存儲(chǔ)開(kāi)銷與OTA更新成本。設(shè)計(jì)面向資源受限的Linear-Bottleneck融合模塊。

（2）針對(duì)標(biāo)準(zhǔn)Transformer的顯存瓶頸，提出線性瓶頸注意力機(jī)制。通過(guò)通道壓縮與核函數(shù)近似，將計(jì)算復(fù)雜度由二次方降低至線性，在保持多模態(tài)全局特征交互能力的同時(shí)，消除顯存溢出風(fēng)險(xiǎn)。

（3）構(gòu)建“重采樣-蒸餾”協(xié)同加速框架。揭示并解決了稀疏卷積的訪存效率問(wèn)題，提出空間重采樣策略以減少非空體素索引開(kāi)銷，突破物理計(jì)算瓶頸。同時(shí)，結(jié)合Logit知識(shí)蒸餾技術(shù)，有效補(bǔ)償了因粗粒度量化帶來(lái)的幾何信息損失，實(shí)現(xiàn)了在邊緣設(shè)備上推理速度與檢測(cè)精度的雙重突破。

本文詳細(xì)內(nèi)容請(qǐng)下載：

http://www.tom3567.com/resource/share/2000007032

作者信息：

李家鑫1，王韻涵1，2，潘果1，張熙雨1

（1.華北計(jì)算機(jī)系統(tǒng)工程研究所，北京 100000；2.山東大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，山東 青島 266237）