中文引用格式 : 黃家鋒 , 吳麗君. 基于注意力信息關注與漸進梯度約束的二值化超分辨率網絡 [J]. 網絡安全與數據治理 , 2026 ,
45(2) : 28 - 33.
英文引用格式 : Huang Jiafeng, Wu Lijun. A binarized super-resolution network based on attention information focusing and progressive gradi- ent constraints [J]. Cyber Security and Data Governance, 2026 , 45(2) : 28 - 33.
引言
圖像超分辨是計算機視覺和圖像處理中的一個重 要任務 。它旨在從低分辨率圖像中重建高分辨率圖像。 基于 Transformer 的圖像超分辨率網絡因其全局的特征 提取能力能夠重建恢復更真實的高分辨率圖像而受到 廣泛關注 。然而 , 其龐大的參數量導致推理過程需要 大量的內存使用和浮點運算 , 尤其是對于涉及高分辨率圖像的超分辨率 (Super-Resolution, SR) 任務而言。 這些特點阻礙了其在計算存儲資源有限的邊緣設備上 部署 。因此 , 對基于 Transformer 的圖像超分辨率網絡 模型進行壓縮 , 以加快推理速度并降低計算成本 , 同 時保持模型性能十分必要 。二值化神經網絡 (Binary Neural Network, BNN) [1] 作為一種極致的模型壓縮技 術 , 在模型輕量化方面潛力巨大 , 它能將網絡權重和 激活值從全精度量化至單比特 , 并使用同或門運算和 位計數來替代復雜的浮點數乘和累加運算 , 從而提供數十倍的模型壓縮率和顯著的計算加速 , 為超分辨率 重建模型在資源受限邊緣設備上的部署提供了極具潛 力的思路。
然而 , 現有二值化研究的應用場景多集中于圖像 分類等上游視覺任務 , 直接將現有的二值化方法[2 -4] 應用于像素密集型超分任務會導致顯著的性能下降。 例如 , Xia 等人[5] 提出 BBCU, 使用殘差對齊方案來緩 解二值卷積輸出數值范圍不匹配問題 ; Li 等人[6] 通過 引入自適應非對稱二值化方法來調整激活二值化的轉 換點以減小量化誤差 ; Xin 等人[7] 在 Rectified-BSR 模 型中使用多個不同閾值對激活值進行二值化并融合結 果 , 以減輕單一閾值帶來的信息損失 ; Zhang 等人[8] 提出的 FRBC 方法不僅對權重進行二值化 , 還對一階 二值化的殘差也進行了二值化 , 二階二值化的結果作 為輔助分支補償主干二值化網絡的量化誤差 。上述二 值化超分研究工作主要聚焦于減小激活權重的量化損 失 , 卻忽略了圖像輸入信息的限制 。相比較于對信息 損失具有更大容忍度的圖像分類任務 , 像素敏感的超 分任務對輸入信息分布要求更高。
網絡模型在訓練時候的“ 輸入信息 ”是指輸入圖 像中包含的全部信息 Ix , 包括目標信息 Id 和冗余信 息 。其中 , 目標信息即輸入圖像中與任務相關的關鍵 信息 , 其余的與任務無關的信息則為冗余信息 。一個 網絡模型的訓練目標是從輸入中盡可能地提取相關信 息以滿足特定任務的需要 。通常 , 一個全精度網絡的 模型信息容量 Im 是可以充分表征這些相關信息的 , 且 又能容納冗余信息 , 如圖 1 (a) 所示 。神經網絡訓練 通過損失函數反向傳播進行參數更新優化 , 是盡量讓 模型信息容量 Im 包含目標信息 Id 的過程 。但是將網 絡模型進行二值化過后 , 二值化模型信息容量 Im ? 就 變得很小 , 導致難以匹配目標信息 , 如圖 1 (b) 所 示 。如何讓模型快速地關注到與任務有關的相關信息 , 排除冗余信息對于像素敏感的超分任務顯得至關重要。 為此 , 本文設計了一個注意力信息關注模塊 , 通過將 注意力關注區域與輸入信息進行掩碼操作來濾除冗余 信息 , 生成注意力關注輸入信息 , 引入先驗知識來更 好地將 目 標 信 息 Id 匹 配 到 二 值 化 模 型 信 息 容 量 Im ? 上。
同時 , 由于注意力機制的特殊性 , 二值化注意力 層部分參數會出現梯度消失現象從而增加模型訓練難 度 , 導致模型性能下降 , Bi-ViT[9] 引入了一個可學習 的縮放因子重新激活消失的梯度 , 但是也引入了額外 的浮點數計算 。為此 , 在不增加計算量的前提下 , 本文提出了一個簡單有效的漸進梯度更新區間約束策略來擴大梯度更新區間,使得更多的參數參與更新優化。
圖 1 模型信息容量示意圖
綜上所述 , 本文提出了基于注意力信息關注和漸 進梯度更新區間約束策略的二值化超分網絡 BiSR-AG, 本文研究框架如下 :
(1) 基于全精度超分網絡 SwinIR[10] 利用 XNOR- Net[11] 與 GSB[12] 二值化方法實現了一個二值基線網絡。
(2) 在基線網絡基礎 , 針對二值化模型信息容量 較小難以匹配目標信息 , 設計了一個注意力信息關注 模塊 IA, 獲取模型關注區域的目標信息 , 抑制冗余特 征輸入 , 更好匹配二值化模型。
(3) 為解決二值化注意力層部分參數會出現不更 新問題 , 提出了漸進梯度更新區間約束策略 GC。該策 略在訓練初期設置較寬的直通估計器 (Straight-Through Estimator, STE) 梯度更新區間 , 確保注意力模塊參數 獲得充足的梯度更新空間 。隨著訓練輪次的增加 , 逐 步縮小梯度更新區間至標準范圍 , 實現了平滑過渡 , 提升了注意力模塊參數的優化效率 , 進而提高模型 精度。
本文詳細內容請下載：
http://www.tom3567.com/resource/share/2000006986
作者信息：
黃家鋒 , 吳麗君
(福州大學 物理與信息工程學院 , 福建 福州 350108)
