智能网卡加速Ceph存储的性能研究
电子技术应用
刘宝琴，罗向征，林茂，王钦雅，兰丽莎
迈普通信技术股份有限公司
摘要： 聚焦Ceph存储系统对象存储设备（Object Storage Device， OSD）架构线程锁竞争机制所导致的多核并行扩展能力受限问题，针对下一代Crimson-OSD架构与智能网卡协同优化技术开展研究，提出分层协同优化框架。相关研究表明，采用智能网卡协同优化，RDMA网络卸载降低CPU占用率达到70%，异构计算引擎实现纠删码硬件加速提升数据恢复速度达到4.84倍。研究成果为分布式存储系统的硬件加速提供相关理论依据与关键技术参考，对高性能计算和云边端融合等数据密集型场景的存储系统优化具有指导意义。
中圖分類號：TN915.05 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.256678
中文引用格式： 劉寶琴，羅向征，林茂，等. 智能網卡加速Ceph存儲的性能研究[J]. 電子技術應用，2025，51(12)：14-19.
英文引用格式： Liu Baoqin，Luo Xiangzheng，Lin Mao，et al. Research on accelerating Ceph storage performance with SmartNICs[J]. Application of Electronic Technique，2025，51(12)：14-19.
中文引用格式： 劉寶琴，羅向征，林茂，等. 智能網卡加速Ceph存儲的性能研究[J]. 電子技術應用，2025，51(12)：14-19.
英文引用格式： Liu Baoqin，Luo Xiangzheng，Lin Mao，et al. Research on accelerating Ceph storage performance with SmartNICs[J]. Application of Electronic Technique，2025，51(12)：14-19.
Research on accelerating Ceph storage performance with SmartNICs
Liu Baoqin，Luo Xiangzheng，Lin Mao，Wang Qinya，Lan Lisha
Maipu Communication Technology Co.， Ltd.
Abstract： This paper focuses on the issue of limited multi-core parallel scalability caused by thread lock contention mechanisms in the architecture of the Ceph storage system's Object Storage Device (OSD). It conducts research on collaborative optimization technologies between the next-generation Crimson-OSD architecture and SmartNICs, proposing a hierarchical cooperative optimization framework. Related studies demonstrate that employing SmartNIC-based cooperative optimization achieves a 70% reduction in CPU utilization through RDMA network offloading, while heterogeneous computing engines enable hardware acceleration for erasure coding, improving data recovery speed by 4.84 times. The research outcomes provide theoretical foundations and key technical references for hardware acceleration in distributed storage systems, offering guidance for optimizing storage systems in data-intensive scenarios such as high-performance computing and cloud-edge-end integration.
Key words : SmartNIC；Ceph storage system；performance optimization；hardware acceleration；distributed storage system
引言
以AI訓練、HPC、邊緣計算為代表的數據密集型應用爆發式增長對存儲系統的性能與彈性提出前所未有的挑戰。Ceph憑借高可用性與可擴展性優勢在云數據中心得到廣泛應用，但其傳統OSD架構在多核場景下因線程鎖競爭與跨核通信開銷，導致處理器（CPU）利用率偏低，難以適配NVMe SSD等高性能硬件。Ceph社區為此重構了Crimson-OSD架構，通過Shared-Nothing設計與異步流水線模型，優化多核擴展性。實際測試表明： 8線程配置下，4K隨機讀IOPS性能達到311k，隨著核數增長，性能得到進一步提升，驗證了架構重構的有效性。盡管Crimson-OSD架構設計取得了長足進步，但在借助智能網卡可編程加速能力來開展協同優化方面的研究仍顯不足。
針對Crimson-OSD 架構特點與性能瓶頸分析的基礎上，本文提出基于智能網卡的分層協同優化框架，其核心內容包括兩個方面，首先是建立關鍵參數性能敏感性模型，對Crimson-OSD多核擴展能力進行量化分析；其次設計分層協同優化框架，突破CPU算力對存儲系統性能的制約。進一步對存算一體架構與AI賦能動態管理前沿方向進行了初步探討。
本文詳細內容請下載：
http://www.tom3567.com/resource/share/2000006870
作者信息：
劉寶琴，羅向征，林茂，王欽雅，蘭麗莎
（邁普通信技術股份有限公司，四川 成都 610094）
此內容為AET網站原創，未經授權禁止轉載。