基于GPU的稀疏深度神经网络性能优化
电子技术应用
石于诚，黄建强，边浩东，吴利，贾金芳，王晓英
青海大学 计算机技术与应用系，青海 西宁 810016
摘要： 摘 要：随着神经网络层数不断加深，稀疏深度神经网络在计算与存储空间上更具优势，但稀疏深度神经网络的性能仍然有待优化。为此提出基于GPU的稀疏深度神经网络性能优化方法，对于计算顺序进行调整，增强数据重用性，并结合GPU的独特结构与CUDA编程方法，通过预取等方法进一步提升性能。基于GraphChallenge官方提供的数据集，相较于cuSPARSE相关库函数，最高获得了2.5倍的性能加速。
中文引用格式： 石于誠，黃建強，邊浩東，等. 基于GPU的稀疏深度神經網絡性能優化[J]. 電子技術應用，2023，49(12)：14-19.
英文引用格式： Shi Yucheng，Huang Jianqiang，Bian Haodong，et al. Performance optimization of sparse deep neural network based on GPU[J]. Application of Electronic Technique，2023，49(12)：14-19.
英文引用格式： Shi Yucheng，Huang Jianqiang，Bian Haodong，et al. Performance optimization of sparse deep neural network based on GPU[J]. Application of Electronic Technique，2023，49(12)：14-19.
Performance optimization of sparse deep neural network based on GPU
Shi Yucheng，Huang Jianqiang，Bian Haodong，Wu Li，Jia Jinfang，Wang Xiaoying
Department of Computer Technology and Application，Qinghai University，Xining 810016，China
Abstract： With the deepening of neural network layers, the sparse deep neural network has more advantages in computing and storage space, but the performance of the sparse deep neural network still needs to be optimized. Therefore, a performance optimization method based on GPU sparse deep neural network is proposed, which adjusts the order of computation, enhances the reusability of data, and combines the unique structure of GPU with CUDA programming method, performance is further improved by prefetching and other methods. According to GraphChallenge's official data set, it achieved up to 2.5 times the performance acceleration compared to the related cuSPARSE library functions.
Key words : deep neural network；sparsification；heterogeneous platform；sparse matrix-matrix multiplication
0 引言
隨著神經網絡原理性研究的不斷深入以及算力逐步增強，越來越多的深度神經網絡涌現。例如在自然語言處理[1]領域，谷歌提出Transformer[2]模型，其本身對于梯度消失這一難題的解決以及可以進行并行訓練等一系列的優勢，使得大模型愈發火熱，ChatGPT[3]也是在此基礎上訓練得到的。但規模龐大的深度神經網絡對于模型應用的時效性提出了更大的挑戰，由于“存儲墻”[4]和“功耗墻”[5]的存在，稀疏深度神經網絡[6-7]進入研究視野，GPU設備和稀疏深度神經網絡的結合使得訓練速度再邁上一個嶄新的臺階。
本文詳細內容請下載：http://www.tom3567.com/resource/share/2000005799
作者信息
石于誠，黃建強，邊浩東，吳利，賈金芳，王曉英
（青海大學 計算機技術與應用系，青海 西寧 810016）
此內容為AET網站原創，未經授權禁止轉載。