6月17日消息,這幾年GPU顯卡的算力幾乎完全轉向了AI方向,從FP32到FP16到FP8,馬上就要普及FP4了,性能一路飆升。
然而AI算力跟傳統的HPC高性能計算需要的算力已經背離了,后者對精度要求很高,因此FP64性能至關重要,TOP500榜單上大多數超算還是要看FP64性能的,否則很多科學計算就沒法搞。
但是FP64對GPU的要求同樣很高,資深的DIY玩家還記得十幾年前Kepler架構GPU是如何精簡FP64單元的吧,從FP32:FP64的2:1一路精簡到了64:1,游戲卡跟計算卡在FP64上分道揚鑣了。
最近有篇論文《FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail》引發了HPC社區的熱議,文章提出的一種觀點就是用FP8架構的硬件來模擬FP64性能,以后算力就狂堆FP8單元了,引發了對FP64硬件設計被GPU廠商放棄的熱議。
AMD公司AI與超算業務總監Joseph George也參與了討論,代表AMD表態了,那就是精度非常重要,AMD不會放棄FP64算力而只支持FP8。
AMD的Instinct系列GPU支持Ozaki——后者就是用論文提到的用FP8模擬FP64的軟件,但George表示AMD的客戶也沒要求將FP64單元從GPU中移除進而專注AI適用的低精度算力。
George表示AMD在這個問題上的立場是科學家如果想把業務跑在FP4、FP6、FP8,那請隨意,如果要用Ozaki來軟件模擬,AMD的GPU也支持,如果想原生運行FP64,AMD也希望他們這么做。
他表示AMD唯一想做的就是聚焦科學,專注于讓答案盡可能準確。
總之,AMD在這方面的觀點就是他們不做選擇,給科學家們提供所有算力支持,不論是AI用的FP8還是科學計算用的FP64,全都要才是答案。

