英特爾在美國時間4/8到4/9間舉行Intel Vision 2024大會，英特爾執行長季辛格（Pat Gelsinger）在會中宣布推出最新AI晶片Gaudi 3加速器，並表示該加速器平均訓練時間比輝達的H100縮短50%，推理處理量也較H100平均高出50%、推理效能平均高出40%。
英特爾AI加速器Gaudi 2是市場上唯一通過MLPerf基準測試的LLM解決方案，效能和效率皆通過驗證。而此次公布的新一代產品Gaudi 3在BF16（Brain Float 16，一種AI運算效能的計算方式）運算效能提升近4倍，記憶體頻寬提升1.5倍且網路頻寬也提升2倍，可擴充大規模系統，將有助大型語言模型（LLM）和多模態模型的AI訓練和推理，大幅提升效能和生產力。
並已經在開源 Llama 和阿布達比支援的Falcon等模型上測試了Gaudi 3晶片，可以有效的訓練或部署大型的AI模型，包括圖文生成的Stable Diffusion和OpenAI的Whisper語音辨識模型等等。
英特爾Gaudi 3將由5奈米製程打造，晶片整體包含10個主要模組，包含2個運算模組和8個記憶體堆疊（HBM 模組），據了解，台積電、世芯、日月光、智邦、高技等台廠相關英特爾供應鏈皆將受惠。並預計戴爾、聯想、美超微等知名的OEM，都將使用Gaudi 3，預計今年第3季全面上市，而Gaudi 3 PCle附加卡預計在今年第4季上市。
同時，英特爾指出，Gaudi 3與輝達的H100相比，平均訓練時間縮短50%，在推理處理量，預計高出50%、推理效能平均高出40%。輝達生產的GPU成本相對高昂，客戶從效能、成本等方面考量，此次推出的Gaudi 3有望與輝達旗下的AI晶片競爭。
此外，英特爾在此次Vision 2024大會也揭露一套新的開放可擴展系統，下一代產品及戰略合作關係，以加速企業採用生成式AI。
我是廣告 請繼續往下閱讀
並已經在開源 Llama 和阿布達比支援的Falcon等模型上測試了Gaudi 3晶片，可以有效的訓練或部署大型的AI模型，包括圖文生成的Stable Diffusion和OpenAI的Whisper語音辨識模型等等。
英特爾Gaudi 3將由5奈米製程打造，晶片整體包含10個主要模組，包含2個運算模組和8個記憶體堆疊（HBM 模組），據了解，台積電、世芯、日月光、智邦、高技等台廠相關英特爾供應鏈皆將受惠。並預計戴爾、聯想、美超微等知名的OEM，都將使用Gaudi 3，預計今年第3季全面上市，而Gaudi 3 PCle附加卡預計在今年第4季上市。
同時，英特爾指出，Gaudi 3與輝達的H100相比，平均訓練時間縮短50%，在推理處理量，預計高出50%、推理效能平均高出40%。輝達生產的GPU成本相對高昂，客戶從效能、成本等方面考量，此次推出的Gaudi 3有望與輝達旗下的AI晶片競爭。
此外，英特爾在此次Vision 2024大會也揭露一套新的開放可擴展系統，下一代產品及戰略合作關係，以加速企業採用生成式AI。
