MLCommons於美國時間9月11日針對60億個參數的大型語言GPT-J，以及電腦視覺和自然語言處理模型發表MLPerf Inference v3.1效能基準測試結果。英特爾提交Habana Gaudi2加速器、第4代Intel Xeon可擴充處理器和Intel Xeon CPU Max系列的測試結果。這些結果不僅顯示英特爾在AI推論方面可提供具競爭力的效能表現，更強化英特爾的承諾－在客戶端、邊緣、網路、雲端等一連串AI工作負載中，讓AI更容易大規模地落實應用。

HabanaGaudi2GPT

英特爾執行副總裁暨資料中心和AI事業群總Sandra Rivera指出，正如同近期MLCommons的結果，展示出英特爾擁有強勁、極具競爭力的AI產品組合，能夠滿足客戶對於高效能、高效率深度學習模型推論和訓練的需求，適合用在最小到最大的各種AI模型，並提供領先的性價比。

在今年6月更新的MLCommons AI訓練和Hugging Face效能基準測試，驗證了Gaudi2在最先進視覺語言模型方面的效能優勢；而9月11日的結果近一步強化英特爾是滿足AI運算需求，能夠替代同類型競品的可行方案。

每位客戶均有獨特的考量，而英特爾提供可解決一連串AI工作負載推論與訓練難題的產品，將AI落實到每個角落。英特爾的AI產品讓客戶能夠根據各自的效能、效率和成本目標，在選擇最佳AI解決方案時擁有靈活性和選項，同時協助客戶打破封閉的生態系。

Habana Gaudi2結果：Habana Gaudi2的GPT-J推論效能結果，為其極具競爭力的效能提供有力的驗證。

●Gaudi2在GPT-J-99和GPT-J-99.9的伺服器查詢（query）和離線樣本推論效能，分別為每秒78.58個查詢和每秒84.08個樣本。

●Gaudi2的效能是NVIDIA A100的2.4倍（伺服器）和2倍（離線）。

●Gaudi2的提交結果使用FP8，在此新資料類型的準確度高達99.9％。

Gaudi2大約每6週至8週釋出一次軟體更新，英特爾預期在MLPerf基準測試中繼續提升效能並擴大模型覆蓋範圍。

Intel Xeon結果：英特爾提交第4代Intel Xeon可擴充處理器的結果，其中包含GPT-J在內的所有7項推論基準測試。這些結果展現出通用AI工作負載的優異效能，包含視覺、語言處理、語音和音訊翻譯模型，以及規模更大的DLRM v2推薦和ChatGPT-J模型。此外，英特爾仍是唯一一家使用業界標準深度學習生態系軟體來提交公開CPU結果的供應商。

●使用最流行的AI框架與函式庫建立並部署通用AI工作負載，第4代Intel Xeon可擴充處理器為其理想之選。1篇新聞文章約1,000字至1,500字的GPT-J 100字摘要工作，第4代Intel Xeon處理器在離線模式下每秒可總結2個段落，即時伺服器模式下每秒總結1個段落。

●英特爾首次提交Intel Xeon CPU Max系列的MLPerf結果，該系列可提供高達64GB的高頻寬記憶體。在GPT-J方面，它是唯一能夠達成99.9％準確度的CPU，這對於需要最高精準度的應用而言十分重要。

●英特爾和原始設備製造商（OEM）客戶合作，提交他們自己的結果，進一步展現搭載Intel Xeon處理器通用伺服器的AI效能可擴展性和廣泛可用性，這些伺服器能夠滿足客戶的服務等級協議（SLA）。

MLPerf被普遍認為是AI效能方面最具聲譽的基準測試，能夠進行公平、可重現的效能比較。英特爾預計將為下次的MLPerf基準測試提交新的AI訓練結果。效能持續不斷的更新，代表英特爾致力於支援客戶，並針對每個AI節點提出解決方案－從低成本的AI處理器，再到網路、雲端和企業用戶所需的最高效能AI硬體加速器和GPU。