英特爾發表新一代 AI 解決方案 Xeon 6 與 Gaudi 3

隨著 AI 持續顛覆各個產業,企業對於兼顧成本效益和可以快速開發並布署基礎設施的需求愈趨成長。因應需求攀升,英特爾今(24)日推出搭載效能核心(P-core)的 Xeon 6 和 Gaudi 3 AI 加速器,強化公司致力於提供具備每瓦最佳效能且降低總持有成本(TCO)的強大 AI 系統的承諾。

 

 

英特爾執行副總裁暨資料中心與 AI 解決方案總經理 Justin Hotard 指出:「AI 需求帶動資料中心大規模轉型,產業因此開始在軟硬體和開發工具上尋求更多選擇。英特爾推出搭載效能核心(P-core)的 Xeon 6 和 Gaudi 3 AI 加速器將促進開放生態系發展,使我們的客戶能以更佳的效能、效率和安全性,滿足所有工作負載。」

 

英特爾搭載效能核心(P-core)的 Xeon 6 和 Gaudi 3 AI 加速器介紹

 

英特爾 AI 基礎架構最新進展包括為資料中心產品組合增加兩大產品:

 

・ Intel Xeon 6 搭載效能核心(P-core):專為處理運算密集型的工作負載而設計,並兼顧優異效率。相較於上一代處理器 2,Xeon 6 提供 2 倍的效能提升,不僅核心數增加、記憶體頻寬加倍,更將 AI 加速功能嵌入每個核心。英特爾此款處理器,專為滿足邊緣到資料中心和雲端環境的 AI 效能需求而打造。

 

・ Intel Gaudi 3 AI 加速器:特別為大規模生成式 AI 最佳化的 Gaudi 3,具備 64 個張量處理器核心(TPC)和 8 個矩陣乘法引擎(MME),能加速深度神經網路運算。此外,還包括用於訓練與推論的 128 GB HBM2e 記憶體,以及用於可擴充網路的 24 個 200 Gb 乙太網路連接埠。Gaudi 3 提供了與 PyTorch 框架、先進的 Hugging Face Transformer 模型和 diffuser 模型無縫的相容性。英特爾近期宣布與 IBM 合作,將英特爾 Gaudi 3 AI 加速器做為服務布署至 IBM Cloud 上,期待透過這項合作,客戶在使用 AI 與擴充 AI 規模時,能同時強化效能與降低總持有成本(TCO)。

 

透過總持有成本(TCO)優勢強化 AI 系統

 

大規模布署 AI 涉及各種考量因素,包括靈活彈性布署的選項、具競爭力的價格效能比,以及可用的 AI 技術等。英特爾強大的 x86 架構與廣泛的開放生態系,使其能夠支援企業建構具備最佳化總持有成本(TCO)及每瓦效能的高價值 AI 系統。值得一提的是,市場上高達 73% 的 GPU 加速伺服器是使用 Intel Xeon 系列處理器作為伺服器處理器(host CPU)3。

 

英特爾與領導 OEM 夥伴合作包括戴爾科技和美超微(按廠商英文名稱順序排列),開發共同設計的系統,以滿足客戶在有效 AI 布署的特定需求。戴爾科技與英特爾正共同設計適用於 Gaudi 3 和 Xeon 6 且以檢索增強生成(RAG)為基礎的解決方案。

 

藉由共同設計,橋接原型設計與量產

 

在生成式 AI(Gen AI)解決方案由原型設計推進至量產就緒的過程中,將面臨即時監控(real-time monitoring)、錯誤處理(error handling)、記錄日誌檔(logging)、安全性和可擴充性等方面的挑戰。英特爾與 OEM 廠商和其他夥伴合作,透過共同設計處理這些挑戰,推出量產就緒的 RAG 解決方案。

 

這些解決方案建立於 Open Platform For Enterprise AI(OPEA)平台之上,將基於 OPEA 的微服務架構整合至可擴充的 RAG 系統,並針對 Xeon 和 Gaudi AI 系統進行最佳化,其目的為協助客戶輕鬆整合 Kubernetes、Red Hat OpenShift AI 和 Red Hat Enterprise Linux AI 的應用程式。

 

擴大企業 AI 應用的可用性

 

Intel Tiber 產品組合提供企業解決方案,該方案能解決橫跨 AI、雲端與邊緣環境的各種挑戰,包括存取、成本、複雜性、安全性、效率和可擴充性。Intel® Tiber™ Developer Cloud 現提供英特爾 Xeon 6 預覽系統,可供技術評估與測試使用。此外,特定客戶可搶先體驗英特爾 Gaudi 3,以驗證 AI 模型布署。Gaudi 3 叢集將於下一季開始推出,可供大規模量產布署。

 

新的服務產品包括 Seekr 推出的端到端 AI 平台 SeekrFlow,該平台用於開發可信賴 AI 應用程式。最新更新包括 Intel Gaudi 軟體最新版本和整合 PyTorch 2.4 的 Jupyter Notebooks、英特爾 oneAPI 以及 AI 工具 2024.2 版本,其中包括全新 AI 加速功能,並支援 Xeon 6 處理器。