精品香蕉一区二区三区,国产精品电影,性xxxfreexxxx性欧美,亚洲自拍的二区三区

關于ZAKER 合作
IT之家 10-18

英偉達 GPU 用量削減 82%!阿里云用 213 張卡干 1192 張卡的活

IT 之家 10 月 18 日消息,南華早報今天(10 月 18 日)發布博文,報道稱在韓國首爾舉辦的第 31 屆操作系統原理研討會(SOSP)上,阿里云發布的 "Aegaeon" 的計算池化解決方案研究成果成功入選,可解決 AI 模型服務中普遍存在的 GPU 資源浪費問題。

IT 之家查詢公開資料,SOSP 是計算機操作系統領域的頂尖會議,相當于計算機操作系統界的 " 奧斯卡 ",其錄取率控制非常嚴格,平均每年收錄的論文數量僅有數十篇,入選論文代表了操作系統和軟件領域最具代表的研究成果。

博文稱云服務商當前在提供 AI 模型服務時,面臨著嚴重的資源效率低下問題。平臺需要同時托管數千個 AI 模型以處理海量并發 API 調用,但用戶請求往往高度集中在少數幾個熱門模型上,例如阿里巴巴的 Qwen 系列模型。

研究人員發現,這種 " 長尾效應 " 導致了嚴重的資源閑置:在阿里云的模型市場中,竟有 17.7% 的 GPU 算力僅被用于處理 1.35% 的請求,造成了巨大的成本浪費。

為解決這一痛點,Aegaeon 系統應運而生。它通過創新的 GPU 資源池化技術,允許單個 GPU 動態服務于多個不同的 AI 模型,打破了以往 GPU 與特定模型綁定的低效模式。

在阿里云模型市場進行的為期超過三個月的 Beta 測試中,Aegaeon 系統展現了卓越的效能。測試數據顯示,服務數十個參數量高達 720 億的大模型,所需的英偉達 H20 GPU 數量從 1192 個成功減少至 213 個,數量削減高達 82%。

這項由北京大學與阿里云合作的研究成果,被認為是 " 首個揭示并解決市場上并發大語言模型服務存在過高成本 " 的公開工作,為行業提供了全新的優化思路。

值得一提的是,阿里云首席技術官周靖人也是該論文的作者之一。周靖人是國際電氣與電子工程師協會會士(IEEE Fellow),國際計算機協會會士(ACM Fellow),阿里巴巴集團副總裁,阿里云智能 CTO、達摩院副院長。

相關標簽
IT之家

IT之家

數碼,科技,生活

訂閱

覺得文章不錯,微信掃描分享好友

掃碼分享

熱門推薦

查看更多內容
主站蜘蛛池模板: 沽源县| 铅山县| 栖霞市| 耿马| 林西县| 西峡县| 定远县| 扎赉特旗| 成都市| 桐城市| 容城县| 波密县| 连云港市| 西藏| 泗洪县| 牟定县| 阿克| 赣榆县| 呼图壁县| 鲜城| 双流县| 自贡市| 竹溪县| 务川| 太仓市| 赤水市| 建水县| 哈密市| 陕西省| 白银市| 娱乐| 武邑县| 板桥市| 漯河市| 皮山县| 晋州市| 阜平县| 大连市| 车险| 曲靖市| 雷波县|