西云算力已建成國(guó)內(nèi)領(lǐng)先的智算集群規(guī)模,,提供高效的大模型訓(xùn)練支持,,實(shí)現(xiàn)分鐘級(jí)斷點(diǎn)續(xù)訓(xùn),,顯著優(yōu)化并行效率,。西云算力技術(shù)優(yōu)勢(shì)明顯,,支持?jǐn)?shù)千卡級(jí)GPU集群,集群規(guī)模國(guó)內(nèi)領(lǐng)先,,集群卡間帶寬可達(dá) 1.6T/3.2T,,單節(jié)點(diǎn)存儲(chǔ)帶寬可達(dá) 200Gb/s。智能優(yōu)化技術(shù)提高訓(xùn)練/推理性能25%以上,,節(jié)約成本20%以上,。GPU利用率超過(guò)55%(針對(duì)AI視頻模型訓(xùn)練,效率提升最高可達(dá)75%以上),,并行加速率70%以上,,實(shí)現(xiàn)高效訓(xùn)練,。分鐘級(jí)斷點(diǎn)續(xù)訓(xùn),,恢復(fù)時(shí)間小于8分鐘。模型部署推理性能極致優(yōu)化,,首Token推理延遲≤50ms,。
西云算力利用NVIDIA AI Enterprise構(gòu)建尼摩平臺(tái),,為企業(yè)提供端到端的大模型
落地服務(wù),推動(dòng)企業(yè)大模型應(yīng)用落地,,為企業(yè)和開(kāi)發(fā)者提供高效的模型訓(xùn)練與
部署,,加速AI應(yīng)用發(fā)展。
RockAI是一個(gè)面向開(kāi)發(fā)者的MaaS平臺(tái),,專(zhuān)注于簡(jiǎn)化對(duì)開(kāi)源機(jī)器學(xué)習(xí)模
型的訪(fǎng)問(wèn),,為國(guó)內(nèi)開(kāi)發(fā)者提供更加完善的一站式大模型開(kāi)發(fā)、托管和
API調(diào)用服務(wù),。