挖貝網(wǎng)> 產(chǎn)業(yè)> 詳情
云天勵飛DeepEdge10適配DeepSeek開(kāi)源周“首個(gè)大招”:FlashMLA
2月24日,DeepSeek"開(kāi)源周"正式啟動(dòng),并發(fā)布首個(gè)代碼庫FlashMLA,引發(fā)全球關(guān)注。
FlashMLA是針對英偉達Hopper GPU優(yōu)化的高效MLA解碼內核,專(zhuān)為可變長(cháng)度序列優(yōu)化設計,是DeepSeek高效使用算力的核心程序模塊。FlashMLA通過(guò)MLA解碼優(yōu)化與分頁(yè)KV緩存技術(shù),顯著(zhù)提升硬件利用率,加速大語(yǔ)言模型解碼過(guò)程,有效提高響應速度與吞吐量,適用于各種實(shí)時(shí)對話(huà)生成場(chǎng)景。
云天勵飛芯片團隊在FlashMLA開(kāi)源后,迅速完成了DeepEdge10平臺與FlashMLA的適配工作。在適配過(guò)程中,云天勵飛采用了Op fusion tiling、Online softmax、Double buffer、細粒度存算并行等先進(jìn)技術(shù),并基于自研的Triton-like編程語(yǔ)言快速開(kāi)發(fā)驗證了高效的FlashMLA算子。通過(guò)一系列優(yōu)化,不僅顯著(zhù)提升了計算效率,還大幅降低了顯存占用,充分展現了DeepEdge10平臺“算力積木”芯片架構的卓越優(yōu)勢,以及其與DeepSeek生態(tài)的高度契合性。
今日,云天勵飛已將相關(guān)代碼提交至開(kāi)源平臺Gitee,為開(kāi)源AI貢獻了重要的技術(shù)力量。
DeepEdge10系列芯片是專(zhuān)門(mén)針對大模型時(shí)代打造的芯片,支持包括 Transformer 模型、BEV 模型、CV 大模型、LLM 大模型等各類(lèi)不同架構的主流模型;基于自主可控的先進(jìn)國產(chǎn)工藝打造,采用獨特的“算力積木”架構,可靈活滿(mǎn)足智慧城市、智慧交通、智能制造、智慧倉儲、機器人、邊緣智算中心等不同場(chǎng)景對算力的需求,為大模型推理提供強大動(dòng)力。
目前,DeepEdge10芯片平臺已成功適配DeepSeek R1系列模型及國產(chǎn)鴻蒙操作系統。未來(lái),云天勵飛將持續加大研發(fā)力度,推動(dòng)芯片在國產(chǎn)化領(lǐng)域取得更大突破,為國產(chǎn)AI生態(tài)建設貢獻更多力量。
相關(guān)閱讀
- 易聯(lián)眾區塊鏈應用技術(shù)獲批國家發(fā)明專(zhuān)利
- 天九數科推出免費低代碼,企業(yè)數智化開(kāi)發(fā)成本可降低70%以上
- 沃爾沃變速箱如何助力插混家族超千公里續航?
- 天津康婷開(kāi)展食品安全法專(zhuān)項普法 強化法治意識
- 從技術(shù)創(chuàng )新到安全治理:宜人智科以行動(dòng)推動(dòng)AI可靠可控發(fā)展
- 文創(chuàng )年輕態(tài) 非遺成潮流 2025成都禮品展燃爆蓉城
- 谷歌&凱度BrandZ中國全球化品牌50強揭曉,海爾斬獲行業(yè)第一
- 微云全息(NASDAQ: HOLO)發(fā)布對抗性攻擊防御新框架:機器學(xué)習系統的安全關(guān)鍵分析
- 世界品牌實(shí)驗室發(fā)布2025中國500最具價(jià)值品牌:海爾連續22年上榜,蟬聯(lián)前三
- 永頓工具:工業(yè)工具新標桿
推薦閱讀
快訊 更多
- 04-10 11:21 | 為“首發(fā)經(jīng)濟”注入創(chuàng )新動(dòng)力,CMEF見(jiàn)證寬騰醫學(xué)影像技術(shù)革新
- 02-20 18:53 | 手機也要上HBM芯片?三星計劃推出移動(dòng)版HBM,預計首款產(chǎn)品2028年上市
- 12-30 16:40 | 國產(chǎn)首款DDR5內存問(wèn)世!價(jià)格戰開(kāi)啟,復制長(cháng)江存儲擊敗三星路徑!
- 12-30 16:36 | 華為手機回歸第一年:全年銷(xiāo)量或超4000萬(wàn)臺 有望憑借Mate 70在高端市場(chǎng)擊敗蘋(píng)果
- 11-26 18:19 | 眾興菌業(yè)擬與漣水縣人民政府簽訂《招商引資合同書(shū)》 擬投資設立漣水食用菌產(chǎn)業(yè)園項目
- 11-26 18:16 | 美芝股份中選vivo全球AI研發(fā)中心-精裝工程采購項目(標段二)
- 11-26 18:14 | 健之佳擬用不超1億回購公司股份 維護公司價(jià)值及股東權益
- 11-26 09:53 | 格靈深瞳收購深圳市國科億道科技有限公司部分股權并增資5000萬(wàn)
- 11-26 09:37 | 煒岡科技擬以1.49億購買(mǎi)衡所華威9.33%股權 華海誠科擬發(fā)行可轉債收購煒岡科技所持衡所華威股權
- 11-25 10:41 | 精工科技與眾億匯鑫簽署5.16億元銷(xiāo)售合同