【小米 MiMo 首次公開模型推理系統(tǒng)全鏈路優(yōu)化技術(shù)細(xì)節(jié)】財(cái)聯(lián)社 5 月 30 日電，小米 5 月 30 日正式公開 MiMo-V2.5 系列模型的推理系統(tǒng)全鏈路優(yōu)化方案。團(tuán)隊(duì)圍繞 Hybrid SWA + MoE + 多模態(tài)的復(fù)合架構(gòu)，系統(tǒng)性重構(gòu)了從 KVCache 管理、分級(jí)緩存、前綴緩存到調(diào)度策略與 Prefill/Decode 鏈路的完整推理?xiàng)?，KVCache 存儲(chǔ)壓縮至同級(jí)方案的約 1/7，在長序列場景下推理成本大幅下降——這是本次降價(jià)的核心技術(shù)基礎(chǔ)。5 月 27 日，MiMo-V2.5 系列 API 完成永久降價(jià)，最高降幅達(dá) 99%，不區(qū)分輸入長度。
財(cái)聯(lián)社-深度
05-30
小米 MiMo 首次公開模型推理系統(tǒng)全鏈路優(yōu)化技術(shù)細(xì)節(jié)
相關(guān)標(biāo)簽
