Arm发布新一代边缘AI计算平台,可运行超10亿参数模型
2月27日,Arm控股有限公司发布了Armv9边缘人工智能(AI)计算平台。据悉,该平台可支持运行超10亿参数的端侧AI模型。

Arm高级副总裁兼物联网事业部总经理PaulWilliamson表示:“AI的革新已不再局限于云端。随着世界的互联和智能化水平的日益提升,从智慧城市到工业自动化,在边缘侧处理AI工作负载不仅带来显著的优势,其必要性更是不可或缺。专为物联网打造的Armv9边缘AI计算平台的推出,标志着这一发展趋势迈入了重要的里程碑。”
据介绍,Arm此次发布的计算平台集成了全新的超高能效Armv9CPU——Cortex-A320和支持Transformer算子网络的Ethos-U85NPU,打造出全球首个专为物联网优化的Armv9边缘AI计算平台。相较于去年推出的基于Cortex-M85的平台,新的边缘AI计算平台的机器学习(ML)性能提高了八倍。Arm表示,从授权该技术以构建SoC芯片的合作伙伴,到构建下一代设备的ODM和OEM厂商,该平台受到了包括亚马逊云科技(AWS)、西门子、瑞萨电子、研华科技和Eurotech在内的多家业界合作伙伴的支持。
记者在现场了解到,该平台能够支持基于智能体的AI应用上运行经过调优的大语言(yán)模(mó)型(xíng)(LLM)和(hé)小(xiǎo)语(yǔ)言(yán)模(mó)型(xíng)(SLM),从(cóng)而(ér)开(kāi)辟(pì)全新(xīn)类(lèi)别(bié)的(de)边(biān)缘(yuán)应(yīng)用(yòng)场(chǎng)景(jǐng)。在(zài)未(wèi)来(lái)的(de)场(chǎng)景(jǐng)中(zhōng),智(zhì)能(néng)决(jué)策(cè)将(jiāng)更(gèng)接(jiē)近(jìn)数(shù)据(jù)采集源(yuán)头(tóu),这(zhè)不(bù)仅(jǐn)能(néng)显(xiǎn)著(zhe)减(jiǎn)少(shǎo)延(yán)迟(chí),还(hái)能(néng)有(yǒu)效(xiào)提(tí)升(shēng)隐(yǐn)私(sī)保(bǎo)护(hù)水(shuǐ)平(píng)。




