焦点快看：让机器更智能 爱芯元智AX650N端侧与边缘侧Transformer部署实践

(相关资料图)

近来,ChatGPT成为社会各界关注的焦点。从技术领域看,ChatGPT的爆发是深度学习领域演进、发展和突破的结果,其背后代表着Transformer结构下的大模型技术的飞速进展。因此,如何在端侧、边缘侧高效部署Transformer也成为用户选择平台的核心考量。

2023年3月,爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的优异表现,AX650N受到越来越多有大模型部署需求用户的青睐,并且先人一步成为Transformer端侧、边缘侧落地平台。

Transformer是当前各种大模型所采用的主要结构,而ChatGPT的火爆让人们逐渐意识到人工智能有着更高的上限,并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer最大的挑战则来自功耗,这也使得爱芯元智兼具高性能和低功耗特质的混合精度NPU,成为端侧和边缘侧部署Transformer的首选平台,而其优越性能则决定了Transformer的运行效果。

作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的Transformer网络SwinT,在爱芯元智AX650N平台表现出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的极易部署能力,都让AX650N在Transformer的落地中有着领先的优势地位。

关键词：