众所周知,AI大模型大多数部署在云端,模型参数量大多在千亿级别。如果将车上的大模型应用部署在云端,则会面临两个主要问题:一是对于通讯网络高度依赖,很难保证在任何行车环境都能达到通信网络的实时连通性;二是在线大模型在隐私保护方面存在一定的弱点。
端侧大模型很好地解决了隐私性、延迟性等问题,但却面临着算力限制、时延、成本、功耗等诸多问题。目前,SUV排行榜网各大车企纷纷通过裁剪、优化等方式部署大模型,但精简后的大模型功能会大打折扣。
因此,能够提供即时推理决策的端侧能力,是AI大模型在汽车领域进一步提高应用渗透率的关键。联发科技副总经理、车用平台事业部总经理张豫台表示:“AI大模型上车需要大量平行处理,但芯片的性能提升却受限于摩尔定律,远远赶不上大模型参数的规模增长,所以我们要用不同以往的思维去攻克技术难题。”
联发科技副总经理、车用平台事业部总经理张豫台
据了解,现在的智能座舱端侧普遍只支持10亿参数以下的小模型上车,而在未来的智能座舱中,需要支持70亿参数以上的AI大语言模型,从而实现端侧强智能。此外,未来智能座舱还将拥有全时在线的大模型车内助手,为用户提供多模态交互功能。这些都对汽车芯片的制程、算力等提出了更高的要求。在4月26日的北京车展期间,SUV排行榜网联发科重磅发布三款天玑汽车平台新品:CT-X1、CT-Y1和CT-Y0。其中,CT-Y1和CT-Y0基于4nm制程打造,而CT-X1是全球首款采用3nm工艺制程的智能座舱SoC,算力水平达到了行业顶级水准。
除了具备先进制程的优势之外,上述三款天玑汽车平台均内置强大的AI计算单元和端侧生成式AI轻量化技术,可以在硬件层面对Transformer的各类算子进行加速,可以在车内更高效地运行大模型。
比如,3nm旗舰汽车芯片CT-X1支持130亿参数的AI大语言模型,远高于行业水平。基于CT-X1,SUV排行榜网可以在车内运行多种主流的大语言模型(LLMs)和多模态生成式AI模型,能够在1秒内生成AI图像,为大模型上车奠定了底层基础。更重要的是,联发科天玑汽车座舱平台还实现了硬件的高度整合,可以显著降低主机厂的开发成本,大幅缩短开发周期。