AI能力成最大提升,车上就能运行大模型。
在智能汽车时代,高通对于汽车的参与正越来越深。
夏威夷10月22日(北京时间10月23日),高通公司正式发布了两大全新汽车芯片产品:骁龙座舱至尊版平台和Snapdragon Ride至尊版平台。
▲高通骁龙座舱至尊版平台和Snapdragon Ride至尊版平台
骁龙座舱至尊版平台和Snapdragon Ride至尊版平台都将在2025年出样片。
▲高通技术公司汽车、行业解决方案和云事业群总经理Nakul Duggal
据高通技术公司汽车、行业解决方案和云事业群总经理Nakul Duggal介绍,跟前代产品相比,这两款产品采用了统一的架构:高通专门为汽车定制的高通Oryon CPU,其速度相比前代提升至3倍;同时还配备了面向汽车应用设计的Adreno GPU,性能也提升了3倍;其面向多模态AI设计的专用神经网络处理器(NPU),性能比前代提升了12倍。
▲高通骁龙座舱至尊版平台和Snapdragon Ride至尊版平台性能全面提升
正因如此,车企还可以选择在同一SoC上无缝运行数字座舱和智能驾驶功能。
▲高通骁龙座舱至尊版平台和Snapdragon Ride至尊版平台性能提升内容
骁龙座舱至尊版平台和Snapdragon Ride至尊版平台带来的最大提升则是对于AI的支持,无论是在座舱领域还是在智驾领域,高通都将AI作为了非常重要的一环来介绍。
在发布会现场,高通还直接宣布了一些合作项目。
目前高通正在和谷歌合作,双方将利用骁龙数字底盘、安卓汽车OS和谷歌云三者互为补充的技术,打造借助生成式AI(GenAI)开发座舱解决方案的全新标准化参考平台。
▲高通和谷歌将合作开发借助生成式AI(GenAI)开发座舱解决方案
奔驰和理想汽车将会在未来的产品中使用高通的骁龙座舱至尊版平台。
▲理想汽车将在未来车型使用骁龙座舱至尊版平台
长城汽车新任CTO吴会肖也在发布会现场分享了长城汽车和高通的合作,目前长城汽车自主研发的座舱系统Coffee OS一直基于高通座舱芯片开发,目前长城旗下多款车型甚至最新推出的“灵魂”摩托都采用了Coffee OS,双方的深度合作还在继续。
▲长城汽车CTO吴会肖
另外非常值得注意的是,这次高通专门留了一天的时间为汽车业务举办产品发布会,高通对于汽车业务的重视也可见一斑。
而这次发布会,也几乎全面展示了高通在汽车领域丰富的产品组合,既有SoC和工具,也有完整软件栈,涵盖了硬件、软件(包括中间件和其他应用程序)、云平台、以及利用AI SDK打造完整的全栈。
在汽车行业的下一步竞争中,高通也将会扮演重要的角色。
01.最多支持16块屏 车上可运行大语言模型
首先来看一下骁龙座舱至尊版平台。
高通专为汽车定制的Oryon CPU具备灵活的架构,可以支持多个虚拟环境和多样化的跨域应用,还实现了性能、能耗和便利性的进一步提升。
▲高通骁龙座舱至尊版平台设计
骁龙座舱至尊版平台可以支持多个应用程序同时运行,不会有任何性能损失或者延迟,简单来说,在全新平台的加持下,用户在车上使用智能座舱的时候,可以同时打开多个APP运行,车机丝毫不会卡顿。
这样带来的好处是,车辆的导航、娱乐系统和通信系统都可以运行。
值得注意的是,高通骁龙座舱至尊版平台的显示处理单元(DPU)也非常强大,能够支持至多16个4K像素显示屏。
▲高通骁龙座舱至尊版平台可驱动16块4K屏幕
同时,得益于专用的Adreno GPU,高通骁龙座舱至尊版平台支持实时光追和沉浸式3D体验,当用户在车机上体验游戏的时候,会有更好的视觉效果和沉浸感。
而在日常使用过程中,还可以通过3D地图和更加逼真的车型UI来增强对于环境的感知,让驾驶变得更加轻松安全。
结合这些能力来看,如果车内有多块屏幕的话,每个座位上的乘客都可以自由使用自己想要用的APP,并且可以享受非常高质量的画面。
▲不同位置用户可以体验不同的娱乐服务
智能座舱是一个综合性的产品,除了在画面上要有更好的体验,音效也是很重要的一环。高通骁龙座舱至尊版平台有专用的AI音频处理器,提升了音频的表现。
具体来看,AI增强的音频可以在更加复杂的环境中进行唤醒词检测,也能够对多种语言和方言进行准确识别;而分区音频也不在话下,可以对车内各个位置的乘客的语音指令进行检测,让每位乘客都有属于自己的专属语音助手。
不过,上面的产品还是相对比较传统的创新,高通骁龙座舱至尊版平台真正厉害的地方在于对于AI能力的支持。
骁龙座舱至尊版平台集成的最新NPU则是专用的AI加速器,相比前代座舱芯片,其性能提升了12倍,可以处理高达几十亿参数的大语言模型。
▲高通骁龙座舱至尊版平台NPU性能提升12倍
这意味着在车上运行大语言模型将会变得非常轻松,而在当下大语言模型竞相上车的环境下,这样的性能优势不言而喻。
骁龙座舱至尊版平台搭载的基础模型,可以通过检索增强生成技术来调用车辆维修助手,模型可以根据车辆维修手册进行训练。一旦车辆屏幕上显示出了警报,AI助手会立刻检索并且确认出警报原因,非常实用。
当然,车载AI助手也可以解答用户的问题,还可以根据用户的偏好来不断学习和进化,随着时间的推移,AI助手甚至可以主动为车主提供建议并采取操作。
到那时,车辆就不单单是一辆交通工具了,而是真正的智能助手。
02.支持端到端智驾 能满足40多个传感器需求
座舱方面一直是高通的强项,而智能驾驶方面则是高通目前重点布局的方向之一。
▲高通骁龙座舱至尊版平台和Snapdragon Ride至尊版平台架构图
在本次发布会上,Snapdragon Ride至尊版平台则全面展示了高通在智能驾驶方面的能力。
首先从架构上来看,高通的NPU是支持多模态的AI处理器,甚至专为智能驾驶进行了增强,该NPU支持端到端的网络架构,并提供浮点数运算与整数运算的混合精度实现,支持INT4运算。
也就是说,在高通Snapdragon Ride至尊版平台上,车企可以轻松布局端到端大模型。这也符合目前智能驾驶领域的最新技术进展。
在目前的智能驾驶领域,关于传感器的最终方案仍然还没有统一意见,激光雷达+视觉和纯视觉方案之间的竞争还在继续。
为了能更好的满足不同车企的需求,高通选择了做加法,可以将多个摄像头和多模态传感器与SoC相连接。
那究竟能支持多少个传感器呢?
高通给出的答案是超过40个,要知道,目前几乎没有车企将传感器堆加到40个以上。更重要的是,高通可以支持车外搭载多个1600万像素的摄像头,车内360度全景红外摄像头。而如此高质量的传感器,目前还没有到规模上车的阶段。
▲高通Snapdragon Ride至尊版平台支持40+传感器
换言之,高通Snapdragon Ride至尊版平台在未来很多年内都能保持足够的竞争力。
如何处理这些高质量的数据?高通选择利用神经网络实现跨多个传感器的低级别融合,从而对物体和轨迹进行稳定性检测、分类和预测。
而多模态传感器的数据流,也可以提升系统在不同条件之下的图像效果,无论是过亮还是过暗的环境下,都可以做到准确识别,这对于智能驾驶的安全性提升非常重要。
▲高通通过多模态传感器对环境实现准确识别
车内360度全景红外摄像头也很重要,可以检测驾驶员的驾驶行为,不断迭代完善,提供更符合驾驶者需求的驾乘体验。
上面的介绍,主要集中在视觉传感器方面,对于雷达和激光雷达,高通也做了考虑,专门配备了专用处理器,可以处理雷达和激光雷达的点云数据或更低级别的数据,同时可以和同一SoC上其他传感器的低级别融合。
同时,Snapdragon Ride至尊版平台采用的异构架构和专用处理器,支持所有传感器的并行处理数据,不会将数据集中在单个内核中进行高负载处理,在数据安全上做足了准备。
03.结语:AI定义汽车正成为现实
从去年开始,AI成为了科技圈非常火热的名词,而从今年一开始,AI也在切实改变日常生活。
而在汽车领域,AI上车也成为了行业玩家共同的选择,高通此次也将AI能力作为了重要的一环,不难发现,无论是在座舱领域还是在智能驾驶领域,对AI的支持都是高通此次最大的变化之一。
▲高通在汽车业务方面的合作伙伴
而随着这些产品的逐步上车,AI在汽车行业的作用也会进一步增加,到那时,AI定义汽车将会成为现实。
写在最后,如果你需要付费使用ChatGPT等AI工具,可以使用虚拟卡支付。牛牛Card就是一个专门提供虚拟卡的平台(可以免KYC),有兴趣的朋友可以添加客服TG(@bullbull1999)咨询了解。