风从云端吹向终端：混合AI未来可期

  【天极网手机频道】最近一年，以ChatGPT为代表的生成式AI以迅雷不及掩耳之势霸占了全球互联网的热度，伴随着全民尝鲜AI的热潮，国内外大厂也纷纷下场投身AI大模型的研发与应用。一时之间，生成式AI风头无两。

  生成式AI革新移动端使用场景

  生成式AI让我们窥见了近未来，并且已经在大量行业场景得到了具体应用。在移动端，我们实际上已经能够见到很多与AI相关的应用。例如在用户拍照时，设备可以自动识别物品，根据环境和场景自动优化画面内容，实现更好的成像效果;AI能够根据用户的生活工作习惯规划日程，与语音助手相结合能够实现私人助理一般的交互体验;AI还能够帮助智能判断设备的状态、学习用户的使用习惯，在自动分配性能到需要高算力、高负载的应用时，自动优化充电与电池调用，让设备的使用更加智能。

  生成式AI已然改变了我们对于传统意义上AI应用场景的理解。就拿目前已经相当成熟的问答式AI来说，在结合各家智能语音助手以及搜素引擎之后，用户可以像与人对话一样直接与设备进行交互。不仅可以进行常规的提问“今天天气如何”“高通是一家什么公司”，还能够直接调用互联网海量信息，对用户的问题进行针对性的回答。

  伴随着如自然语言处理、机器学习等技术的发展，生成式AI技术更加全面和智能化，在端侧具备广阔的应用前景，可以实现更加复杂和高级的内容生成和创作。

  在图像生成领域，通过学习已有的图像数据，AI可以生成出与原始数据相似的新图像。例如我们拍摄了一张照片，将身边杂乱的场景裁切之后，使用生成式AI能够基于已有的照片“补完”更大照片内容，人物也能完美融入其中。此外，生成式AI技术还可以应用于图像的超分辨率、去噪和图像修复等场景。

  都说移动端进行文字创作不如别的大屏终端方便。有了生成式AI，我们可以在移动端生成与人类写作相似的文本。自动写作、机器翻译，生成式AI能极大提升移动终端侧的生产力。在音频处理领域，AI可以帮助用户进行通话降噪、优化通话质量和收音效果。无论是游戏语音还是音视频通话都很有作用。而有了生成式AI的加持，用户可以在移动端生成出逼真的语音、音乐和音效，可以广泛应用于配音、通话、游戏等场景。

  生成式AI技术还应用于游戏开发领域，将极大地帮助游戏开发者。依靠AI自动生成游戏场景、道具和角色等元素，免除了重新建模、渲染的繁复步骤。节省时间、提高效率，用户也能早日体验到精彩的游戏内容。

  夯实基础 第二代骁龙8打造移动端AI核心

  移动场景下的AI大有作为。目前我们能见到的生成式AI往往都聚集在PC端，运行AI大模型需要相当高的算力，需要CPU、GPU等硬件进行支持。在人工智能三要素中，无论是数据还是算法，都离不开算力的支撑，这也是行业的共识。

  高通在移动硬件领域有着夯实的技术基础。第二代骁龙8也是骁龙AI发展历程中的里程碑。这一平台从设计之初就与AI紧密结合，采用了分布式的AI设计，其集成的高性能高通AI引擎涵盖多个软硬件组件，包括高通Hexagon处理器、Adreno GPU和Kryo CPU，可以通俗地认为它并非只有一个AI处理单元，而是将AI处理单元其分布在各个需要AI提供助力的单元中。

  从硬件层面来看，高通AI引擎实现了高达4.35倍的算力提升，和60%的能效提升，并且率先支持INT4 AI精度格式;而高通传感器中枢则带来了先进的AI处理能力，性能提升了2倍，同时内存提升了50%。

  高通为Hexagon处理器加入专用的供电系统，进一步提升芯片处理的能效比;改进内存读写，降低能耗;通过微切片的推理方式，将单个神经网络拆分成几万个微切片，然后将其分配到张量、标量、向量加速器上，从而提高整个神经网络的推理速度。

  在第二代骁龙8身上，我们能够看到AI全面参与芯片运行，帮助优化用户在使用设备的每一个场景、每一个细节。而对AI的应用远不止于此，骁龙X70 5G调制解调器及射频系统是全球首个和唯一一个配备5G AI处理器的调制解调器及射频系统，利用其强大的AI功能支持在终端上实现突破性的连接速度。并配合高通FastConnect 7800，第二代骁龙8将开启Wi-Fi 7时代，高频多连接并发技术能实现Wi-Fi 7峰值速度高达5.8Gbps，和低于2毫秒的时延。同时也带来先进的双蓝牙技术，实现配对连接速度翻倍。

  在影像层面，AI帮助第二代骁龙8实现了首个认知ISP，实时运行“语义分割”AI照片编辑技术。运用经过训练的神经网络识别多种不同物体，并整个过程都能在强大的ISP里完成。具备实时分层像素处理和实时语义分割滤镜的认知ISP和高通AI引擎势必开启下一代专业品质影像体验。正如高通技术公司产品管理副总裁Judd Heape所言，“实时语义分割技术具有开创性意义，这意味着摄像头能够真正实现对捕捉画面的情景感知。”

  高通通过提升AI引擎并升级Snapdragon Smart特性赋能第二代骁龙8，让这些设备能够提供用户在当前所能切身体验到的可能是最优秀的AI场景应用。随着今年10月的临近，第三代骁龙8也即将与广大消费者见面。相信在新一代的旗舰平台上，高通会进一步提升AI算力，并针对AI进行持续优化，进一步提升用户在移动端的AI体验。

  全栈AI优化引领终端侧AI解决方案

  今日，高通发布白皮书《混合AI是AI的未来》，为我们描绘了混合AI发展前景，高通是如何阐释混合AI的？在高通的引领下，混合AI将走向何方？

  高通认为混合AI是AI未来必经之路。所谓混合式AI也就是传统基于云端的AI与端侧AI的结合，云端和终端共同处理AI计算，借助端侧的即时感知、即时处理优势填补云端AI在延迟方面的短板，同时，云端的超高算力也能对端侧AI性能不足的情况进行强有力的补充。

  从高通的规划来看，未来AI将在云端、边缘云和终端侧协同运行，构建混合AI架构。正如第二代骁龙8中AI对于5G的加成，5G同样是连接云端算力和终端应用的关键桥梁，也正是5G使整个混合AI系统中的计算和处理能力得以以最有效的方式分布，实现更强大、更便利、更高效、更优化的AI。

  高通所推崇的混合AI解决方案是一个全栈优化的整体解决方案。高通为应用、神经网络模型、算法、软件和硬件进行了全栈AI研究和优化。异构计算方法利用硬件(比如 CPU、GPU 和 AI 加速器)和软件(比如高通AI软件栈)来加速终端侧AI。从算法和模型开发到软件和模型效率、从量化编译到硬件加速，高通的全栈式AI优化如同齿轮般精密啮合，形成了如今我们看到的样子。

  随着强大的生成式AI模型不断缩小以及终端侧处理能力的持续提升，混合AI的潜力将会进一步增长。骁龙移动平台能够支持超过10亿参数的生成式AI模型，而在不久的将来，高通将很快在移动端实现部署100亿参数的大语言模型，这在此前的移动端是难以想象的。

  混合AI策略适用于几乎所有生成式AI应用和终端领域，包括手机、笔记本电脑、XR头显、汽车和物联网。这一策略对推动生成式AI规模化扩展，满足全球企业与消费者需求至关重要。

  高通还以全球首个在安卓智能手机上运行的Stable Diffusion用例展示了混合AI在未来的应用。这是一种基于扩散过程的随机演化模型，可以被用于生成真实感的人脸、头发、服装、环境场景等。在高通的演示中，处于飞行模式下的手机通过全栈AI优化，Stable Diffusion实现了完全的终端侧运行，能够在15秒内完成20步推理，生成饱含细节的图像。值得一提的是通过端侧AI计算，不仅节省了功耗，由于是端侧运算，用户隐私保证留在端侧而非云端，因此也能降低信息泄露的风险。

  高通在AI方面的研究应用起步非常早，甚至远早于我们较为熟悉的骁龙855上的“AI加速器”。早在2007 年高通就在骁龙平台上推出了首个Hexagon处理器，2015年的骁龙820处理器则集成了首个专门面向移动平台的高通AI引擎，支持图像、音频和传感器的运算。深厚的技术积累、持续的创新优化是高通对于混合AI未来大胆预测的基础。

  更便利的软件栈让开发者受益

  除了为用户提供更加智能便携的AI使用场景，在推动AI用例的落地过程中，开发者是不可忽视的一环。在强大的AI算力都需要开发者将之很好地利用，形成用户真正可以实际使用应用或服务。

  目前，高通为应用、神经网络模型、算法、软件和硬件进行全栈AI研究和优化。高通AI软件栈旨在帮助开发者实现一次开发，即可跨高通所有硬件运行AI负载。高通 AI 软件栈全面支持主流AI 框架，同时它还集成了推理软件开发包(SDK)，包括面向 Android、Linux 和Windows 的不同版本。高通开发者库和服务支持最新编程语言、虚拟平台和编译器。在更底层，高通的系统软件集成了基础的实时操作系统(RTOS)、系统接口和驱动程序。我们还支持广泛的操作系统(包括Android、Windows、Linux和QNX)，以及用于部署和监控的基础设施。

  高通AI软件栈还集成了Qualcomm® AI Studio，支持从模型设计到优化、部署和分析的完整工作流。这一工具相当于为开发者搭建了一个官方的“工具箱”，在这个工具箱界面内，开发者可以自由选择需要的工具，极大地降低开发难度，有助于缩短开发时间、提高开发效率，同时还支持开发者实时查看模型开发进度。

  在推进混合AI发展的路上，高通具备其他方案提供商所不具备的规模优势。骁龙平台作为提升顶级Android体验的领先移动平台，目前已出货20多亿个具备AI能力的处理器。骁龙平台在移动平台AI基准测试中也处于领先地位，在行业知名的AI Benchmark中占据前20位。2023年第二季度，市场调研公司TechInsights预测，高通技术公司将以超过40%的市场份额保持AI智能手机处理器出货量的领导地位，远远超过苹果(25%)和联发科(24%)等其他公司。

  写在最后

  生成式AI蔚然成风，而这股风很快就将席卷端侧。高通高瞻远瞩地进行了全栈式的AI布局，利用技术研发优势与终端规模优势提出了混合AI的设想，并且正在稳步推动混合AI的快速发展。

  试想在不久的将来，我们能够在手机、PC、汽车等多类型终端上感受到混合AI带来的便利。这些设备能够真正成为用户轻松可用的人工智能工具，能够处理更多具有专业性、针对性、重复性特征的任务，让普通消费者也能随时随地享受AI带来的对于生活生产方式的革新，而不是我们现在吐槽的“人工智障”。云端运算与端侧互补互助、相辅相成，在高通全栈AI优化的加持下，从硬件到软件，从架构到算法，从底层设计到开发者、再到高通众多合作伙伴，整条AI产业链上下一新，生成式AI将迎来规模化扩展，为无数人的生活带来积极影响。

  相信在高通的引领下，混合AI未来可期。