2024 被视作 AI(人工智能)硬件元年,所有手机个人电脑甚至家电公司都需要向用户证明,他们能通过 AI 提升设备体验。
在今年的 CES 上,AI 与消费电子品的结合是一大亮点:冰箱洗烘一体机都加入了 AI 能力。除了与原有设备融合,也开始有新形态的 AI 硬件出现,如备受关注的 AI PIN 和 Rabbit R1 等。OpenAI 创始人山姆·阿尔特曼(Sam Altman)也在去年下半年成立新的 AI 硬件公司,志在研发能取代手机的新一代硬件终端。
手机公司不会错过这波浪潮。
在 1 月 8 日 OPPO Find X7 系列的发布会前,OPPO 高级副总裁刘作虎给理想汽车创始人李想打了个电话,聊了聊两家的产品进展,并相约去北京体验理想新车。
发布会上,刘作虎展示了 OPPO Find X7 给这通电话生成的智能摘要,里面记录了双方本次通话的主要内容以及待办事项,还可以一键定位到对应的通话音频。
Find X7 的智能通话摘要功能
除了一贯主打的影像能力外,这次发布会最多的时间给了 AI:OPPO Find X7 系列首次在端侧部署了一个约 7B(70 亿)参数规模的模型,它带来了智能抠图路人消除和通话摘要等实用功能。
高通 CEO 克里斯蒂亚诺·阿蒙(Cristiano Amon)在本月接受采访时说,计算机的发展史,就是从算力集中于超算等大型设备上到算力一步步转移至个人电脑和手机等终端设备上的过程。
如今,大模型与生成式 AI 也在重复这条路:从云端的大规模模型逐步进入一部部掌上的手机。
刘作虎在接受采访时说,生成式 AI 和大模型是他做手机以来看到过的最激动人心的新技术:“2024 年,不布局大模型的手机企业未来没戏。”
从拍人更美到理解用户意图,手机 AI 步步升级
2011 年,智能助手 Siri 与 iPhone 4s 一同发布,用户可以用语音定闹钟查天气,这是 AI 技术在手机上的最早应用。
随着 2016 年 Google AlphaGo 击败围棋世界冠军李世石,一批 AI 公司成立人才涌入,AI 也开始加速进入手机:
用 AI 拍月亮智能抠图优化画质的视觉能力被普及;人脸识别替代了指纹解锁;AI 还能学习用户使用习惯,更合理地调度内存与处理器资源降低功耗。
手机芯片也开始在 CPU 和 GPU 等常规模块外额外搭载一颗 NPU(嵌入式神经网络处理器),以专门处理 AI 运算。
2018 年,OPPO 发布语音助手小布,它可识别更长的指令,帮用户设置手机搜索知识或陪用户闲聊;同年发布的 R15 上,OPPO 嵌入了可识别人物面部轮廓分区美颜的算法;AI 还能帮助识别照片主题和人物,自动归类照片。
但在大语言模型之前,AI 给手机带来的体验升级大多被框在单个 App 内,手机仍无法理解用户更复杂的需求。
大语言模型引起了质变:用 AI 写文案提重点生成图像等应用涌现,手机等硬件等到了一个新的升级机会。
OPPO 早在 2020 年就推出了预训练模型 OBERT,同年 11 月,OPPO 语音语义研究部又推出了参数为 30 亿的中文预训练大模型 CHAOS,这些尝试帮 OPPO 快速跟上了去年初爆发的大模型热潮。2023 年底 OPPO 在开发者大会上正式发布了安第斯大模型(AndesGPT),包括从十亿参数至千亿参数的多个版本。
OPPO Find X7 系列上第一次在端上部署了约 70 亿参数的安第斯大模型,通过端云协同的部署,它带来了如下的体验提升:
一是用大模型技术实现过去做不到的功能:比如自动生成通话摘要和待办事项;帮用户在浏览公众号文章时快速总结文章重点内容。
二是优化已有功能。
在手机影像上,Find X7 上的 AI 有更强的识别图像和分割物体的能力,能增强抠图和人像消除的体验。过去手机只能识别人体这一个元素,现在 Find X7 支持超过 120 类主体的识别与分割,可以实现发丝级的分割和在同一张照片中一次分割 6 个主体。
安第斯大模型强化了图像分割消除的能力。
凭借大模型带来的更多知识储备,OPPO 的小布现在也更懂用户了,用户想用什么直接说给小布即可。
OPPO 软件创新中心总经理张峻说,大模型带来最大的变革之一就是交互,即使用户说的是语法没那么规整的口语,语音助手也能理解,用户会觉得自己是在和一位助手交流,而不是机器。
除了提升单个应用的体验,OPPO 还想提供跨手机平板和车机等多终端的 AI 整体体验,这需要 AI 与系统软件的配合。
2022 年的开发者大会上,OPPO 发布了系统 “中间件” 潘塔纳尔,可提供跨端的服务推荐功能,比如用户到机场,就会自动推送登机牌信息机场有什么美食等,而无需跳转到一个个 App 中;这些服务,如机场内的登机口导航也可以推送到手表等其它终端上。大模型进一步提高了智能推荐服务的准确性和效率。
张峻说,OPPO 从去年开始思考大模型的未来规划,最核心的出发点是提升用户的实际体验而不是秀技术。
他们希望打造的 AI 手机是:用户完全习惯与小布交互,不仅能用小布调用 OPPO 自己的系统应用,也能调用与 OPPO 合作的第三方应用,从用户去应用里找服务变为服务来找人。
把大模型带入手机,总共分几步?
大模型部署在端侧有几项不可替代的优势。
一是隐私保护,用户会担心云端数据泄露和被窃取,而端侧的数据则是本地存储本地处理,如安第斯大模型就是将数据经过硬件级加密存储在终端本地。为进一步提高安全性,Find X7 Ultra 还使用了汇顶科技供应的独立安全芯片,获得行业内最高等级的国密二级安全认证。
二是网络要求低,不需要频繁上传和下载,Find X7 上基于大模型的新功能都可以在弱网或无网的情况下使用。
最后是节省成本和功耗。如今规模较大的大模型参数均突破千亿,训练与推理需要消耗巨量计算资源,OpenAI 每天的算力成本高达 70 万美元,有机构测算 OpenAI 每月的用电量是 17 万个丹麦家庭的全年用电量。
高通 CEO 阿蒙在本月接受采访时说,考虑到数据中心在运行生成式 AI 时的高成本和高能耗,端云协同的混合模型将变得重要。
OPPO 安第斯大模型有三个不同规格:最小的是 Tiny 模型,参数规模在 70 亿以下;此外还有百亿参数的 Turbo 模型和千亿参数以上的 Titan 模型。Find X7 端侧部署的是 Tiny 模型,平衡了功耗与性能。
安第斯大模型的三个不同规格。
相比较其他手机公司已推出的 10 亿参数大模型,约 70 亿参数的安第斯 Tiny 大模型可以提供更准确的回答。同时,OPPO 表示在手机端侧部署的安第斯大模型的时延目前在行业里最低,200 字的摘要可在 0.2 秒内输出第一个字;把时长在 10-15 分钟约 2000 字的通话记录生成摘要,可在 2.9 秒内输出第一个字。
越大的模型成本就越高,也越难压缩和部署到端侧。为了把它部署到手机上,OPPO 针对性地优化了算法和硬件。
首先是压缩,OPPO 技术团队通过蒸馏压缩等技术手段,把模型从 28 GB(吉字节)压缩到了最小 3.9 GB。OPPO 软件创新中心总经理张峻说,通过多年的数据积累,他们对关键场景做了精调和预训练,保障压缩后模型的精度和效果。
OPPO 也自研了推理引擎 AI Boost 和 Transfomer 加速库,通过内存管理减少内存搬运,可降低一半的功耗。
其次是与芯片厂的深度合作,OPPO 已与高通和联发科等芯片厂商深度合作,基于 NPU 并行计算能力提升性能,降低时延和优化功耗。刘作虎说 OPPO 做过芯片,所以知道在端侧部署大模型需要定制什么样的芯片。
OPPO 与芯片厂商联发科合作在端侧部署大模型。
张峻表示,端侧大模型性能目前还做不到与云侧相同,但它有隐私保护和不依赖网络的优势。OPPO 也在尝试更灵活的端云协同架构,让旗舰机以外的新机和旧手机也有机会体验最新的 AI 能力。
不容错过的新机会
从 2023 年开始,整个硬件行业都在思考同一件事:如何将 AI 能力更好地引入设备,以及这会是一个多大的机会?
手机与个人电脑品牌商芯片厂商软件服务商都在积极为 AI 硬件的起量做准备。三星为 S24 预热,喊出 AI for All 的口号,小米荣耀和 vivo 等国产厂商也纷纷宣布把大模型引入手机;苹果也预计会在今年 6 月的 WWDC(苹果全球开发者大会)上为 Siri 等产品引入一系列基于大模型的 AI 体验。
上游的高通联发科等芯片公司,都认为 2024 年会是 AI 手机元年,2023 年底发布的骁龙 8 Gen3 平台,NPU 速度提升 98%,支持超过 100 亿参数的模型;联发科的天玑 9300 也宣称支持端侧部署最高 330 亿参数的模型。
浦银国际报告认为,AIGC 普及有望刺激智能手机等消费电子终端需求重回增长,预计 2024 年全球和中国智能手机出货量将分别同比增长 5.0% 和 5.1%,结束过去超过五年的下行周期。Counterpoint Research 称,2024 年 AI 智能手机出货量初估将超过 1 亿部2027 年预估达 5.22 亿部,期间的平均复合年增率达 83%。
参与者需要快速决策快速行动。OPPO 安第斯大模型首席架构师杨振宇说,2022 年,生成式 AI 给 OPPO 技术团队带来了相当大的震撼,但他们还不太确定,这项技术是否会快速走向商业化;到 2023 年 3 月,他们明确,大模型是变革性技术,OPPO 迅速成立了安第斯 GPT 项目组,抽调了各部门的技术人才,包括产品规划交互设计研发算法云平台和大数据等,集中攻坚。
到 2023 年 8 月,OPPO 推送了小布助手尝鲜版,让用户能用上类似于 ChatGPT 的通用问答能力。
杨振宇说,尝鲜版用户每天唤醒智能语音助手的次数相较过去版本有成倍提升。
今年 1 月,OPPO 把公司所有 AI 相关资源集中在一起成立了 AI 中心,包括软件工程数智工程和 OPPO 研究院的相关人员。OPPO 软件创新中心总经理张峻称, OPPO 目前 AI 业务的招人数量不设限。刘作虎评价说,AI 中心就是战斗部队,快速响应快速抓住新趋势满足用户需求。
上一个卷入了所有手机厂商,开启了长达数年军备竞赛的赛道是影像。几年之间,手机影像能力有了实质性提升。
AI 是类似的新机会,它对技术积累和技术投入的要求更高,看起来也更容易做出差异化。但要明确的是,AI 对手机带来的提升可能仍是优化和迭代,而不是代际和革命性变化。张峻认为,现阶段大模型与手机的结合,还没有到颠覆性的程度,用户的习惯也还需要培养。需要逐步去提升用户体验,这最终会让用户形成依赖。
AI 体验接下来也将成为高端手机的竞争重点。2023 年,全球每卖出 4 部手机,就有 1 部是批发价超过 600 美元的高端手机,高端机销售额占整个市场的比例更是高达 60%,这是如今手机市场的核心驱动力。2024 年,手机公司会更激进地投入 AI 竞赛中。
谈及 AI 带来的机会与竞争,刘作虎在接受采访时说,大模型无非是带来了一个前所未有的能力,手机厂商要利用好这个能力,思考如何服务好目标用户。“最核心的竞争力,还是对用户的洞察。谁对用户最理解,谁真正地懂产品,谁就能在竞争中保持差异化。”