高通 AI 负责人：云端难以完成所有生成式 AI 负载，“混合 AI 模式”是合理方向

据界面新闻报道，高通技术公司产品管理高级副总裁兼 AI 负责人 Ziad Asghar 近日表示，在云端完成所有生成式 AI 所需的工作负载，是难以实现的。云端处理存在成本的乘数效应，用户进行查询的次数越多，模型规模就越大，也就会导致云端的成本不断上升。不仅如此，应用数量和用户数量的增加，也会导致成本的提高。因此，高通更倡导所谓“混合 AI”模式。

Ziad Asghar 称，在高通理念中，混合 AI 的优势在于结合云端和终端的各自优势：一方面，对隐私和安全要求比较高的终端侧工作负载，可以继续通过边缘云，完全在终端侧完成。同时，通过在云端和边缘侧终端分布工作负载，我们能够大幅度减少云端的处理量。另一方面，对于其它较大负载的 AI 模型处理工作，可以通过云服务供应商完成。

Ziad Asghar 还认为，外界对于云端处理生成式应用仍存在隐私疑虑，而终端侧处理恰恰能够解决这一问题。“比如用户发出一个查询，终端接收之后能够独立完成推理，那么所有相关的查询信息和数据都会留在终端上。”

原文链接