清华系大模型新秀拿到20亿投资，Moonshot AI 凭什么？

原文来源：AI 黑马

图片来源：由无界 AI生成

成立仅2个月，这家公司的天使轮便获得近20亿元投资，投资机构包括了最头部的几家VC，如红杉资本、今日资本、砺思资本等。

成立仅6个月，这家公司就推出了全球首个支持输入20万汉字的智能助手产品——Kimi Chat，宣布开启人工智能“长文本时代”。

这家公司就是Moonshot AI，创始人杨植麟从清华大学计算机学系毕业后，前往美国，师从苹果AI研究负责人Ruslan Salakhutdinov 和谷歌首席科学家 William Cohen，用四年时间拿下了卡内基梅隆大学的博士。

2023 年 10 月 9 日，成立仅半年的大模型初创公司 —— Moonshot AI 宣布在「长文本」领域实现了突破，推出了首个支持输入 20 万汉字的智能助手产品 Kimi Chat。

这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度，标志着 Moonshot AI 在这一重要技术上取得了世界领先水平。

从技术上看，参数量决定了大模型支持多复杂的「计算」，而能够接收多少文本输入（即长文本技术）则决定了大模型有多大的「内存」，两者共同决定模型的应用效果。

支持更长的上下文意味着大模型拥有更大的「内存」，从而使得大模型的应用更加深入和广泛：比如通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演等等，都可以在超长文本技术的加持下，成为我们工作和生活的一部分。

相比当前市面上以英文为基础训练的大模型服务，Kimi Chat 具备较强的多语言能力。

例如，Kimi Chat 在中文上具备显著优势，实际使用效果能够支持约 20 万汉字的上下文，2.5 倍于 Anthropic 公司的 Claude-100k（实测约 8 万字），8 倍于 OpenAI 公司的 GPT-4-32k（实测约 2.5 万字）。

同时，Kimi Chat 通过创新的网络结构和工程优化，在千亿参数下实现了无损的长程注意力机制，不依赖于滑动窗口、降采样、小模型等对性能损害较大的「捷径」方案。

01 大模型输入长度受限带来的应用困境

目前大火的虚拟角色场景中，由于长文本能力不足，虚拟角色会轻易忘记重要信息。

例如在 Character AI 的社区中用户经常抱怨「因为角色在多轮对话后忘记了自己的身份，所以不得不重新开启新的对话」。

对于大模型开发者来说，输入 prompt 长度的限制约束了大模型应用的场景和能力的发挥。

比如基于大模型开发剧本杀类游戏时，往往需要将数万字甚至超过十万字的剧情设定以及游戏规则作为 prompt 加入应用，如果模型输入长度不够，则只能削减规则和设定，从而无法达到预期游戏效果。

在另一个大模型应用的主要方向——Agent 中，由于 Agent 运行需要自动进行多轮规划和决策，且每次行动都需要参考历史记忆信息才能完成，这会带来了模型输入的快速增加，同时也意味着不能处理更长上下文的模型将因为无法全面准确的基于历史信息进行新的规划和决策从而降低 Agent 运行成功的概率。

在使用大模型作为工作助理完成任务的过程中，几乎每个深度用户都遇到过输入长度超出限制的情况。

尤其是律师、分析师、咨询师等职业的用户，由于常常需要分析处理较长的文本内容，使用大模型时受挫的情况发生频率极高。

而上述所有的问题在大模型拥有足够长的上下文输入后都将会迎刃而解。

02 长文本打开大模型应用的新世界

那么拥有超长上下文输入后的大模型会有怎样的表现？下面是一些 Kimi Chat 实际使用的例子：

公众号的长文直接交给 Kimi Chat ，让它帮你快速总结分析：

新鲜出炉的英伟达财报，交给 Kimi Chat，快速完成关键信息分析：

出差发票太多？全部拖进 Kimi Chat，快速整理成需要的信息：

发现了新的算法论文时，Kimi Chat 能够直接帮你根据论文复现代码：

只需要一个网址，就可以在 Kimi Chat 中和自己喜欢的原神角色聊天：

输入整本《月亮与六便士》，让 Kimi Chat 和你一起阅读，帮助你更好的理解和运用书本中的知识：