向量数据库，为什么是大模型的最佳拍档？

原文来源：光锥智能

图片来源：由无界 AI生成

在决定做向量数据库之前，腾讯云也纠结过。

“是选择走RAG（检索增强生成）技术路线，还是做向量数据库”，“向量数据库会不会被大模型所替代”，“向量数据库究竟有没有未来”……

4月份，就连OpenAI也没有做出选择，同时在RAG和向量数据库两个方向进行探索。

一个多月深入行业调研过后，腾讯云发现，从向量化到部署，企业在构建向量数据库过程中困难重重。

大模型公司百川智能相关负责人表示，在没有向量数据库之前，我们用的是一些开源工具。比如向量索引，它作为内核是可以用的，但是一旦当数据量到达一定规模后，牵扯到分布式数据、分布式系统的问题，就会遇到瓶颈。

“做！市场有需求，集团内部有诉求，为什么不做？”，腾讯云向量数据库产品负责人邹鹏给出了肯定的建议。

5月立项，8月正式上云提供服务，11月功能升级，腾讯云向量数据库行驶在了快车道上。

技术无好坏，只有路径选择之分，能不能真正用起来还得等待市场的检验。但现在，更为重要的是，站在分岔路口，有没有坚定落子的勇气。

大模型时代，云厂商不仅仅是MaaS服务的提供商，更是基础设施的构建者。

要想让大模型真正用起来，仅有算法、算力还远远不够，必须有高效、低成本的数据使用方法。

“AGI时代，也需要智能化的数据调度范式，向量数据库就是数据的中枢”，腾讯云数据库副总经理罗云道。

但要成为一个坚实的底座，并不容易。国产大模型飞奔了一年，仍然以修炼内功为主。

大模型应用到现在不能完全落地，一个重要的原因是，大模型能力虽然已经获得了突飞猛进的增长，但关于数据的技术还停留在原地。

而这种滞后和空缺，对国内厂商来说也是巨大的机会。无论从大模型的行业应用，还是未来Agent构建与落地都在倒逼着数据技术的进一步升级和产品化落地。

向量数据库，大模型的“最佳拍档”

“记忆、幻觉、新鲜度和数据安全”，大模型在实际落地的时候，还存在着四大主要问题。

要想解决这四大问题，需要数据的优化与模型精调一起进行，这时候，海量的数据如何存储？如何调取？就成为一大难题。

罗云认为，“计算和存储一定是分开的。大模型是计算引擎，改变的是计算方式，存储需要其他产品来做，我们认为是向量数据库”。

这好比大模型是计算器，向量数据库是账本，一个会计先拿计算器算账，再拿账本誊抄记录。

向量数据库+大模型，两者就是“最佳拍档”。

向量数据库本身就是大模型的“外脑”，大模型有上下文token的限制，虽然擅长推理和内容生成，但是缺乏长期的记忆能力。外接向量数据后，大模型就有了记忆，能够记住用户对话的历史内容，还能越过多轮对话进行分析、推理。

在大模型存在“幻觉”上几乎已经达成了共识，尽管大模型通过预训练积累了大量的知识，但还远远不够，面对一些细分领域的问题仍然严重不足。有了向量数据，大模型就能瞬间被灌输各种专业知识，划定问题答案的范围。

大模型对数据的更新速度也相当滞后，GPT-4 Turbo也只更新到了2023年4月，而有了向量数据库，大模型就联上了网，可以随时更新动态。

数据安全是企业最看重的事情，对企业来说，根本无法放心把核心的经营数据、合同文件等机密上传到大模型上。但是，通过向量数据库的方式，企业就可以完成本地化部署，大模型仅发挥分析处理的功能，而不会上传、备份数据。

解决大模型问题的方法有很多，除了外挂向量数据库，还存在大模型微调、使用RAG技术等做法。

大模型微调方式好比供一个孩子从小学念到大学甚至研究生；向量数据库就像开卷考试，大模型完全不需要学习理解，只要能写出答案就行；RAG则是更往下落地的场景，需要结合向量数据库才能发挥作用。

其中差别，高下立见，比起大模型微调、RAG，向量数据库显然速度更快，成本也更低。

更进一步来看，基于大模型底层能力去打造AI原生应用和构建AI Agent，同样离不开向量数据库。