清华系ChatGLM3现场怼脸演示！多模态直逼GPT-4V，国产Code Interpreter来了

原文来源：新智元

图片来源：由无界 AI生成

全自研第三代基座大模型ChatGLM3，今日推出！

这是继6月份二代模型推出以来，智谱AI团队又一次对ChatGLM基座模型的优化。

此外，在10月27日的2023中国计算机大会（CNCC）上，智谱AI还开源了ChatGLM3-6B（32k）、多模态CogVLM-17B、以及智能体AgentLM。

ChatGLM3系列模型发布后，智谱成为国内唯一一个有对标OpenAI全模型产品线的公司。

生成式AI助手智谱清言，也成为国内首个具备代码交互能力的大模型产品。

模型全自研，适配国产芯片，性能更强大，开源生态更开放。

作为最早入局大模型研究的企业，智谱AI率先交卷！

而且，智谱AI今年已累计完成超25亿人民币融资，美团、蚂蚁、阿里、腾讯……豪华的投资方名单，无不显出业内对智谱AI的强烈信心。

瞄向GPT-4V的技术升级

当前，多模态视觉模型GPT-4V已经展现出强大的识图能力。

与此同时，瞄向GPT-4V，智谱AI这次也对ChatGLM3其他的能力，进行了迭代升级。其中包括，多模态理解能力的模型CogVLM，能够试图理解，刷新了10+个国际标准图文评测数据集SOTA。目前，CogVLM-17B已开源。

代码增强模块Code Interpreter能根据用户需求生成代码并执行，自动完成数据分析、文件处理等复杂任务。

网络搜索增强WebGLM，通过接入搜索增强，能自动根据问题在互联网上查找相关资料，并在回答时提供参考相关文献或文章链接。

另外，ChatGLM3的语义能力与逻辑能力也大大增强。

6B版本直接开源

值得一提的是，ChatGLM3一经发布，智谱AI直接向社区开源了6B参数的模型。

评测结果显示，与ChatGLM 2相比，以及国内同尺寸模型相比，ChatGLM3-6B在44个中英文公开数据集测试中，9个榜单中位列第一。

分别在MMLU提升36%、CEval提升33%、GSM8K提升179%、BBH提升126%。

其开源的32k版本ChatGLM3-6B-32K在LongBench中表现最佳。

另外，正是采用了最新的「高效动态推理+显存优化技术」，使得当前的推理框架在相同硬件、模型条件下，更加高效。

相较于目前最佳的开源实现，对比伯克利大学推出的vLLM，以及Hugging Face TGI的最新版本，推理速度提升了2-3倍，推理成本降低1倍，每千tokens仅0.5分，成本最低。

自研AgentTuning，智能体能力激活

更令人惊喜的是，ChatGLM3也带了全新的Agent智能体能力。

智谱AI希望，大模型能够通过API与外部工具更好交流，甚至通过智能体实现大模型交互。

通过集成自研的AgentTuning技术，能够激活模型智能代理能力，尤其在智能规划和执行方面，相比于ChatGLM 2提升1000%。

在最新的AgentBench上，ChatGLM3-turbo已经和GPT-3.5接近。

与此同时，智能体AgentLM也向开源社区开放。智谱AI团队希望的是，让开源模型达到甚至超过闭源模型的Agent能力。

这意味着，Agent智能体将开启国产大模型原生支持「工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统」等复杂场景。

1.5B/3B同时发布，手机就能跑

想用手机去跑ChatGLM？可以！

这次ChatGLM3还专门推出了可在手机端部署的端测模型，分别有两个参数：1.5B和3B。

它能够支持Vivo、小米、三星在内的多种手机以及车载平台，甚至支持移动平台上CPU芯片的推理，速度可达20 tokens/s。

精度方面，1.5B和3B模型在公开基准评测上，性能直逼ChatGLM2-6B模型，快去试试！

新一代「智谱清言」全面上线

正如ChatGPT背后有个强大的GPT-4模型，智谱AI团队的生成式AI助手「智谱清言」也得到了ChatGLM3的加持。

这个团队直播演示完，功能直接就上线了，主打的就是一个真诚！

测试地址：https://chatglm.cn/main/detail

代码解释器

作为ChatGPT最受欢迎的插件之一，Advanced Data Analysis（原Code Interpreter）可以根据自然语言输入，以更加数学的思维分析问题，并同时生成恰当的代码。

如今，在全新升级的ChatGLM3加持下，「智谱清言」已成为国内首个具备Advanced Data Analysis能力的大模型产品，可支持图像处理、数学计算、数据分析等使用场景。

理工男的浪漫，或许只有「智谱清言」能懂。

虽然CEO张鹏现场表演画「红心」翻车，不过换个prompt一试，结果秒出。

同样，升级后的ChatGLM3在数据分析方面也十分拿手。

在一番解析之后，即可根据字段prompt的长度，画出长度分布的直方图。

搜索增强

随着WebGLM大模型能力的加入，「智谱清言」现在也具有了搜索增强的能力——可以根据网上的最新资料总结出问题回答，并附上参考链接。

比如，最近iPhone 15迎来了一波降价，具体波动幅度有多大？

「智谱清言」给出的答案，效果还不错！

图文理解

CogVLM模型则提高了智谱清言的中文图文理解能力，取得了接近GPT-4V的图片理解能力。

它可以回答各种类型的视觉问题，并且可以完成复杂的目标检测，并打上标签，完成自动数据标注。