大语言模型之后，计算机视觉是不是下个风口？

文章来源：大模型之家

作者：赵小满

图片来源：由无界AI生成

上月，Open AI发布了最新版本的GPT-4V使用户能够指示GPT-4分析用户提供的图像输入最新功能，而这一消息引发行业关注，将其他模式（如图像输入）纳入大型语言模型（LLM）被视为人工智能研究和开发的关键前沿，多模式LLM提供了扩大纯语言系统影响的可能性。

从去年年底发布的人工智能聊天机器人ChatGPT，到目前的GPT-4V，Open AI在大型多模态模型 （LMM） 扩展了具有多感官技能（如视觉理解）的大型语言模型 （LLM），实现了更强的通用智能。

在GPT-4V发布不久后，微软针对GPT-4V给出了166页超详细的使用指南，从简单的输入模式到视觉语言能力、与人类交互提示，再到时间视频理解、抽象视觉推理和智商情商测试等，GPT-4V不仅能覆盖日常生活中的交互体验，甚至能够实现在工业、医疗等领域的专业诊断评估等。

图源：微软（网络翻译仅供参考）

目前，GPT-4V在处理任意交错多模态输入方面前所未有的能力及其功能的通用性共同使 GPT-4V成为一个强大的多模态通才系统。此外，GPT-4V理解在输入图像上绘制的视觉标记的独特能力可以产生新的人机交互方法，例如视觉参考提示。

值得肯定的是，GPT-4V的初步探索有可能激发未来对下一代多模态任务公式的研究，利用和增强LMM解决现实问题的新方法，并更好地了解多模态基础模型，也更成为计算机视觉发展方向的新探索。

大模型赋能计算机视觉新发展

或许谈到多模态能力，很多人并不陌生，在国内有不少大模型在推出时就已经拥有多模态能力，能够进行图像识别与生成，但不得不承认的是，相比于LLM（大型语言模型），LMM（大型多模态模型）的发展还有很多漏洞待解决。

此前，大模型之家就体验过多家拥有多模态能力的大模型，以基于AI框架昇思MindSpore“紫东太初”2.0版本大模型平台、讯飞星火为例，在分析、推理及表达能力方面有待进步。

图为：紫东太初

图为：讯飞星火

值得注意的是，在今年4月，Meta提出分割一切的模型SAM（Segment Anything Model），SAM是一个提示型模型，其在1100万张图像上训练了超过10亿个掩码，实现了强大的零样本泛化，有业内人士表示，SAM突破了分割界限，极大地促进了计算机视觉基础模型的发展。

图源：Meta

SAM本身是图像的语义分割，该模型掌握了“对象”的概念，可以为任何图像或视频中的任何对象生成遮罩，即使是它在训练中没有见过的对象。

SAM模型和GPT-4V的出现，能够将大语言模型安装上“眼睛”，也正如Open AI在为GPT-4V生成前所做的部署准备，其中包括Be My Eyes，这是一个为视障用户构建工具的组织，在模型生成前夕，可以想象大模型是一个会说话的“盲人”，但在加入视觉之后，具备多模态能力的大模型能够看得懂图、视频等，这一功能的强大也将人工智能发展推向新的方向。

大模型浪潮下，国内计算机视觉之路

在利用图像输入、识别及推理分析的功能，加入视觉功能后大模型能够实现多领域开花，向“计算机视觉GPT”迈进。

图源：华为

在工业方面，通过将视觉大模型应用到缺陷检测等在制造过程中确保产品质量的重要步骤之中，能够及时检测故障或缺陷并采取适当的措施对于最大限度地降低运营和质量相关成本至关重要，目前国内华为、百度、讯飞等大模型产品均在工业领域有相关成果落地。

图源：商汤科技

在医疗影像诊断方面，结合认知大模型的专业领域知识，加入视觉能力后，不仅能够在各种医学图像中进行分析，还能够快速生成完整的放射学报告，具有作为放射学报告生成的AI助手的潜力，目前商汤基于医学知识和临床数据开发了中文医疗语言大模型“大医”，具有提供导诊、问诊、健康咨询、辅助决策等多场景多轮会话能力。

在自动驾驶方面，可以结合认知大模型在驾驶时的获取的图像信息、动态行驶目标等，给出相应的驾驶决策和驾驶解释，然后大模型将其转化为自动驾驶的语言，通过Drive Prompt和自动驾驶系统做交互，从而实现智能驾驶。

图源：百度