AI 读脑成真，延迟仅 0.25 秒！Meta 里程碑新研究：MEG实时解码大脑图像，LeCun转赞

原文来源：新智元

图片来源：由无界 AI生成

AI读心术成了！？

今天LeCun转发了Meta AI最新的突破：AI已经能够实时解码大脑活动中的图像感知！

这项研究是由FAIR-Paris 与巴黎文理大学（PSL）巴黎高师（ENS）合作完成，是在利用脑磁图（MEG）信号重建视觉和语音输入方面取得的一个新的里程碑。

论文地址：https://ai.meta.com/static-resource/image-decoding

Meta使用脑磁图（MEG）这种非侵入性神经成像技术，每秒进行数千次大脑活动扫描，并开发了一个AI系统，能够几乎实时地解码大脑中的视觉表征。

这个系统可以实时部署，根据大脑活动重建大脑在每个瞬间感知和处理的图像。

可以说，这项研究开辟了一条前所未有的新途径，能够帮助科学界了解图像如何在大脑中表示，从而进一步揭示人类智能的其他方面。

从长远来看，它还可能作为临床环境中的非侵入性脑机接口的基础，帮助那些在遭受脑损伤后失去说话能力的人与外界沟通。

具体来说，Meta开发了一个由图像编码器、大脑编码器和图像解码器组成的系统。

图像编码器在大脑之外独立构建一组丰富的图像表示。然后，大脑编码器学习将 MEG 信号与这些构建出来的图像进行嵌入对齐。

最后，图像解码器根据这些大脑表征生成可信的图像。

Meta首先比较了各种预训练图像模块的解码性能，发现大脑信号与计算机视觉AI系统（如 DINOv2）的一致性非常强。

这个研究结果证实了自监督学习能让AI系统学习类似大脑的表征方式——算法中的人工神经元往往会像大脑的物理神经元一样被激活，来响应相同的图像。

这种AI系统和大脑功能的协调一致性，可以让AI生成与人类在扫描仪中看到的图像高度相似的图像。

基于这个原理，Meta在一个公开的MEG数据集上训练出了这个系统。

Meta认为，虽然功能性磁共振成像 (fMRI) 可以更好地解码图像，但MEG解码器可以实时生成结果，连续解码大脑活动，生成连续而且几乎是实时的图像流。

这对于帮助那些因为大脑损伤而不能与外界沟通的患者，与外界进行实时交流是非常关键的。

前置知识，什么是脑磁图（MEG） ？

脑磁图 (MEG) 是一种功能性神经成像技术，通过使用非常灵敏的磁力计记录大脑中自然发生的电流产生的磁场来绘制大脑活动图。

SQUID（超导量子干涉装置）阵列是目前最常见的磁力计，而 SERF（无自旋交换弛豫）磁力计正在被研究用于未来的MEG机器。

MEG 的应用包括感知和认知大脑过程的基础研究、手术切除前定位受病理影响的区域、确定大脑各个部分的功能以及神经反馈。这可以应用于临床环境中以查找异常位置，也可以应用于实验环境中以简单地测量大脑活动。

科恩博士在麻省理工学院的屏蔽室，使用 SQUID 测试了第一个MEG

科恩博士在麻省理工学院的屏蔽室，使用 SQUID 测试了第一个MEG

AI读脑的技术架构

作者提出了多模态的训练pipeline：

（1）首先将MEG活动与经过预训练的图像特征进行对齐；

（2）从MEG信号流中生成图像

图1：（A）方法，冻住预训练模型 （B）处理方案，与图像生成不同，图像检索可以在对齐的次空间中进行，但要求在检索集中有正样本图像。

作者提到，这个系统有两大贡献：

MEG 解码器可实现 (1) 高性能图像检索和图像生成，

(2) 为解释大脑视觉处理提供新方法。这表明提出的方法有能力真正推广到新的视觉理念，并为「自由形式（free-form）」视觉解码铺平道路。

总之，研究结果为在实验室和临床中对视觉表征进行实时解码，开创了一个大有可为的方向。

方法（Method）

1. 问题描述