首页 > 教程资讯 > 教程详情

魏茨曼研究所发布 Brain-IT:从脑活动重建所见图像,学习新人只需一小时扫描

AI 与前沿 极客小林 2026-10-12
文章分享

魏茨曼科学研究所(Weizmann Institute of Science)Michal Irani 教授的实验室开发了一款名为 Brain-IT 的「读心」AI 模型,仅凭人观看图像时的脑活动,就能重建对方所看的场景,例如一场棒球比赛的画面。据 Irani 介绍,其他模型学会「读」一个新的人需要几十小时的脑扫描,Brain-IT 只需一小时。该研究入选了今年的国际学习表征会议(ICLR)。

与现有模型的差别

Irani 称,现有模型能把脑活动转成图像,重建结果在语义上保留得相当不错,但在构图、颜色等基础特征上容易出错。她表示,Brain-IT 在图像内容和细节的重建上都优于它们。

研究所的文章提到,近年来科学家已借助个性化 AI 模型,让严重瘫痪者恢复了说话能力,但这类模型针对特定个体,需要用几十小时的脑活动记录训练。文章称,Brain-IT 识别的则是所有人共有的脑活动模式,并将其转化为图像。

数据稀缺与「双向词典」

训练这类模型需要大量图像,以及受试者观看这些图像时记录的 fMRI(功能磁共振成像)扫描。文章称,该领域目前可用的最大数据集只包含不超过 8 名受试者的 fMRI 扫描,每人看过数千张图片;文中提到的 Natural Scenes Dataset 约含 73,000 组图像-fMRI 配对。

团队的办法类似一本「双向词典」:除了从 fMRI 扫描重建图像的解码器,还训练了从图像预测 fMRI 扫描的编码器。Irani 解释,把从未在扫描仪里给人看过的图像输入编码器,生成预测的脑扫描,再交给解码器重建原图,模型就等于自造了一个大规模训练数据集。

应对个体差异

编码器开发中的主要难点是不同大脑之间的差异:同一张图像在不同人的大脑中可能引发不同的活动模式。研究者把大脑划分为约 40,000 个体素(voxel),测量各自对不同图像的反应,同时用 AI 模型提取颜色、位置等基础视觉特征,以及反映图像含义的语义特征。文章称,在这一细分层面上,跨大脑重复出现、并与特定图像特征相关的活动模式开始浮现,这使构建通用的脑编码器成为可能。

编码器的额外发现

Irani 称,训练中编码器自行识别出 128 个所有人共有、在图像处理中各司其职的功能区,其中一些是神经科学家熟悉的,另一些则是全新的。例如,在处理场景图像的 PPA 区内部,一部分响应室内场景,另一部分响应室外场景。

她还说,编码器可以用受控的方式测试不同特征:比如把同一张图像的彩色版和黑白版分别输入,比较两次预测的 fMRI 扫描差异,就能推断颜色在大脑中的编码位置。

下一步

Irani 实验室正尝试把这类方法扩展到听觉信息的解码。视频解码仍具挑战:每秒有几十张图像变化,而一次 fMRI 扫描约需两秒。

来源