到场张倩 郑丽慧 李泽南

这一次,脑机接口可以及时读取人类脑中画面了?

由俄罗吮ピ机接口公司 Neurobotics、莫斯科物理技能学院(MIPT)研发的一种全新脑机接口算法近来被公之于众,它可以应用人工神经收集和脑电图将人类大脑中的图像及时显示盘算机屏幕上。

由俄罗吮ピ机接口公司 Neurobotics、莫斯科物理技能学院(MIPT)研发的一种全新脑机接口算法近来被公之于众,它可以应用人工神经收集和脑电图将人类大脑中的图像及时显示盘算机屏幕上。而且,与马斯克脑机接口公司研发的「大脑缝纫机 」差别,这种脑机接口无需开颅植入电极,临床和往常生存中运用更加广泛。

一位被试正运用该脑机接口。右下角是被试观看及时画面,右上角是通过脑机接口重修的画面。


本年 7 月,Facebook 与加州大学旧金山分校(UCSF)相关脑机接口实时读取人类言语的研讨方才登上《Nature》子刊,其疾速解码的板滞进修算法效果令人齰舌。


现看来,我们不光期望完成「意念打字」,大约还可以运用人眼这一「精度超高」的摄像头来举行录像,完成科幻影市△品描画的图景。不过,这篇莫斯科物理技能学院的论文还没有颠末同行评审。

英剧《黑镜》一汇合的男主角过海关时被请求回啡釉己通过某种配备肉眼录下的视觉记忆。


关于研讨者来说,新效果使得构修由脑信号掌握的中风后全愈安装成为可以。研讨团队 bioRxiv 上发外了相关研议论文,还发布了一段他们「读心」系统的效果视频。虽然画面比较模糊,但我们仍然可以区分出画面中的大致场景种别(如人、瀑布、车景)。

视频华夏始图像和神经收集处理 EEG 信号重修的图像比照(因为版权启事,人像原图被交换了)。



为了构修这一配备,神经生物学家需求了解大脑怎样编码新闻。此中一个要害方面是,研讨人们观看视频时感知视觉新闻的大脑运动进程。


现有的办理方案是,要么运用功用磁共振成像来提取察看到的图像,要么通过植入物直接剖析来自神经元的信号。两种方法临床和往常生存中的运用都十分有限。


俄罗斯研讨者开辟的这种脑机接口依赖的是人工神经收集和脑电图(EEG),后者是一种可以通过非侵入式电极(无需手术植入)记载脑电波的技能。通过剖析大脑运动,该系统可以及时重现人类看到的图像。


「我们正举行国家技能方案(National Technology Initiative)神经收集辅帮技能项目,该项目努力于构修一种脑机接口,让中风患者掌握手臂外骨骼、瘫痪患者驾驶电动轮椅等,最终目标是让康健的人也能进步神经掌握的准确率,」MIPT Neurorobotics 实行室认真人 Vladimir Konyshev 外示。


技能细节


该脑机接口的构修实行共分为两个阶段。


第一阶段,神经生物学家让康健的人观看少许 10 秒的 YouTube 视频片断,总共 20 分钟。研讨团队随机挑选了 5 个视频种别:笼统样式、瀑布、人脸、挪动的安装和汽车运动。
通过剖析脑电图数据,研讨者发明,每一类视频的脑电波是差别的。这使得研讨小组可以及时剖析大脑关于视频的反响。


实行的第二阶段,研讨者从五个种别中随机挑选了三个种别并开辟了一个当地反应(native feedback)模子,反应模子的中心绪念是将脑机接口分类器的预测结果以自然图像的方式呈现出来,而且要尽可以与实行察看到的图像接近。


该模子分为两个神经收集:一个用于从「噪声」中生成随机特定种别图像,另一个依据脑电图生成相似的「噪声」。接下来,该团队教练这两个收集协同义务,将脑电图信喝营换为与被试观看实质相似的实行图像。


论文中提到的当地反应模子如下图所示。

图 2:当地反应模子的总体方案。



将降维后取得的 20 维脑电图特征向量映照到预先教练好的图像自编码器的潜空间中,这个自编码器可以重修几个预进修种另外自然图像。图像解码器不依赖于任何神经心思学数据,仅思索一组刺激图像即可举行预教练。特征映照器是独自教练的,因为它既需求脑电图特征库,也需求一个教练好的图像解码器。


图像解码器


图像解码器(ID)是图像到图像卷积自编码器模子的一部分。编码器部分基于预教练的 VGG-11 模子。解码器部分由全连接输入层构成,用于维度增强,然后是 5 个解卷积块,每个解卷积块包罗一个解卷积层,然后是 ReLU 激活。着末的解卷积块包罗双曲正切激活层。解码器生成 192×192×3 维的彩色图像(睹图 3a)。

图 3. 图像解码器.a)模子构造;b)常规教练


除了图像重修除外,解码器另有一个特定的潜空间分布。他们通过引入一个图 3(b)所示的教练进程来办理这个题目。


脑电图特征映照器


脑电图特征映照器的目标是将脑电图特征域的数据转换成图像解码器潜空间域。抱负形态下,察看到的图像和此时的脑电图记载最终会转换为同一个潜空间矢量图,于是解码器可以依据方才看到或念象的场景去生成一个准确的视觉图像。


另一个题目是怎样应对嘈杂的数据:因为保管未检测到的伪像,或者被摄对象疏散当心力,及时记载场景中的脑电图信号属功可以会爆发分明改造。此时反应系统应避免呈现紊乱的图像切换,免得给察看对象太众的压力。


人类脑中的图像是延续数据,以是运用轮回神经收集就变得顺理成章了——新的算法运用了 LSTM 组件举措轮回单位。另外,研讨职员还整合了当心力机制


图 4,脑电图特征映照。a)模子构造;b)教练方法。



测试结果


为了测试该系统呈现思维运动的才能,研讨者选了少许同一类的以前看过的视频。正如他们看到的那样,脑电图被记载下来,然后反应给神经收集。系统通过了测试,生成了具有可托度的图像,90% 都可以很轻松地举行分类。


和大大都 AI 算法相同,研讨职员提出的神经收集模子是用 Python 完成的,运转的盘算机也只需一般台式机:英特尔 i7 处理器,英伟达 GeForce 1050Ti 显卡。读取的进程中,算法可以处理每秒 3 帧图像。一般,分类上约有 90% 的重修图像是可识另外程度。


「另外,我们可以把这个看成及时脑机接口的根底。目今的技能条件下,Elon Musk 那样的侵入式接口保管手术实质繁杂和疾速退化的题目——基本上几个月内就失效了。我们期望可以最终计划出更适用也不需求植入的神经接口。」研讨者增补道。

论文:
https://www.biorxiv.org/content/10.1101/787101v2
参考实质:
https://techxplore.com/news/2019-10-neural-network-reconstructs-human-thoughts.html
表面脑机接口
11
相关数据
VGG技能

2014年,牛津大学提出了另一种深度卷积收集VGG-Net,它比较于AlexNet有更小的卷积核和更深的层级。AlexNet前面几层用了11×11和5×5的卷积核以图像上获取更大的感觉野,而VGG采用更小的卷积核与更深的收集晋升参数服从。VGG-Net 的泛化功用较好,常用于图像特征的抽取目标检测候选框生成等。VGG最大的题目就于参数数目,VGG-19基本上是参数目最众的卷积收集架构。VGG-Net的参数主要呈现后面两个全连接层,每一层都有4096个神经元,可念而至这之间的参数会有何等庞大。

当心力机制技能

我们可以大约地把神经当心绪制类比成一个可以笃志于输入实质的某一子集(或特征)的神经收集. 当心力机制最早是由 DeepMind 为图像分类提出的,这让「神经收集施行预测义务时可以更众体恤输入中的相关部分,更少体恤不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;于是,可以运用一个基于实质的当心力机制来依据源句子动态地生成一个(加权的)语境向量(context vector), 然后收集会依据这个语境向量而不是某个固定长度的向量来预测词。

神经收集技能

(人工)神经收集是一种根源于 20 世纪 50 年代的监视式板滞进修模子,那时分研讨者念象了「感知器(perceptron)」的念法。这一范畴的研讨者一般被称为「勾结主义者(Connectionist)」,因为这种模子模拟了人脑的功用。神经收集模子一般是通过反向传达算法运用梯度下降教练的。目前神经收集有两大主要类型,它们都是前馈神经收集:卷积神经收集(CNN)和轮回神经收集(RNN),此中 RNN 又包罗好坏期记忆(LSTM)、门控轮回单位(GRU)等等。深度进修是一种主要运用于神经收集帮帮其取得更好结果的技能。尽管神经收集主要用于监视进修,但也有少许为无监视进修计划的变体,比如主动编码器和生成对立收集(GAN)。

Elon Musk人物

伊隆·马斯克(Elon Musk)是一名美籍和加籍企业家,出生于南非。举措SpaceX、特斯拉和PayPal的创始人而出名。

所属机构
引荐作品
脑机接口这是一个偏向,可是我认为每私人外达相同的东西,其脑部运动必定是有极大差另外,应当反过来,板滞具有相同的输入输出,由人脑去进修去顺应,就像小孩子进修掌握本人的手相同。