影子也能出卖你了?MIT新技能可依据影子还原你的电视画面

自古以后,偷窥的方法大惊小怪:窗户上戳个洞;恰当的角度摆一个镜子;安针孔摄像机……但你有没有念过,有一天,你家的墙以致杂物堆也能当镜子用,瞥睹你房间里的一举一动。

即日,MIT 的研讨职员借帮一台摄像机,录下视频或人的举措墙角杂物堆里投下的影子,就能大致还原出原始画面。

如下图所示,屏幕上正播放一私人操作积木的视频,对面是一个杂物堆,屏幕发出的光投射杂物堆里。研讨职员就对着这个杂物堆举行拍摄,记载下视频的影子。

记载下来的画面如下所示(左 1)。假如仅凭肉眼察看,这些影子十分芜杂,对我们确实毫偶尔义。但研讨职员可以应用神经收集对其举行还原。还原效果如下图(右 1)所示。以致颜色都能捕捉到。

精细来说,MIT 的一个研讨团队七年前创制了一种新的成像系统,可运用地板、门和墙举措「镜子」来了解不视线范围内的场景。运用特别的激光来生成可识另外 3D 图像,该研讨开启了新的可以性,让我们可以更好地舆解视线范围除外的东西。

近来,MIT 盘算机科学与人工智能实行室(CSAIL)的一组科学家团队这项研讨上更进了一步,不过这一次他们没有运用任何特别配备。

他们开辟了一种可通过察看乱物堆上的微妙影子和反射影像重修视频的方法。这意味着,只需房间中有一个开着的摄像机,就可以重修出房间中看不睹的角落的视频,即使这个区域相机视野除外也无妨。

通过察看视频中影子和几何构造的交织状况,该团队的算法可以预测光芒场景中挪动的方法,他们将此称为「光传输(light transport)」。然后,该系统可依据察看到的影子来估量躲藏的视频——它以致可以重修实景运动的轮廓。

可用于主动驾驶等场景

这品种型的图像重修可以有利于社会的许众方面:主动驾驶汽车可以更好地舆解转角处会呈现什么、晚年人照顾中心可以晋升住民的平安性、搜救团队也能晋升本人伤害和有妨碍区域中的才能。

这项技能是「被动式的」,也便是说,场景中没有激光和其它搅扰。不过,目前的处理时间还仍然长达大约两个小时,但研讨者外示这项技能最终可以用于上述运用,为它们重修不典范视线内的场景。

杂物堆≈针孔照相机

「你可以运用激光等非视线成像配备完成少许东西,但我们的方法中,你只需求有自然抵达相机的光芒,然后尽可以地提取出此中的稀有新闻即可。」前 CSAIL 博士后及英伟达现任研讨科学家 Miika Aittala 说,他现主导着这项新技能的研讨。「思索到近段时间神经收集范畴希望颇丰,现看起来像是个办理这一范畴之前被认为不可办理的艰难的好时分。」

为了获取这种不可睹的新闻,该团队运用了微妙的、简明的光芒线索,比如被察看区域中杂物的影子和高光部分。

从某种程度上讲,一堆杂物的感化就像是一个针孔相机,这相似于你可以小学科学课上制过的东西:它会掩盖少许光芒,但也会容许其它少许光芒通过,这些可以描画出它们所触及的方圆状况的图像。可是,这里不是借帮让部分光芒通过来变成一个可读图像的针孔相机,而是运用了一堆一般的杂物,它们会发生一副被烦扰(因为光传输)得无法识另外图像,这幅图像是影子和暗影的繁杂交互。

你可以将这堆杂物视为一边镜子,为你供应方圆状况的颠末烦扰的视图——举个例子,这能让你瞥睹你无法直接瞥睹的角落。

用到的算法

该团队的算法办理的艰难是解析这些烦扰的结果,从而了解这些光芒线索。精细来说,该算法的目标将躲藏场景中的运动恢复成人类可读的视频,这是光传输与躲藏视频的乘积。

可是,解析这些烦扰的线索实行上是一个经典的「先有鸡照旧先有蛋」的题目。为了剖析分明烦扰的方式,用户需求已知躲藏视频;或者反过来,为了晓得躲藏视频,用户需求已知烦扰的方式。

「从数学上看,这就像是假如我告诉你我脑子里寂静念着两个数,而且它们的积是 80。你能猜出它们是什么数吗?也许是 40 和 2?或者是 371.8 和 0.2152?我们的题目中,每个像素都面临着相似的状况。」Aittala 说,「确实恣意躲藏视频都可用对应的扰动线索来标明,反过来也同样修立。假如我们让盘算机挑选,它只会做简单的义务,为我们供应一大堆看起来什么也不像的实质上是随机的图像。」

晓得了这一点,该团队将研讨重心放了避免歧义性上,他们的做法是通过算法指定他们念要的一种对应于合理的实活着界影子和暗影的「烦扰”ィ式,从而恢复看起来有能同等运动的边沿和物体的躲藏视频。

该团队也应用了一个让人诧异的终究,即神经收集自然地偏好外达「类图像」的实质,即使它们从未为此教练过也是云云,这有帮于消弭歧义。该算法会同时教练两个神经收集,它们都运用了一个名为深度图像先验(Deep Image Prior)的板滞进修看法,仅为一个目标视频举行了特别化处理。此中一个收集用于发生烦扰方式,另一个则用于估量躲藏视频。岛镶两个因仔¢合重现了杂物记载的视频时,这两个收集会取得奖励,从而驱使它们运用合理的躲藏数据来对察看举行标明。

为了测试该系统,该团队起首一边墙前堆了一堆东西,然后对面的墙上投射视频以及切身墙前面挪动。基于此,他们可以重修出能让你对房间中躲藏区域所爆发的运动有大约了解的视频。

该团队期望未来能晋升该系统的全体区分率,并最终非受控状况中测试查验这项技能。

原文链接:https://news.mit.edu/2019/using-computers-view-unseen-computational-mirrors-mit-csail-1206

初学通过影子还原原始画面MIT
相关数据
图像重修技能

通过物体外部测量的数据,经数字处理取得三维物体的样式新闻的技能。图像重修技能开端是放射医疗配备中运用,显示人体各部分的图像,即盘算机断层照相技能,简称CT技能,后渐渐许众范畴取得运用。主要有投影重修、明暗恢复样式、立体视觉重修和激光测距重修。

引荐作品
暂无评论
暂无评论~