思源报道

框一下就能从视频隐身,这是实行版的「隐身衣」?

嗯,我也念摄像头领下被「框一下」。

只消画个边境框,模子就能主动追踪边境框内的物体,并视频中躲藏它。近来,这个巧妙的项目借帮目标检测图像修复,成功地让模子对视频中的物体视而不睹,并通过伪制配景将物体从视频中抹去。

项目地址:https://github.com/zllrunning/video-object-removal

效果怎样样

我们先看看效果,左图是原视频,右图是模子擦除行人后的效果。基本上行人定位与追踪是没什么题目的,但比较艰难的地方于图像修复,即将行人那一部分像素删除后,重修合理的配景。

放大来看,假如配景比较简单,比如纯色说少纹理,那么修复效果是挺好的。可是纹理繁杂的状况下,图像修复会呈现少许题目,比如车道线对不齐等等。但总体来说,这个项目曾经有很好的效果了。

另外,假如我们念取得上面修复的结果,只需求简单地框选目标就能完毕。我们可以画一个边境框,然后模子就会处理视频,并将结果输出到 results/inpainting 文献夹中。

项目怎样用

项目标安装和运用也是比较简单的,作家还供应了完备的预教练模子。以是我们只需求配备 Python 3.5 和 PyTorch 0.4 就差未几能跑了,当然还得有一块 GPU。

精细而言,我们需求下载 GitHub 项目,然后转到 inpainting 目次下运转 install.sh 脚本,这就完毕安装了。我们可以下载 SiamMask 和 Inpainting 两个预教练模子,并放项目标 cp 文献夹下,然后就可以速乐地测试 Demo 了:

python demo.py --data data/Human6

视频文献也是可以直接测试的:

python demo.py --data data/bag.avi

上面两个命令行都会对图像或视频举行处理,并保管生成结果。

  • 预教练 SiamMask:http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth

  • 预教练 Inpainting:https://drive.google.com/file/d/1KAi9oQVBaJU9ytr7dYr2WwEcO5NLiJvo/view?usp=sharing

原理怎样样

前面先容过,video-object-removal 主要鉴戒了两项义务,即 SiamMask 与 Deep Video Inpainting,它们都是 CVPR 2019 的研讨。通过 SiamMask 追踪视频中的目标,并将 Mask 转达给 Deep Video Inpainting,然后模子就能重修最终修复效果了。

视频及时追踪

SiamMask 中,研讨者展现了怎样同一框架下,及时施行视觉追踪与半监视目标支解。教练完毕后,SiamMask 只依赖一个初始化的边境框,就能及时生成未知种另外目标支解掩码,并以每秒 55 帧的速率及时更新掩码。

论文:Fast Online Object Tracking and Segmentation: A Unifying Approach

  • 论文地址:https://arxiv.org/abs/1812.05050

  • GitHub:https://github.com/foolwood/SiamMask

SiamMask 的变体示企图,它可以挑选 three-branch 的完备版来预测边境框和掩码,也可以挑选 two-branch 的版本直接预测掩码。

SiamMask 的及时支解与追踪效果。

视频及时修复

视频修复旨应用视频中合理的实质补偿被删除的像素,深度视频修复这篇论文中,研讨者提出了一种深度架构来举行疾速的视频修复。该模子修立基于图像的编码器解码器模子上,并从近邻的少许视频帧搜罗新闻,从而合成未知区域的图像实质。研讨者外示他们的方法能构修更连贯和合理的视频修复,同时模子的高效性槐ボ让这种修复及时举行。

论文:Deep Video Inpainting

  • 论文地址:https://arxiv.org/abs/1905.01639

  • GitHub:https://github.com/mcahny/Deep-Video-Inpainting

深度视频修复收集的全体构造,该收集会应用目今帧 t 以及 t-6、t-3、t+3、t+6 等图像帧的原始新闻,从而依据前面的预测结果 Y_t-1 推测目今帧的修复结果 Y_t。另外,为了取得时序上的连贯性,作家会运用轮回 feedback 和 ConvLSTM 模块,并运用 flow 和 warp 两个耗损函数

Deep Video Inpainting 的效果(无奈的是,视频中的暗影还)。

参考链接:
https://github.com/zllrunning/video-object-removal

表面视频及时追踪边境框
相关数据
耗损函数技能

数学优化,统计学,计量经济学,计划表面,板滞进修和盘算神经科学等范畴,耗损函数或资本函数是将一或众个变量的一个事情或值映照为可以直观地外示某种与之相关“资本”的实数的函数。

目标检测技能

一般目标检测(generic object detection)的目标是依据大宗预订义的种别自然图像中确定目标实例的位置,这是盘算机视觉范畴最基本和最有挑衅性的题目之一。近些年兴起的深度进修技能是一种可从数据中直接进修特征外示的强大方法,并曾经为一般目标检测范畴带来了分明的打破性希望。

图像修复技能

引荐作品
暂无评论
暂无评论~