Facebook开源算法代码库PySlowFast,轻松复现前沿视频了解模子

近些年的视频了解研讨中,Facebook AI Research 奉献了许众精美的义务。即日,FAIR视频团队 ICCV 相关研讨会上开源了视频识别检测代码库 PySlowFast,并同时发布了预教练的模子库。同时,该团队外示,他们还将及时将他们的前沿义务添加至此代码库。

  • 项目地址:https://github.com/facebookresearch/SlowFast

  • Tutorial 地址(附 PPTT 资源):https://alexanderkirillov.github.io/tutorials/visual-recognition-iccv19/

视频与举措了解俨然已成为当今最炎热的研讨偏向之一,然而开源社区中找到一个简明、高效、易于改正的视频了解代码库仍不是一件简单的事故。更主要的是,复现当今前沿的 (state-of-the-art) 的深度进修模子不停是一件令研讨者头疼的事故。

这些视频了解模子往往动辄几十 GFlops,需求教练数天,而复现出一个模子需求重复的实行调参,让每个细节都准确。这往往会消耗大宗的时间和资源,让许众研讨者望而却步。

Facebook AI Research CVPR、ICCV 等国际集会发布了浩繁研讨义务,并博得了 CVPR 2019 方法检测挑衅赛的冠军。然后,本年的 ICCV 上,FAIR 推出了他们的视频了解代码库:PySlowFast。

PySlowfast 是一个基于 PyTorch 的代码库,让研讨者可以易如反掌地复现从根底至前沿的视频识别 (Video Classification) 和方法检测 (Action Detection) 算法。

不光云云,PySlowFast 代码库同时开源了大宗预教练模子 (pretrain models),让研讨者省去了重复教练模子的懊恼,可以直接运用 FAIR 预教练的前沿 (cutting edge performance) 模子。

pySlowFast开源的模子的可视化检测结果

自开源后,PySlowFast 就一度连任 GitHub 趋势榜前十。以下对此开源项目举行了简明先容。

依据研讨会教程和开源代码库新闻,PySlowFast 既供应视频了解基线(baseline)模子,还供应了当今前沿的视频了解算法复现。其算法不光单囊括视频视频(video classification),同时也包罗方法检测(Action Classification)算法。

与当今开源社区中种种视频识别库复现出狼籍不齐的功用比较,运用 PySlowFast 可易如反掌地复现出当今前沿的模子

视频识别(Kinetics)

外 1:PySlowFast 视频分类数据库 Kinetics 400 上的功用)(节选自 https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md)

PySlowFast 不光单可以用于视频分类,同时也可用于视频了解,并供应博得了 2019 年 CVPR ActivityNet Challenge Winner 的视频检测模子。

方法检测(AVA)

另外,PySlowFast 预留了接口,可通过简单的编辑支撑众模态视频了解、视频自监视进修等等义务。该团队称,PySlowFast 将被主动维护,及时更新其团队和业界的前沿算法,同开源其预教练模子,使代码库成为视频了解范畴的基线标杆

通过以下教程,读者们可以简单试用下 PySlowFast 代码库。完毕安装后,通过下载 MODEL_ZOO 供应的预教练模子和相应的配备文献,运转如下代码,就可以测试(Test)模子差别视频数据库上的功用:

pythontools/run_net.py\
--cfgconfigs/Kinetics/C2D_8x8_R50.yaml\
DATA.PATH_TO_DATA_DIRpath_to_your_dataset\
 NUM_GPUS 2 \

我们可以发明,通过此代码库可以随便复现出前沿的高功用模子,同时读者们也可以实验通过简单的改正来完成本人的模子,并用众台 GPU 举行教练取得前沿的功用。

初学FacebookPySlowfast
3
相关数据
深度进修技能

深度进修(deep learning)是板滞进修的分支,是一种试图运用包罗繁杂构造或由众重非线性变换构成的众个处理层对数据举行高层笼统的算法。 深度进修是板滞进修中一种基于对数据举行外征进修的算法,至今依鳌有种深度进修框架,如卷积神经收集和深度置信收集和递归神经收集等已被运用盘算机视觉、语音识别、自然言语处理、音频识别与生物新闻学等范畴并获取了极好的效果。

自监视进修技能

一个例子中的实质特别众,而用一个例仔■一个义务,就等于把其他的实质糜费了,于是我们需求从一个样本中寻得众个义务。比如说遮挡图片的一个特定部分,用没遮挡部分来猜遮挡的部分是一个义务。那么通过遮挡差别的部分,就可以用一个样本完毕差别义务。Yann Lecun描画的这个方法被业界称作「自监视进修」

引荐作品
暂无评论
暂无评论~