当前位置:主页 > 最新源码
微软新论文:如何利用深度特征流提高视频识别
日期:2017-05-30 浏览量:

应用|微软新论文:如何利用深度特征流提高视频识别准确率?(附源码)

  全球人工智能:专注为AI开发者提供全球最新AI技术动态和社群交流。用户来源包括:北大、清华、中科院、复旦、麻省理工、卡内基梅隆、斯坦福、哈佛、牛津、剑桥等世界名校的AI技术硕士、博士和教授;以及谷歌、腾讯、百度、脸谱、微软、华为、阿里、海康威视、滴滴、英伟达等全球名企的AI开发者和AI科学家。

文章参考:arXiv 编译:马卓奇博士

  利用深度特征流进行视频识别

  论文导读:

  深层卷积神经网络在图像识别任务上取得了极大的成功。然而将先进的图像识别网络转换成识别视频的网络是十分复杂的工作,因为直接对每帧进行测试会很慢,并且是网络所负担不起的。在本文中,作者提出了深度特征流,一个快速准确的进行视频识别的框架。该框架只需要在关键帧上运行较为耗时的卷积子网络,然后将他们的深度特征图通过流场传播到其他帧上。由于流计算相对较快,该框架显著提升了速度。整个结构的端到端的训练显著提高了识别率。深度特征流灵活性和泛化能力很强。作者在两个较大的视频数据集上进行了验证。作者认为该框架是视频识别迈向实际应用的一大步。

  问题提出:

  快速准确的视频识别对于实现一些基于视觉的机器智能是很重要的,尤其对于一些价值很高的场景来说,例如自动驾驶,视频监控等等。然而,对于大多数应用来说,将目前的图像识别网络直接应用到视频的所有帧上这一方法会带来无法负担的计算消耗。

  目前的CNN网络结构大都一样。很多层都是卷积层,它们引起了最多的计算量。中间的卷积特征图与输入图像有相同的空间范围。他们也保持了低级别图像内容和中到高级别语义概念之间的空间一致性。这样的一致性为特征通过空间变形方法,从而在相近帧之间轻松地传播提供了机会,与光流场类似。

  我们提出了深度特征流,一个快速准确的视频识别方法。它只在关键帧上应用图像识别网络,然后将深度特征图通过流场从关键帧传到其他帧。下图解释了该想法。两个中间特征图分别对应了“汽车”和“人”的概念。

  

  深度特征流的提出动机。我们可视化了ResNet-101模型的最后一个卷积层的两个滤波器的特征图。临近的两帧之间卷积特征图较相似。特征图可以很容易的从关键帧通过流场传播到当前帧。

  深度特征流:

  我们将卷积神经网络分解为两个连续的子网络。第一个子网络是特征网络,是全卷积的,并且输出一系列中间特征图。第二个子网络是任务网络,对于不同的任务有特定的结构,然后在特征图上完成识别任务。特征网络只在稀疏的关键帧上运行。非关键帧的特征图由其前面关键帧传播而来。假设M是一个二维的流场,它通过一个流估计算法得到。它通过双线性缩放到和特征图有同样的空间分辨率用来传播。它将当前帧i的位置投影回关键帧k。特征变换通过双线性插值实现。

  

  其中c代表特征图f的一个通道,f,q列出了特征图中所有的空间位置,G代表双线性插值核。G是二维的,并且被分解成两个一维的核:

  为了更好的近似特征,他们的振幅通过“规模场”进行调制,“规模场”和特征图空间和通道维度相同。“规模场”通过在两帧上实现“规模函数”获得。

  最终,特征传播函数定义为:

  其中W表示对特征图的所有位置和所有通道都使用方程(1),然后按元素将特征和“规模函数”相乘。

  算法流程如下:

  

  (a)对每帧应用网络进行视频识别的方法(b)深度特征流方法

  网络结构

  流网络:我们采用最先进的基于CNN的FlowNet结构。我们设计了两个复杂性更低的网络变体。第一个是FlowNet Half,将FlowNet每层卷积核的数量减少至一半,复杂性降低至1/4. 第二个是FlowNet Inception,采用了Inception网络结构,将复杂性降至1/8。

FlowNet网络结构示意

FlowNet Half网络结构示意

相关文章:
·《LOL》新皮肤源代码 黑默丁格皮肤预览
·《LOL》新皮肤源代码 伊莉丝皮肤预览
·《LOL》新皮肤源代码 卡莉斯塔皮肤预览
·Facebook重磅发布ParlAI,重塑机器对话新格局(附源
·微软新论文:如何利用深度特征流提高视频识别
→ 特别推荐
《LOL》新皮肤源代码
《LOL》新皮肤源代码
《LOL》新皮肤源代码
Facebook重磅发布ParlA
微软新论文:如何利
最新版微信收银系统
小白学源码审计-3
JVM源码分析之线程局
苹果发布macOS Sierra最
《英雄联盟》最新女
曹毅:源码资本的“
2017最新代码托管服务
众筹平台Kickstarter宣布
LOL新英雄卡蜜尔技能
htc vive前置摄像头 如
→ 热点TOP10
11月12日最新江
软件:唯有安
LUPA开源周刊:
svn实现垃圾清
开放源码在大
南京程序员用
最新微博士仿
胜思网络正式
Zephyr 操作系统
滴滴出行等i

友情链接/网站合作咨询: