t-网:带单个高阶张量的参数rizing全卷积网

最近的研究表明，过度参数化对于深度神经网络的成功训练非常重要，并且它也引入了许多冗余。

在本文中，我们提出了一个使用单个高阶低秩张量的全参数化卷积神经网络。

本文提出用单个高阶张量对神经网络进行参数化，从而捕获神经网络的完整结构。这个高阶张量的模式代表了网络的每一个架构设计参数(例如，数量、深度、数量栈、输入特性等。).这种参数化可以使整个网络标准化，大大减少参数的数量。

本文研究了具有丰富结构的网络，即完全卷积网络(FCN)。建议使用单个8阶张量进行参数化。

有证据表明，这些深度模型成功背后的重要特征是过度参数化的，这有助于找到良好的局部最小值。

但与此同时，过度的参数化导致了大量的冗余，从统计学的角度很难概括(因为其参数数量庞大)，也增加了存储和计算的难度，难以部署在计算资源有限的设备上。

本文致力于通过张量法联合参数化整个网络来消除CNN参数的冗余。

最近，在减少冗余和提高CNN的效率方面做了大量的工作，主要集中在重新参数化每一层。

本文主要是用单个高阶张量对整个CNN进行参数化，而不是用不同的张量对每一层进行参数化，这与以往的工作不同。

特别地，提出了单个高阶张量来参数化网络，每个维度代表网络的不同架构设计参数。

通过使用单个张量来模拟整个FCN，该方法允许学习不同张量维度之间的相关性，从而完全捕获网络的结构。

此外，这种参数化隐含地调整整个网络，并通过对张量施加低秩结构来显著减少参数的数量。

本文的贡献在于:

与本文的工作更相关的是手动分解方法，如MobileNet [15]和Xception [8]，它们使用有效深度和点积卷积来分解3×3卷积。

P.S .(怎么突然觉得之前的MobileNet没白找，尴尬...)

本文选择张量沙漏(HG)网络主要是因为其丰富的结构，使其适合于用高阶张量建模。这项工作的目的不是产生人体姿态估计任务的最新结果，而是显示用单个高阶张量建模最新架构的好处。

虽然二阶张量很容易

描述为矩形，三阶张量描述为立方体，但是这样表示高阶张量是不现实的。

相反，我们使用张量图，它是无向图，其中顶点表示张量。

每个顶点的度数(即源自圆的边数)指定了相应张量的阶。然后，两种模式下的张量收缩通过简单地将对应于两种模式的两条边链接在一起来表示。

图2用张量图描绘了8阶张量的Tucker分解(即，沿着每个模式的因子矩阵的核心张量的收缩)。

所提出的张量网络(T-Net)的高阶张量如下获得:

将不同的低停止约束添加到上述参数，获得该方法的不同变型。

考虑Tucker-rank-，参数为:

分别压缩每个卷积层，输入输出特征的秩分别为，总* * *参数为:

同样，本文方法的参数为:

参考资料:

T-Net:用单个高阶张量参数化全卷积网