新技术将人工智能的训练时间缩短了60%以上
立即发布
美国北卡罗来纳州立大学(North Carolina State University)的研究人员开发了一种技术，在不牺牲准确性的情况下，将深度学习网络的训练时间缩短了60%以上，加快了新的人工智能(AI)应用程序的开发。
“深度学习网络是人工智能应用的核心，从自动驾驶汽车到计算机视觉技术，各种应用都在使用深度学习网络，”北卡罗来纳州立大学(NC State)计算机科学教授、有关这项工作的一篇论文的合著者沈希鹏表示。
“新人工智能工具开发面临的最大挑战之一是，训练深度学习网络识别并响应与其应用相关的数据模式所需的时间和计算能力。我们已经提出了一种方法来加速这个过程，我们称之为自适应深度重用。我们已经证明，它可以减少多达69%的训练时间而不损失准确性。”
训练一个深度学习网络需要将一个数据样本分解成连续的数据点块。想象一个用来确定给定图像中是否有行人的网络。这个过程首先将一幅数字图像分割成彼此相邻的像素块。每个数据块都要经过一组计算过滤器。然后，这些结果通过第二组过滤器运行。这一过程将迭代进行，直到所有的数据都通过了所有的过滤器，从而允许网络对数据样本得出结论。
当这一过程对数据集中的每个数据样本都完成时，称为历元。为了对深度学习网络进行微调，该网络可能会在数百个时代中运行相同的数据集。许多数据集由数万到数百万个数据样本组成。对大量数据应用大量过滤器的大量迭代意味着训练深度学习网络需要大量的计算能力。
当沈的研究团队意识到一个数据集中的许多数据块彼此相似时，他们的突破性时刻到来了。例如，一幅图像中的一片蓝天可能与同一幅图像中其他地方的一片蓝天相似，也可能与同一数据集中另一幅图像中的一片蓝天相似。
通过识别这些相似的数据块，深度学习网络可以对一个数据块应用过滤器，并将结果应用于同一集合中所有相似的数据块，从而节省大量的计算能力。
“我们不仅能够证明这些相似点的存在，而且我们可以在过程的每一步找到中间结果的相似点，”北卡罗来纳州的博士生、论文的第一作者林宁说。“通过应用一种称为局部敏感哈希的方法，我们能够最大化这种效率。”
但这又引发了另外两个问题。每个数据块应该有多大?数据块需要达到什么阈值才能被视为“相似”?
研究人员发现，最有效的方法是用一个相对较低的阈值来确定相似性，从比较大的数据块开始。在随后的阶段，数据块变得更小，相似阈值变得更严格，提高了深度学习网络的准确性。研究人员设计了一种自适应算法，可以在训练过程中自动实现这些增量变化。
为了评估他们的新技术，研究人员使用三种深度学习网络和数据集对其进行了测试，这三种网络和数据集被深度学习研究人员广泛用作测试平台:CifarNet使用Cifar10;使用ImageNet AlexNet;和VGG-19使用ImageNet。
自适应深度重用将AlexNet的训练时间减少了69%;维生素g -19增加68%;CifarNet的准确率提高了63%——都没有损失。
“这表明这种技术大大减少了训练时间，”北卡罗来纳州大学博士生、论文的合著者关辉(音译)说。“这也表明，网络越大，自适应深度重用越能减少训练时间——因为AlexNet和VGG-19都比CifarNet大得多。”
“我们认为Adaptive Deep Reuse是一个有价值的工具，并期待与业界和研究伙伴合作，以证明它可以用来推进人工智能，”Shen说。
这篇论文“Adaptive Deep Reuse: accelerated CNN Training on The Fly”将于4月8日至11日在中国澳门举行的第35届IEEE数据工程国际会议上发表。这项研究得到了美国国家科学基金会的资助，资助编号为CCF-1525609、CNS-1717425和CCF-1703487。
希普曼-
编辑:研究摘要如下。
自适应深度重用:加速CNN的快速训练
作者:宁林、关辉、沈锡鹏，北卡罗莱纳州立大学
提出了:第35届IEEE数据工程国际会议，4月8-11日，澳门特别行政区
文摘:本工作提出了一种自适应深度重用的方法，通过在飞行中识别和避免每个特定训练中包含的不必要的计算来加速CNN的训练。它有两方面的主要贡献。(1)通过实验证明了在CNN的正向和反向传播中，神经元向量之间都存在很多相似之处。(2)在CNN训练中引入了第一种自适应策略，将相似度转化为计算重用。该策略根据CNN在不同训练阶段对精度松弛的容忍度不同，自适应调整重用强度。实验表明，自适应深度重用节省了69%的CNN训练时间，且没有准确性损失。
