最新新闻
谷歌光纤部门裁员9% 暂停1个城市的光纤计划 谷歌光纤现在是一个光纤和无线ISP 在堪萨斯城 谷歌光纤结束了免费的5Mbps互联网服务 4K的谷歌视距可能会让你突破家庭互联网数据的上限 亚马逊在5G 混合IT领域加大竞争 一个可靠的VPN新来者 有一些不错的功能 OVPN审查一个可靠的执行者 有很好的隐私承诺 WireGuard协议对Mac用户来说很简单 讨厌macOS的屏幕截图吗 这里是如何摆脱它 iPhone 11 Pro即使在关闭选项时也能共享位置数据 敏捷云到底有什么用呢 年增长率70%怎么样 Bug赏金初创公司HackerOne在分析错误后遭到攻击 福克斯与AWS签署协议 升级电视制作和流媒体服务 思科推出5G Now产品组合 让合作伙伴在无线领域全速前进 阿里巴巴的YunOS超越了中国的iOS 但它到底是什么呢 我们不能阻止人工智能改变世界 但我们可以阻止机器人烹饪猫 人工智能能预测潜在的安全漏洞吗 广告是我们将为AI无处不在付出的代价吗 安卓创始人必备的手机将三星配件与iPhone设计融为一体 亚马逊Echo Show为Alexa不断增长的技能添加了视频通话功能 爱立信推出新的物联网加速器市场 旨在刺激大规模的物联网应用 特斯拉半电动卡车亮相 奔驰GLC F-CELL是绿色科技的和谐 吉普揭示越野车的概念复活节狩猎 汽车博览会梅赛德斯 奔驰确定参展阵容 日内瓦丰田C-HR紧凑型SUV泄露 奔驰g级40年的顽固遗产 雷克萨斯RX 450hL推出坐第三排 WELLBET详解奔驰旗下全新SUV车型GLB 丰田Yaris交付开始1000辆车找到
您的位置:首页 >资讯 > 科技 >

新技术将AI培训时间缩短了60%以上

2019-05-11 10:36:59   来源:

北卡罗来纳州立大学的研究人员开发出一种技术,可以在不牺牲准确性的情况下将深度学习网络的培训时间缩短60%以上,从而加速新型人工智能(AI)应用的开发。

“深度学习网络是人工智能应用的核心,用于从自动驾驶汽车到计算机视觉技术的各种应用,”北卡罗来纳州计算机科学教授,该工作论文的共同作者Xipng Shen说。

“开发新的AI工具面临的最大挑战之一是培训深度学习网络以识别和响应与其应用相关的数据模式所需的时间和计算能力。我们已经提出了加快这一过程的方法,我们称之为自适应深度重用。我们已经证明,它可以减少高达69%的训练时间而不会导致精确度损失。“

培训深度学习网络涉及将数据样本分成多个连续数据点。考虑一个旨在确定给定图像中是否有行人的网络。该过程开始于将数字图像分成彼此相邻的像素块。每个数据块都通过一组计算过滤器运行。然后通过第二组过滤器运行结果。这将迭代地继续,直到所有数据都通过所有过滤器运行,从而允许网络得出关于数据样本的结论。

对数据集中的每个数据样本执行此过程时,称为纪元。为了微调深度学习网络,网络可能会运行数百个时期的相同数据集。许多数据集由数万和数百万个数据样本组成。许多过滤器的大量迭代被应用于大量数据意味着训练深度学习网络需要大量的计算能力。

当Shen意识到数据集中的许多数据块彼此相似时,Shen的研究团队突破了这一时刻。例如,一个图像中的蓝色天空的片可以类似于同一图像中其他地方的蓝色天空片或者相同数据集中的另一个图像中的天空片。

通过识别这些类似的数据块,深度学习网络可以将过滤器应用于一个数据块并将结果应用于同一组中的所有相似数据块,从而节省了大量计算能力。

“我们不仅能够证明存在这些相似之处,而且我们可以在过程的每一步中找到中间结果的相似性,”林宁博士说。北卡罗来纳州立大学学生和该论文的第一作者。“我们通过应用一种称为局部敏感散列的方法,最大限度地提高了效率。”

但这提出了另外两个问题。每个数据块应该有多大?数据块需要达到什么阈值才能被视为“相似”?

研究人员发现,最有效的方法是首先查看相对较大的数据块,然后使用相对较低的阈值来确定相似性。在随后的时期中,数据块变得更小并且相似性阈值更加严格,从而提高了深度学习网络的准确性。研究人员设计了一种自适应算法,可在训练过程中自动实现这些增量变化。

为了评估他们的新技术,研究人员使用深度学习研究人员广泛用作测试平台的三个深度学习网络和数据集进行测试:CifarNet使用Cifar10;AlexNet使用ImageNet;和VGG-19使用ImageNet。

Adaptive Deep Reuse将AlexNet的培训时间缩短了69%;VGG-19的比例为68%;并且CifarNet减少了63% - 所有这些都没有准确性损失。

“这表明该技术大大缩短了培训时间,”慧冠博士说。北卡罗来纳州立大学的学生和该论文的共同作者。“它还表明,网络越大,自适应深度重用能够减少培训时间就越多 - 因为AlexNet和VGG-19都比CifarNet大得多。”

“我们认为自适应深度重用是一种有价值的工具,并期待与行业和研究合作伙伴合作,展示它如何用于推进人工智能,”沉说。

本文将于4月8日至11日在中国澳门特别行政区举行的第35届IEEE国际数据工程大会上发表论文“自适应深度重用:加速CNN在线培训”。这项工作是在国家科学基金会的资助下进行的,资助号为CCF-1525609,CNS-1717425和CCF-1703487。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。