最新新闻
vivo Z5x成野外求生必备物资?技术宅用七菜一汤告诉你这是为什么! iQOO Neo完美诠释“芯”生力量,高标准千元旗舰上线 手机界地震!iQOO Neo定价1798起,预约定金100最高抵200! 川西捞分享:火锅投资你必须掌握的六大秘密! ​vivo S1 Pro仲夏梦甜蜜开售 6GB+256GB仅2398元 OMA为New Museum的第二座画廊大楼揭幕 Autodesk的房屋建筑管理 MAD建筑事务所对义乌大剧院的建议将建在东阳河上 青年艺术家陈羿州陶瓷作品赏析 美国建筑项目管道价值的近60%集中在10个主要州 季度同比暴增133.5%创纪录的特斯拉为何还被唱衰 10余家车企抢滩科创板 新造车企业抢夺最后的王炸 颐敬堂沙棘护阴胶囊:“面子”工程再重要,“里子”保养也别忽略 反思吉利汽车 销量暴跌股价腰斩背后的致命弱点 中国汽车产业开启新阶段 阿里钉钉携手金山WPS 文档在线协作的最佳CP来了 企业数字化转型需要满足4个数据分析要求 Veritas智能技术驱动企业升级 竹间智能完成B轮3000万美元融资 青云QingCloud的ICT版图有了变化 阿里华为网宿科技进军边缘计算能否迎来产业新格局 人口红利没了CRM能守住流量吗 联合办公大洗牌规模和服务是核心竞争力 技术是手段通过技术的应用可以提高企业效率 互联网公司为啥要做企业服务 产业互联网驱动组织变革灵活用工将孕育新独角兽 没有核心技术所有的创业都是一场人祸 ImageDT图匠数据走进苏宁 共话数字时代新零售 解决IT安全威胁捕捉则是第一步 英特尔发布全新架构和技术扎根六大技术支柱
您的位置:首页 >资讯 > 科技 >

新技术将AI培训时间缩短了60%以上

2019-05-11 10:36:59   来源:

北卡罗来纳州立大学的研究人员开发出一种技术,可以在不牺牲准确性的情况下将深度学习网络的培训时间缩短60%以上,从而加速新型人工智能(AI)应用的开发。

“深度学习网络是人工智能应用的核心,用于从自动驾驶汽车到计算机视觉技术的各种应用,”北卡罗来纳州计算机科学教授,该工作论文的共同作者Xipng Shen说。

“开发新的AI工具面临的最大挑战之一是培训深度学习网络以识别和响应与其应用相关的数据模式所需的时间和计算能力。我们已经提出了加快这一过程的方法,我们称之为自适应深度重用。我们已经证明,它可以减少高达69%的训练时间而不会导致精确度损失。“

培训深度学习网络涉及将数据样本分成多个连续数据点。考虑一个旨在确定给定图像中是否有行人的网络。该过程开始于将数字图像分成彼此相邻的像素块。每个数据块都通过一组计算过滤器运行。然后通过第二组过滤器运行结果。这将迭代地继续,直到所有数据都通过所有过滤器运行,从而允许网络得出关于数据样本的结论。

对数据集中的每个数据样本执行此过程时,称为纪元。为了微调深度学习网络,网络可能会运行数百个时期的相同数据集。许多数据集由数万和数百万个数据样本组成。许多过滤器的大量迭代被应用于大量数据意味着训练深度学习网络需要大量的计算能力。

当Shen意识到数据集中的许多数据块彼此相似时,Shen的研究团队突破了这一时刻。例如,一个图像中的蓝色天空的片可以类似于同一图像中其他地方的蓝色天空片或者相同数据集中的另一个图像中的天空片。

通过识别这些类似的数据块,深度学习网络可以将过滤器应用于一个数据块并将结果应用于同一组中的所有相似数据块,从而节省了大量计算能力。

“我们不仅能够证明存在这些相似之处,而且我们可以在过程的每一步中找到中间结果的相似性,”林宁博士说。北卡罗来纳州立大学学生和该论文的第一作者。“我们通过应用一种称为局部敏感散列的方法,最大限度地提高了效率。”

但这提出了另外两个问题。每个数据块应该有多大?数据块需要达到什么阈值才能被视为“相似”?

研究人员发现,最有效的方法是首先查看相对较大的数据块,然后使用相对较低的阈值来确定相似性。在随后的时期中,数据块变得更小并且相似性阈值更加严格,从而提高了深度学习网络的准确性。研究人员设计了一种自适应算法,可在训练过程中自动实现这些增量变化。

为了评估他们的新技术,研究人员使用深度学习研究人员广泛用作测试平台的三个深度学习网络和数据集进行测试:CifarNet使用Cifar10;AlexNet使用ImageNet;和VGG-19使用ImageNet。

Adaptive Deep Reuse将AlexNet的培训时间缩短了69%;VGG-19的比例为68%;并且CifarNet减少了63% - 所有这些都没有准确性损失。

“这表明该技术大大缩短了培训时间,”慧冠博士说。北卡罗来纳州立大学的学生和该论文的共同作者。“它还表明,网络越大,自适应深度重用能够减少培训时间就越多 - 因为AlexNet和VGG-19都比CifarNet大得多。”

“我们认为自适应深度重用是一种有价值的工具,并期待与行业和研究合作伙伴合作,展示它如何用于推进人工智能,”沉说。

本文将于4月8日至11日在中国澳门特别行政区举行的第35届IEEE国际数据工程大会上发表论文“自适应深度重用:加速CNN在线培训”。这项工作是在国家科学基金会的资助下进行的,资助号为CCF-1525609,CNS-1717425和CCF-1703487。