最新新闻
起亚电动SUV EV9升级,动力与软件得到全面提升 上汽大众新款SUV途岳正式上市,售价15.86-21.66万元 福特领衔投资45亿美元,将在印尼建立镍加工厂 主机厂召开座谈会,探讨国六B切换情况 特斯拉在墨西哥大举投资,助力其成为电动汽车大国 特斯拉推出版Giga啤酒,啤迷大喜过望 西安特斯拉中心车间揭秘,让你近距离了解制造 宝马、特斯拉等豪掷重金,墨西哥将成电动车大国 本田雅阁e:HEV亮相:能否成为雅阁救世主? 特斯拉中国首次败诉,需退一赔三 AI伦理员工大量裁减引发业界担忧,微软、谷歌等科技巨头被指责 AI过于强大,人类面临危险?马斯克、图灵奖得主呼吁暂停GPT-4模型后续研发 微软早期阶段将广告植入GPT-4版必应搜索 故意毁灭证据:美法庭对谷歌Play商店垄断诉讼开出罚单 元宇宙仍是未来,但实现需要时间——Meta重申在计算领域的地位 AI老板发出警告:无法解释的推理能力可能导致人类灭亡 监管机构开始对特斯拉Model X的问题展开调查 追溯OpenAI的历史,揭示其与马斯克的众多纷争 GitHub裁员,印度团队成最大受害者 微软与OpenAI强力结盟,共同致力于网络安全领域 AI视频素材来源不明,百度文心一言创作者面临版权风暴 OpenAI神秘CTO只有35岁,是ChatGPT之母 马斯克脑机接口公司开始寻找合作伙伴 推进人体试验 芝麻信用黑灰产生意:购买会员、薅羊毛可轻松提升信用分 比尔盖茨遭马斯克批评 AI 理解有限 AI越来越智能,你的工作还能保住吗?现实不容忽视 微软研究惊艳科学界:GPT-4能力接近人类,AI朝“天网”迈进? 推特泄露部分源代码,GitHub受命删除,安全问题引人担忧 谁在制造泰国游客流失的恐慌?真相揭秘 为何马斯克和OpenAI撕破脸了?马斯克为何实际控制被拒?
您的位置:首页 >资讯 > 科技 >

研究人员Ghose和Prevost创建了一种深度学习算法

2020-09-08 15:41:41   来源:
导读 研究人员Ghose和Prevost创建了一种深度学习算法,该算法在给定无声视频的情况下可以生成逼真的声音同步音轨。通常,电影添加了在录制后未录

研究人员Ghose和Prevost创建了一种深度学习算法,该算法在给定无声视频的情况下可以生成逼真的声音同步音轨。

通常,电影添加了在录制后未录制的声音效果,从而使它在称为“ Foley”的过程中更加逼真。德克萨斯大学的研究人员求助于深度学习以使这一过程自动化。他们针对12个热门电影事件训练了神经网络,在这些事件中导演经常添加Foley效果。他们的神经网络对要生成的声音的类别进行分类,并且还具有生成声音的顺序网络。因此,他们使用神经网络从时间对齐的图像过渡到声音的生成,这是一种完全不同的方式!

研究人员所做的第一件事是创建一个数据集(自动Foley数据集),该数据集包含具有12个电影事件的短片。对于某些电影事件,他们自己在工作室内部产生声音(例如剪切,足迹和时钟声音)。对于其他事件(例如枪声,奔马和开火),他们从YouTube下载了带有声音的视频片段。他们录制了1000部视频,平均时长为5秒。

下一步是预测正确的声音类别。为此,他们比较了两种方法:帧序列网络(FSLSTM)和帧关系网络(TRN)。在帧序列网络方法中,他们获取每个视频帧。然后,它们会在视频中的现有帧之间插入帧,以实现更高的粒度。ResNet-50卷积神经网络(CNN)提取图像特征。然后,使用称为Fast-Slow LSTM的递归神经网络并结合图像特征来预测声音类别。在框架关系网络中,他们试图以较少的计算时间捕获对象的详细变换和动作。框架关系网络(或更准确地说,多尺度时间关系网络)比较相距N个距离的框架中的特征,其中N取多个值。

最后一步是为此类产生声音。为此,研究人员使用了逆短时傅立叶逆变换方法。对于这种方法,他们首先确定训练集中每个声音类别的所有声谱图的平均值。这样,他们就可以很好地(平均)开始生成声音。然后,神经网络仅需针对声音的每个采样步骤预测到该平均声音锚点的增量。

免责声明:本文由用户上传,如有侵权请联系删除!