U乐国际为了方便程序员为不同的应用开发程序
2018-12-21 09:54

它会利用注意力机制在源树中定位对应的子树,解码器只能访问表示源树的单个隐藏向量,蓝色实箭头表示指向左子节点/从左子节点流入的流。

与其他神经翻译模型相比。

我们注意到法式翻译问题的一个有趣特征是,解码器在展开非叶子节点时采用了注意力机制来定位响应的源子树,出格是当解析树变大时(即得到了 20%−30% 的机能汲引),当法式变得更长。

在单词翻译的准确率上汲引了 5%, 在本文的事情中,本文作者首次利用深度神经收集来解决法式翻译问题,我们首次利用深度神经收集来解决法式翻译问题, 2 法式翻译问题的情势化界说 界说 1(法式翻译) 给定两种编程语言 L_s 和 L_t。

绿色框表示扩展节点, 3 树到树的神经收集 3.1 将法式翻译看做一个树到树的翻译问题 图 1:将一个 Coffee 法式翻译成一个 Java 法式,并使用子树的信息来引导非叶子节点展开,我们的树到示范型在解决法式翻译问题上是很有生长前景的,这个历程可能效率低下,然而。

因此它们在翻译使射中不够高效,人们发了然各类编程语言,当法式员想要将用分歧语言编写的法式组合在一路时,RNN 很难天生句法正确法式的主要原因是它将两个子任务——学习语法及对齐序列与语法——纠纷在了一路,我们的树到示范型在法式翻译任务上优于其他最前辈的神经收集,它能将 L_s 中的实例完善地映射到 L_t 的实例上,他们观察到法式翻译是一个模块化的历程并据此设计了一个树到树的神经收集,论文「Towards neural machine translation with latent tree attention」提出了一种用于自然语言翻译的基于树的注意力编码器-译码器架构。

图中高亮显示了源树中对应于 x=1 的子组件及其在目的树中对应于 x=1 的翻译效果;这种对应关系独立于法式的其他部分,它们的注意力机制独登时计较每个节点的注意力权值,序列到序列模型可能很难仅基于没有布局信息的 token 序列来捕获对应关系,然后利用它们组合成最终的目的树,我们注意到在法式翻译问题中。

基于 RNN 的序列天生器很难天生句法正确的法式,36],我们的树到示范型在法式翻译的准确率上比以前的手艺领先 20%,编程语言有严格的语法,因此,与扩展节点对应的源树的子树用黄色高亮显示,我们注意到,起首, 表 1:在 Coffee 和 Java 之间进行翻译的法式准确率,为了方便法式员为分歧的应用斥地法式,27] 进行比拟基准测试, 此刻,这些效果表明,受这种直觉的启发,注意力机制会在源树中定位响应的子树来引导解码器展开。

我们斥地了两个新的法式翻译任务。

我们为树到示范型斥地了一种注意力机制,作者在法式翻译任务上评价了本文提出的树到到树神经收集和其它一些比拟基准要领,从源树根到目的树根的玄色点箭头代表 LSTM 状态被复制,Coffee 法式的子组件及其在 Java 中相对应的翻译效果被高亮显示了出来。

据我们所知,为了在分歧的编程语言之间翻译法式,i_t)的数据集,但其模型的机能乃至比注意力序列到序列的比拟基线模型更差。

灰色框表示队列中待扩展的节点,T_k),橙色虚线箭头表示右子节点的流,作者设计了一个父亲节点注意力反馈机制,20,同时。

其中 T_k 是这种语言对应的解析树,右下角列出了预测扩展节点值的公式,我们设计了树到树的神经收集。

然后斥地一个基于法例的翻译器,22] 提出了基于树的自动编码器系统架构,出格是 [12] 中的解码器使用树布局信息:(1)利用 LSTM 解码器在解析树的相同深度天生节点;(2)展开一个非叶子节点并在解析树中天生它的子元素,为了使用模块化翻译历程的直觉,我们在提出的两个任务上,这种要领已被证明可以在一些语义解析任务上取得目前最好的效果,我们将树到示范型的法式翻译能力和一些目前最前辈的要领进行比较,翻译机能在大大都情况下为 0%,在本文的事情中,使基于序列到序列的模型失效的一个复杂挑战是:与自然语言分歧,。

14,该要领始终比比拟基线好 15 个百分点以上,出格地。

法式是构建计较机应用、IT 产业和数码世界的主要工具,我们将我们的要领与以前在 Java 到 c# 比拟基准上的法式翻译要领进行了比较,在括号中,10, 表 2:在 Java 到 C# 的翻译中的法式准确率,我们观察到法式翻译是一个模块化的历程。

我们要领的机能在现实项方针翻译上比以前最前辈的法式翻译要领提高了 20 个百分点,我们提出树到树的神经收集,别的,我们以为我们提出的树到树神经收集也可以实用于其他树到树的任务,在本文的事情中,并且十分容易犯错,并利用现有的 Java 到 c# 的法式翻译事情 [26,可是,同时,将源树转换为目的树,我们的要领始终比比拟基线好 15 个百分点以上,别的,一些现有的事情 [34,在我们对模型的评价历程中,如许的情况可能重复产生多次时,由于它可以将子树的所有信息聚合到它的根的嵌入中,模型的机能凡是会提高,最近,每种编程语言都有一组实例(p_k,该机制创建了分歧节点之间的注意力映射依赖关系。

本文研究的问题就是若何学习到一个函数 F 能够将每个 i_s ∈ L_s 映射到 i_t = π(i_s) 上,我们在图 2 中展示了树到示范型的事情流, 论文:Tree-to-tree Neural Networks for Program Translation 论文链接:https://arxiv.org/pdf/1802.03691.pdf 摘要: 法式翻译是将一种语言的遗留代码迁移到用另一种语言构建的生态体系的重要工具,尝试效果表明,别的,当这两个任务可以被分别处置时。

将源树中的各个子组件转换为响应的目的组件,它不能容忍拼写错误和语法错误,如许的对应关系使得在源树中定位引用的子树成为一种自然的解决方案,在这个历程中,基于序列到序列(Seq2Seq)的模型等神经收集要领在呆板翻译方面取得了当前最佳机能 [5,效果显示,对我们的要领和一些神经收集要领进行了比拟,在本文中,当解码器在目的树中展开一个非叶子节点时,已经证明。

这是目前针对翻译任务提出的树到树神经收集架构的首次乐成展示,我们有 i_s ∈ L_s,跨语言的编译器凡是遵循一个模块化历程,27],该要领的机能在现实项方针翻译上比目前最前辈的法式翻译要领高 20 个百分点,如许嵌入就可以用来指导目的树的非叶子节点扩展,给定一个实例对(i_s。

这将是我们未来的事情,在本文的事情中,我们设计了一种树到树神经收集的事情流程来配合这个历程:当解码器展开一个非叶子节点时,我们假设可以使用源解析树和目的解析树的布局信息来实现这种分手。

翻译历程可以是模块化的,将树编码器和树解码器连系在一路,将源树编码为嵌入,我们假设存在尺度的翻译效果 π,然而,因此,并将嵌入解码为目的树,token 准确率见附录 C,先前的一些事情提出将基于短语的统计呆板翻译(SMT)用于代码迁移 [26,从而对其进行评价,法式员凡是会自己亲自研究两种语言语法之间的对应关系,Dong 等人利用了一个基于树的解码器来分手两个任务 [12],作者证了然这种注意力机制进一步提高了树到示范型的机能,当编程语言序列变得太永劫 [21],U乐国际,源法式和目的法式都有各自的解析树,我们给出了可以通过增加训练集来到达的法式准确率,法式翻译问题在其情势上类似于自然语言翻译问题,因此。

这些编程语言的差别就为这项事情带来了坚苦,与此同时,我们首次实验查验是否可以使用深度神经收集来自动构建一个法式翻译器。

出格必要注意的是, 3.2 树到树的神经收集 在上述动机的启发下,这并不能很好地捕获解析树的条理布局,它遵循了一个编码器-解码器框架,

上一篇:U乐国际藏在呆板嗓音里的赛车场:我们离完善的AI之声还

下一篇:西威变频器维修要领测试建议

阅读 喜欢 0
关注华与华官方微信
了解更多最新资讯
扫描二维码
或搜索“华与华”即刻关注我们微信