• 姜建军做客人民网2018全国两会访谈节目 2018-03-28
  • “草根救援能手”王栓劳 2018-03-28
  • Mydrivers驱动精灵万能网卡版1350E版 驱动精灵 驱动之家 驱动之家 2018-03-28
  • 成都4S店买大切诺基 新车半年上不了牌 2018-03-28
  • 教育怎样让人民更满意?发展公平而有质量的教育 2018-03-28
  • 日照市实验小学:小手拉大手 共建绿色家园 2018-03-28
  • 美国一女子因异食症而爱吃石头 一天不吃就不舒服 2018-03-28
  • “互联网+” 驱动浙江越来越好 2018-03-28
  • 保监会开9张罚单严打车险乱象 2018-03-28
  • U-21男足选拔队集训名单出炉 恒大富力3人入选 2018-03-28
  • 习近平总书记来川视察重要讲话精神 2018-03-28
  • 春意盎然 放飞梦想 南师附小红谷滩校区二部开学典礼 2018-03-28
  • 法媒:中国机构改革重塑治理格局 对促进中国新时代发展效果可期 2018-03-28
  • 煤炭行业专家企业齐聚山西共论“煤事” 2018-03-28
  • 广汽本田汽车有限公司 召回37万余辆国产汽车 2018-03-28
  • 申请报道

    扫一扫,联系编辑获得审核机会

    符合以下要求,获得报道机会

    • 1. 新公司求报道
    • 2. 好项目求报道
    • 3. 服务商求报道
    • 4. 投资融资爆料

    当前位置:北京时时彩投注网站 >  科技 >  互联网 >  正文

    机器翻译简史:八十多年来 人类就是要再造一座通天塔

     2018-03-17 10:02  来源:量子位  我来投稿

    北京时时彩投注网站 www.dfc987.club   2018年最火项目 电销机器人等你加盟

     

      长久以来,人们一直在寻找不同语言之间的沟通方法。

      《圣经》中记载,人类曾经联合起来兴建能通往天堂的高塔,为了阻止人类的计划,上帝让人类说不同的语言,使人类相互之间不能沟通,计划因此失败,人类自此各散东西。

      学习和掌握一门外语,也是中国学生必须具备的能力。

      但精通外语始终不是一个简单的是。所以无论是现实中,还是科幻电影中,人们一直希望能有一个机器,能够让人不学外语也能畅快沟通。

      随着技术进步,这个梦想正在一步步接近成真。

      来自俄罗斯的Ilya Pestov,最近写就了一篇《机器翻译简史》,较为完整的回顾了人类几十年来在机器翻译方面的探索和努力。量子位对内容略有增减。

      这是一段人类如何再造通天塔的历史。

      最初

      故事开始于1933年。

      当时,前苏联科学家Peter Troyanskii向苏联科学院介绍了一种能将一种语言翻译成另一种语言的机器。

      这个发明超级简单由各种语言的卡片、打字机和老式胶片相机组成,用起来是这样的:操作员对着一段文本中的第一个词,找到相应的卡片,拍张照,然后用打字机打出它的形态特征,比如说这是个复数属格名词。然后,将打字机带子和相机胶片组合在一起,每个词和它的属性构成一帧。

      不过,前苏联政府认为这台机器没什么用。Troyanskii又花了20年的时间来完成这件发明,后来死于心绞痛。

      如果不是1956年又有两名苏联科学家发现了他的专利,世界上不会有人知道,曾经有人构想过这样一台机器。

      那是冷战初期,1954年1月7日,Georgetown–IBM experiment在纽约的IBM总部开始了,IBM 701计算机完成了史上首例机器翻译,自动将60个俄语句子翻译成了英语。

      IBM随后在新闻稿中如此描述他们的成就:

      一个根本不会俄语的姑娘在IBM卡片上打出这些俄语信息,我们的“大脑”指挥着一台自动打印机,以每秒两行半的速度飞快印出它们的英语译文。

      △IBM 701

      然而,得意洋洋的新闻稿隐藏了一些细节,谁也没有提到,这些翻译的例句经过了精心的挑选和测试,排除了一切歧义。如果用到日常场景中,这个系统不会比一本单词书强多少。

      就算这样,机器翻译的军备竞赛还是开始了,加拿大、德国、法国、日本都投入其中。

      军备竞赛

      四十年来,改进机器翻译的努力一直持续着。

      1966年,美国科学院的自动语言处理咨询委员会(ALPAC)发布了一份著名的报告,称机器翻译昂贵、不准确、没前途。他们建议专注于词典开发,结果是美国科学家几乎有10年没有参与竞争。

      即便如此,科学家们的努力还是为现代自然语言处理技术打下了基础,现在的搜索引擎、垃圾邮件过滤、智能助理都得归功于当年这些互相监视的国家。

      基于规则的机器翻译(RBMT)

      第一波基于规则的机器翻译想法出现在70年代,科学家们研究着翻译员的工作,想让笨重庞大的计算机来重现这些行为。

      RBMT的系统包括:

      双语词典(例如俄英双语词典)

      煤种语言的语言学规则(例如俄语中以-heit、-keit、-ung后缀结尾的名词是阴性的)

      如果有需要,还可以再给系统补充一些小功能,比如里名称列表、拼写纠错、音译程序等。

      RBMT系统中比较著名的包括PROMPT和Systran,去看看Aliexpress上那些英文商品名,就能感受到这个黄金时代的气息。

      不过这一类系统也并非完全一样,还可以再细分为各种子类别。

      直接机器翻译

      这类翻译最为简单,它将为本分成单词,翻译出来,稍微修正一下形态,然后协调句法,让整句话听起来多少像那么回事,就可以了。

      直接机器翻译需要训练有素的语言学家为每个词编写规则,输出的语句可以说是一种译文,但通常很诡异。

      这种方法,现在已经淘汰了。

      基于转换的机器翻译

      与直接机器翻译相比,这种方法需要先确定句子的语法结构,然后对整个结构进行处理,而不是按词来处理。

      这样能得到很不错的语序转换。理论上。

      而实际上,译文还是逐字翻出来的,语言学家还是精疲力尽。

      中介语机器翻译

      这种方法会将源文本转换为一种中间表示,这种表示法是全世界各种语言通用的,相当于笛卡尔梦想“元语言”,遵循通用规则、能和各种语言互相转换。

      由于需要转换,中介语经?;岷突谧坏姆椒ɑ煜?。它们之间的区别在于,设置的语言学规则是针对每种语言和中介语的,而不是针对两种语言之间的对应。

      用这种方法,建立三种语言和中介语之间的转换规则,就可以完成这三种语言之间的互相翻译,而如果用基于转换的方法,就需要为这三种语言两两建立规则。

      看起来很美对吧?总有现实来打脸。创造这种通用的中介语是非常难的,科学家们前赴后继贡献一生,也没能成功。不过他们为后世留下了形态、句法甚至语义层面的表示方法。

      用中介语实现直接机器翻译显然也行不通,但别着急,这种思想还会回归。

      用现代的眼光来看,所有RBMT分支都笨得可怕,所以,除了天气预报等特定场景,已经见不到这类方法。l

      RBMT有它的优点,比如形态的准确性、结果的可复现性、针对特定领域进行调整的能力等等。

      但是,要创造一个理想的RBMT系统,就算让语言学家尽力穷尽一切拼写规则来增强它,也总会遇到例外。英语有不规则动词、德语有可分离前缀、俄语有不规则的后缀,在人们说话的时候又会有各自的特点,别忘了有些词根据上下文还会产生不同的意思。要考虑所有细微规则,要耗费巨大的人力资源。

      语言不是基于一套固定规则发展的,规则的形成受到不同群体交流、融合的影响。怎么向一台机器来解释这些历史?

      于是,四十年的冷战和军备竞赛也没能带来任何优秀的解决方案,RBMT死了。

      基于例子的机器翻译(EBMT)

      日本也是个机器翻译大国,原因很简单:它们虽然没参与到冷战之中,但国内懂英语的人太少了,这在全球化浪潮中是一个严重问题。因此,日本人在机器翻译研究上,有着强大的动力。

      基于规则的英日翻译非常复杂,这两种语言有着完全不同的结构,每翻译一句话都要重新排列所有单词,再增加一些新词。

      1984年,京都大学的长尾真提出了一种新想法:直接用已经准备好的短语,不用重复翻译。

      比如说,我们之前翻译过“我要去剧院”这句话,现在要翻译一句类似的话:“我要去电影院”。那么,只要比较一下这两句话,找出其中的区别,然后翻译不一样的那个词“电影院”就好了。已有的例子越多,翻译结果就越好。

      EMBT给全世界的科学家带来了一道曙光:给机器提供已有的翻译例句,别花几十年来定义规则和例外了。

      这种方法出现时并没有立刻风靡,但它走出了革命的第一步,之后不到5年,就出现了统计机器翻译。

      统计机器翻译

      90年代早期,IBM研究中心首次展示了对规则和语言学一无所知的机器翻译系统。这个系统分析了两种语言中类似的文本,尝试理解其中的模式。

      这个想法简洁优雅。将两种语言中同义的句子切分成词进行匹配,然后去计算“Das Haus”这个词有多少次对应着“house”、“building”、“construction”等等。大部分时候,它是和house相对应的,于是机器就用了这种译法。

      在这个过程中,没有规则,没有词典,所有的结论都是机器根据统计数据得出的。它背后的逻辑很简单,就是“如果人们都这么翻译,我也这么翻”。

      统计机器翻译就此诞生。

      它比之前所有方法都更加准确高效,也不需要语言学家。我们给机器更多的文本,它就给我们更好的翻译。

      机器怎么知道句子中“Das Haus”对应的是“house”呢?一开始是不知道的。最初,机器会认为“Das Haus”和译文中任何一个词都相关,接下来,它遇到更多包含“Das Haus”的句子,逐渐增强这个词和“house”的相关性。

      这就是现在大学里机器学习课程的一个典型任务:“字对齐算法”。

      要收集每个单词的相关统计数据,机器都需要上百万对例句。这些例子从哪来呢?答案是欧盟和联合国安理会的会议纪要。这些纪要都会有各成员国语言的版本,现在依然可以下载。

      UN Corpora:[https://catalog.ldc.upenn.edu/LDC2013T06](https://catalog.ldc.upenn.edu/LDC2013T06*)

      Europarl Corpora:[http://www.statmt.org/europarl/](http://www.statmt.org/europarl/*)

      基于词的SMT

      最初的统计翻译系统会先将句子分解成单词,这样最直接,又合乎逻辑。

      IBM的第一个统计机器翻译模型叫做模型1(Model 1)。优雅吧?等你看到第二个模型叫什么就不觉得了。

      模型1:词袋

      

     

      模型1用了一种经典方法,将句子切分成词然后进行统计,不考虑语序。这个模型中唯一用到技巧的地方,就是将一个词翻译成多个词,比如将“Der Staubsauger”翻译成“Vacuum Cleaner”,但反过来不一定是这个结果。

      如果对这个统计机器翻译的老祖宗感兴趣,可以看看这份Python代码:

      [https://github.com/shawa/IBM-Model-1](https://github.com/shawa/IBM-Model-1*)

      模型2:考虑句中词序

      

     

      不考虑语序是模型1的大缺陷,在某些情况下还很关键。

      于是,就有了解决这个问题的模型2。它记住了单词在输出句子中经常所处的位置,并在翻译过程中重新排列顺序,让整句话看起来更自然。

      译文好多了,但还是不太对。

      模型3:引入新词

      在翻译中,经常要引入原句中没有的新词,比如说德语里的冠词,英语里表示否定时要加的“do”。

      我们的例句“Ich will keine Persimonen.”,在英语中应该翻译成“Idonot want Persimmons.”

      于是,模型3中又增加了两个步骤:

      1.如果机器考虑引入新词,就要在原文中插入NULL标记。

      2.为每个标记词选择正确的新词或语法单位。

      模型4:字对齐

      模型2考虑了词的对应,但没有考虑重新排序。比如说形容词和名词的位置经常变换,无论模型记忆词的位置记得多好,都没法输出更好的结果。

      因此,模型4引入了“相对顺序”,如果两个词总是互换位置,模型会学到。

      模型5:错误修正

      这个模型中没什么新东西,它获得了更多的学习参数,解决了单词位置冲突的问题。

      这些基于词的系统虽然具有革命性,但依然无法处理词的格、性,也搞不定同音词。在这类系统中,每个词会有唯一的翻译方式。

      后来,基于短语的方法取代了它们。

      基于短语的SMT

      这种方法和基于词的SMT有着同样的原则:统计、重新排序、在词汇上用一些技巧。

      不过,它不仅要将文本分成词,还要分成短语,确切地说是n个单词的连续序列,称为n-grams。

      机器就这样学会了翻译单词的稳定组合,明显提高了准确性。

      

     

      这种方法有一个诀窍,所谓“短语”并不一定符合句法结构,如果有语言学知识的人干涉了句子结构,翻译的质量会大大下降。

      除了准确性的提高,基于短语的SMT还为双语语料带来了更多的选择。对于基于词的方法来说,来源语料的精确匹配非常重要,要排除一切意译和自由发挥。而基于短语的方法可以用这样的语料来学习。

      为了改进翻译算法,科学家们甚至开始不同语言的新闻网站。

      

     

      2006年,这种方法开始普及了。Google翻译、Yandex、微软必应等等在线翻译工具都用上了基于短语的SMT,一直用到了2016年。

      在这个时期,你所听到的“统计机器翻译”通常指的就是基于短语的SMT,直到2016奶奶,它都被视为最先进的机器翻译方法。

      基于句法的SMT

      这个方法也应该简单提及。在神经网络出现之前的许多年里,基于句法的翻译被认为是“翻译的未来”,但这个想法并没有起作用。

      基于句法翻译的支持者认为,这个方法有可能与基于规则的方法合并。这个方法是对句子进行精确的句法分析,确定主谓宾等,然后构建一个句法树。使用这种方法,机器学习在语言之间转换句法单元,并通过单词或短语翻译其余部分。

      这将彻底解决字对齐问题。

      问题是,句法分析的效果非常不好,尽管我们认为这件事早就被解决了似的。好几次我都尝试用句法树来解决比分析主谓宾更复杂的任务,但每次都铩羽而归。

      神经机器翻译(NMT)

      2014年,一篇关于在机器翻译中使用神经网络的论文对外发布。作者包括蒙特利尔大学的Kyunghyun Cho、Yoshua Bengio等人。

      但这篇很有意思的论文并未引发广泛关注,除了Google——他们立刻开始动手。两年后的2016年9月,Google宣布了一个颠覆性的进展。

      这就是神经机器翻译。

      与之相关的论文,共有31位作者。Google也宣布把这个新的技术应用到Google翻译等产品之中。神经机器翻译是怎么工作的呢?

      我们先从画画说起。对于一只小狗,如果能用语言准确的描述小狗的特征,即便你从来没有见过这只狗,也能根据描述画出一个类似的小狗。

      翻译同理。如果可以找到一句话里的特征,也可以将一种语言的文字,翻译成另外一种语言。问题在于,怎么找到这些特征?

      三十年前,科学家们已经在尝试创建通用语言代码,最后以失败告终。

      但现在,我们有了深度学习,找特征的事情它最擅长。卷积神经网络CNN适合处理图片,而在文本领域,循环神经网络RNN更适合。

      两年来,神经网络超过了翻译界过去几十年的一切。神经翻译的单词错误减少了50%,词汇错误减少17%,语法错误减少19%。

      以前统计机器翻译的方法,始终以英语为本。如果从俄文翻译成德文,机器需要首先把俄文翻译成英文,然后再从英文翻译成德文,中间会产生两次损失。

      而神经翻译不需要这样。于是,两种语言之间即便没有词典,也能互相翻译理解这件事,第一次成为可能。

      Google发布的九种语言的神经机器翻译被称为GNMT。它由8个编码器和8个RNN解码器层构成,解码器网络中还有注意力连接。

      这套系统还引入了众包机制。用户可以选择他们认为最正确的翻译版本,在某种程度上,这相当于帮助Google的数据打标签,以及帮助训练神经网络。

      结论和未来

      每个人都对“巴别鱼”这个概念感到兴奋。

      巴别鱼(babel fish)是科幻喜剧《银河系搭便车指南》中虚构的一种生物。巴别鱼以声音中的语言概念为食,消化后排出跟寄主同调的脑波。只要塞到耳朵里去,就可以听懂各种语言。所以,巴别鱼也成为即时语音翻译的代名词。

      目前各家在这方面也有所进展。例如Google推出了Pixel Buds,而在国内网易有道、科大讯飞、搜狗等公司也都先后推出了翻译机类产品。

      最近有个朋友就试用了一台最新的产品。翻译出来是这样的:

      当然还有很多的进步空间。例如目前训练神经网络,都是通过一组一组的平行语料。神经网络还不能像人类一样通过自主阅读来提高翻译技能。

      不过已经有人开始这方面的尝试了。比如这篇论文Word Translation Without Parallel Data,几位作者来自Facebook AI Research等机构。

      期待更多的进展出现。

      实用资料

      《Statistical Machine Translation》(统计机器翻译)。这本书的作者是Philipp Koehn,其中集结了非常全面的方法。

      https://book.douban.com/subject/3618926/

      Moses,一个用于创建统计翻译的流行库。

      http://www.statmt.org/moses/

      OpenNMT,另外一个库,用于神经翻译机器。

      http://opennmt.net/

      还有一篇解释RNN和LSTM的博客。

      http://colah.github.io/posts/2015-08-Understanding-LSTMs/

      一段视频,解释了如何构建一个语言翻译器。

      https://www.youtube.com/watch?v=nRBnh4qbPHI

      自行创建神经翻译器的文本指南,来自TensorFlow。

      https://www.tensorflow.org/tutorials/seq2seq

      —完—

    扫一扫关注A5创业网公众号

    扫一扫关注A5创业网公众号

    责任编辑:安然

    相关文章

    小程序

    热门排行

    信息推荐

    扫一扫关注最新创业资讯
    北京时时彩投注网站