rnishino

IT翻訳者Blog

翻訳、英語、ローカリゼーション、インターナショナリゼーションなどについて書いています。

8 6月

流暢だが訳抜けが発生するニューラル機械翻訳

昨日、2017年度の日本翻訳連盟(JTF)の総会で、AAMT会長の中岩氏が基調講演をされた。そこで興味深い最新論文を紹介してもらった。
従来の統計的機械翻訳(そのうちPBMT)と、最新のニューラル機械翻訳(NMT)との比較をした論文で、どの種類のエラーが多く出るのかを調べたものだ。

 Fine-Grained Human Evaluation of Neural Versus Phrase-Based Machine Translation
 https://ufal.mff.cuni.cz/pbml/108/art-klubicka-toral-sanchez-cartagena.pdf
 Klubička, Filip, Toral, Antonio, M. Sanchez-Cartagenac, Victor著
 (The Prague Bulletin of Mathematical Linguistics. 2017, no. 108, p. 121–132)

英語からクロアチア語への翻訳について、MQMのエラー分類のうち「正確さ」(Accuracy)と「流暢さ」(Fluency)を使っている(ちなみにAccuracyは機械翻訳分野におけるAdequacyに相当)。
ただし、クロアチア語の特質に合わせて一致(Agreement)などの項目を独自に追加しているようだ。

結果は以下のようになっている。上記論文の表4を引用する。



一番左の列はエラー・タイプを示していて、「Accuracy」と「Fluency」という大きなレベルがあり、その下にいくつ項目がある。
またその右に機械翻訳システムが並んでいる。「PBMT」、「Factored」(Factored PBMTというPBMTの一種)、一番右が「NMT」である。
緑色のセルは、そのすぐ左のセルよりも良くなった(エラーが少ない)ことを示している。赤色のセルは、その逆である(※)。

一見して分かるように、流暢さ(Fluency)は全体的にNMTで向上している。
一方、NMTには赤いセルが1つある。正確さにおける「Omission」である。これは「訳抜け」のことだ。
これまで「NMTの訳文は読みやすくなったが、訳抜けが発生する」という指摘はなされてきた。Googleでも自社のNMTで発生することを認めている。
これが印象ではなく、きちんとした実証的研究として示されたことの意義はあると思う。私は当分野の専門家ではないので不勉強の可能性があるが、このような分かりやすい図表は初めて見た。
同研究は英語=クロアチア語間なので、日本語訳の評価もぜひしてもらいたいところだ。


※ アスタリスク(*)は統計的な有意差を示している(*はp<0.05、**はp<0.0001とのこと)。
3 6月

ISO 17100における「ポストエディットではないもの」の基準

前の投稿との関連です)

ISO 17100で力量を満たす翻訳者と認定されるためには、「翻訳」の経験が必要となる。
機械翻訳(MT)の出力を編集する「ポストエディット」がその経験にカウントされるかどうかで、議論が発生している。簡単に経緯をまとめると、以下の通りとなる。

・第三者機関として登録先となる日本規格協会(JSA)は、5/31の翻訳者登録制度説明会における質疑応答で、MT出力を使うことは経験にカウントしてよい旨の回答をした。
(ただし回答に「ポストエディット」という言葉そのものはなかったように記憶している)

・これに対し、ISO 17100はポストエディットを範囲外としているため、矛盾しているという内容の指摘がなされた。確かに、以下のような記載がある。
The use of raw output from machine translation plus post-editing is outside the scope of ISO 17100:2015.
引用元:https://www.iso.org/standard/59149.html


・ところが、ISO 17100で「post-edit」の用語解説の注記を見ると、「翻訳支援ツール(CAT)上に提示されるMT出力を翻訳者が見て使うことはpost-editに該当しない」としている。以下の部分だ(下線は西野)。

2.2.4
post-edit
edit and correct machine translation output (2.2.3)

Note 1 to entry: This definition means that the post-editor will edit output automatically generated by a machine translation engine. It does not refer to a situation where a translator sees and uses a suggestion from a machine translation engine within a CAT (computer-aided translation) tool.

引用元:https://www.iso.org/obp/ui/#iso:std:iso:17100:ed-1:v1:en


JSAの回答がこの注記のことを指していると理解すると、矛盾は無いように思える。



では、これがポストエディットにならないとする理由は何なのだろうか?
私は前の投稿で、MT出力の「訳文のみ」を見て編集するか「対訳」を見て編集するかが分別基準であると考えた。
CATツールは翻訳時に使うものであり、対訳で作業することが普通だ。また、原文と訳文の両方を見比べて判断を下すこと(例:「このMT出力は原文の意味を反映していて無編集で使える」という判断)は、「翻訳」作業の一種と捉えてよいと考えたからだ。
このように、ポストエディット時に扱うのが「訳文のみ」か「対訳」かを分別基準として考えれば、すっきりと説明できると思った。



しかし、「訳文のみ」か「対訳」かという基準を持ち込まなくても、文言通りに解釈してよいのでは、という指摘を同業者から受けた。CATツール上に提示されるMT出力を使うならポストエディットではない、ということだ。
もしMT出力がまず作業前提として存在し、それを編集するならば、ポストエディットである。
一方、翻訳作業中にCATツール上にMT出力が訳文の一候補として提示されるのならば、ポストエディットではない。翻訳者は自分の頭で訳してもよいし、翻訳メモリーから既存訳を取得してもよいし、当該MT出力を利用してもよい。
要するに、MT出力が作業の「前提」なのか、単に「一候補」なのか、が分別基準となる。

確かにこの基準を用いれば私の分別基準は不要だ。
しかし問題は、その見分けが難しいという点だろう。
例えば翻訳者がCATツールで、セグメントを開くたびに毎回MT出力を自動入力させるような作業手順を採用していたとする。このケースではポストエディットと何ら違いはないように思える。



このように、ISO 17100における「ポストエディットではないもの」を判断する基準は、あるにしても適用に困難が伴うように思える。
規格といっても結局人間が作るものであるし、発案時と現在とでは状況が違う(例:MTの進歩や普及)だろうから、将来的な改訂を待つしかないのかもしれない。

ただし少なくとも、翻訳者がCATツールを使って経験を積んだ際、そこにMT出力が少し入っていたという理由でアウト(ISOの翻訳者として不適合)という判定が下されることはない、とは言えそうだ。
2 6月

「ポストエディット」という言葉が招く混乱

前投稿と関連する内容です)

ISO 17100の翻訳実績として「ポストエディット」が認められる旨の回答を登録先機関(日本規格協会:JSA)がした。
それに対し、そもそもISO 17100は「ポストエディット」(機械翻訳+後編集:MT+PE)を範囲外としているので、おかしいのではという指摘が出ている。該当する部分を引用する:
The use of raw output from machine translation plus post-editing is outside the scope of ISO 17100:2015.

https://www.iso.org/standard/59149.html


ところがISO 17100の「2.2.4 post-edit」の定義の注を見るとこうある(下線は西野が追加):

2.2.4
post-edit
edit and correct machine translation output (2.2.3)

Note 1 to entry: This definition means that the post-editor will edit output automatically generated by a machine translation engine. It does not refer to a situation where a translator sees and uses a suggestion from a machine translation engine within a CAT (computer-aided translation) tool.

https://www.iso.org/obp/ui/#iso:std:iso:17100:ed-1:v1:en

つまり、翻訳支援ツール(CAT)に提示される機械翻訳の出力を翻訳者が見て使うことは「post-edit」に該当しないということである。



ここで混乱が生じている。
一般的に、ポストエディットという場合、2種類が考えられる。

 A. 機械翻訳が出力した訳文のみを見て、訳文を編集する
 B. 機械翻訳が出力した訳文と原文とを見比べて、訳文を編集する

ISO 17100では、Aを「post-edit」とし、Bは違うとしている。

確かにAは訳文しか見ないのだから、「翻訳」には該当しないだろう。
Bの場合は「翻訳」だとしても違和感はない。
翻訳メモリー(TM)を使った翻訳は現在では「翻訳」に入るはずだ。外部(自分以外)から提示された訳語や訳文を利用して翻訳作業をする点で、Bと本質的な違いはないと思う。さらに言うと、辞書という外部資料を使って訳語に当たるのも違いはないように思える(語レベルで訳候補を提示するか、文レベルで訳候補を提示するかの違い)。

混乱の原因は、Bに専用の呼称が存在しないからではないだろうか?
前述の通り、AもBも一般的には「ポストエディット」と呼ばれる。
Bは例えば「機械翻訳の対訳編集」と呼ぶなど、何かしら専用の名前が欲しいところだ。


私はJSAの説明会の質疑応答の場にいたが、回答者がBの方を指していると理解した。しかし、Aと理解する人がいてもおかしくないだろう。
混乱を招かないような対策が必要だと思う。

続きを読む »

筆者について
西野 竜太郎
(Ryutaro Nishino)

翻訳者。合同会社グローバリゼーションデザイン研究所・代表社員。日本翻訳連盟・理事。
プロフィールや連絡先などについては会社のウェブサイトをご覧ください。
Twitterアカウント
著書
アプリケーションをつくる英語
紙版
『アプリケーションをつくる英語』

電子版
『アプリケーションをつくる英語』
【第4回ブクログ大賞受賞】