機械翻訳の「自動評価」には、BLEUなどのスコアがよく用いられます。
これは人間が(お手本として)訳した参照訳と、機械翻訳の訳とがどれほど近いかを計算して評価する方法です。

「I have a pen.」という英語原文に対し、人間がお手本として「私はペンを持つ。」と翻訳したとします。
同じ原文に対し、機械翻訳システムAとBが以下のように出力したとします。
・システムA: 私はペンを所有する。
・システムB: 俺はペンを持つ。

どちらもどちらという気もしますが、たとえばBLEUで計算すると、Aのスコアは「0.4347」、Bのスコアは「0.7598」となり、Bの方がより参照訳に近いという結果になります。



これまでも自動評価を実行できるソフトウェアは存在していたのですが、コマンド入力が基本だったので、慣れたITエンジニアでないとハードルが高いという欠点がありました。
昨今は機械翻訳が話題にされることも多く、翻訳業界の人であればエンジニアでなくても自動評価がどのようなものか把握しておく必要はあるでしょう。

そこで、コマンドを使わなくてもGUIで簡単に自動評価をできるソフトウェアを作ってみました。
Windows版とMac版があります。
Windows版はWindows 10で、Mac版はOS 10.12で動作確認しています。それ以外のOSで動くかは不明です。
自動評価でよく使われる「BLEU」と、Google独自のBLEUスコアである「GLEU」が計算できます。



使い方を説明します。

【1】まず以下のURLからソフトウェアをダウンロードしてください。画面右上にある下矢印ボタンでダウンロードできます(サイズはそこそこ大きい)。
また本ソフトウェアは無償でご利用いただけます。

・Windows版
https://goo.gl/ytqjcd
・Mac版
https://goo.gl/pMgt5b

【2-A】Windows版の場合、zipを解凍すると以下のフォルダーが出現します。

1_files

ここで「SimpleMTScore.exe」をダブルクリックすると起動します。

【2-B】Mac版の場合、zipを解凍してSimpleMTScore.appをダブルクリックすると起動します。

【3】起動後、まず「参照訳を入力:」の下に、お手本となる訳を入力します。複数のセンテンスがある場合、改行で区切ります。同様に「評価訳を入力:」の下に機械翻訳の出力を入れます。
参照訳と評価訳のセンテンスは数を同じにし、各センテンスが対応するようにしておいてください。

2_gui

【4】続いて「実行」を押すと、BLEUスコアとGLEUスコアが表示されます。


その他の関連情報はソフトウェア内の「ヘルプ」メニューからご覧ください。
また、バグなどがあったら biz@nishinos.com までお知らせいただけると幸いです。

以上です。