機械翻訳のパフォーマンスを評価するBLEUスコアをご覧ください

2024-07-17

人工ニューラルネットワークベースの機械翻訳（NMT、ニューラル機械翻訳）の後、機械翻訳はますます正確になっています。もちろん、それでもプロの翻訳者の流暢さには及ばないですが、以前のような奇妙な翻訳を見ると、「翻訳者を書いたの？」と言ってからかうのは難しいです。さらに、機械翻訳技術の向上に向けた取り組みはまだ行われており、優れた研究成果も加わっています。

しかし、機械翻訳が日常生活の一部になった今でも、その信頼性については疑問が残ります。もちろん、機械翻訳の効率性は認められることしかできませんが、だからといって、学位を取得したり試験に合格したりするのに人間のように時間、お金、労力がかかったわけではありません。もしそうなら、人間と同じようにテストを通して機械翻訳のパフォーマンスを評価するとどうなるかを検討しました。

‍

機械翻訳のパフォーマンスの評価

実際、「優れた翻訳者になるためには、正確な品質評価が重要です。」*と書いてあります。これは、機械翻訳システムが「開発プロセス中に発生した変更を適用した際のパフォーマンスを比較・分析し、開発プロセスに反映する」ためです。*

この種の機械翻訳のパフォーマンス評価には、プログラムによる客観的な評価と、人間の評価者が行う主観的な評価方法が含まれます。「客観的評価とは、評価者の主観的な判断や言語的特徴を排除して、プログラムを通じて流暢さと妥当性を自動的に測定してパフォーマンスを評価する方法であり、主観的評価とは、評価者の評価を通じて翻訳の質を評価する方法です」**。

この記事では、「時間がかかり、費用がかかり、再利用できない」人間の（主観的）評価ではなく、「評価者の主観的な判断や言語的特徴を排除する」ことができる自動（客観的）評価について見ていきます。

‍

ブルースコア？

機械による自動評価にはさまざまな方法があります。今日は、最もよく使われる方法を紹介します。 BLEU (バイリンガル評価アンダースタディ)これです。

「BLEUは、機械翻訳の結果が人間が翻訳した結果とどの程度似ているかを比較して翻訳パフォーマンスを測定する方法です。」***「言語に関係なく使用でき、計算速度が速い」***には利点があります。つまり、機械翻訳された文章が、人間が翻訳した正解に近いほど、評価点が高くなります。

‍

BLEU スコアの測定

「BLEUは、機械による翻訳が人間の翻訳とどの程度重複しているかをNグラム（n-gram）****で比較することにより、1から100までのスコアを計算します。「このスコアが高いほど、機械翻訳は人間による翻訳と似ていると解釈されるため、機械翻訳の品質レベルは高くなります。」*****

‍

つまり、BLEUはプロの翻訳者の翻訳に近いほど、機械翻訳のパフォーマンスは上がるという考えに基づく評価方法です。しかし、単純に正解にマッチする単語が多ければ、翻訳品質も高いのかについては議論の余地があります。そのため、人間の評価者に評価してもらうという補足的な方法をとる場合もあります。

‍

BLEUの実際の測定例

過去 2019 小枝農場また、プロによる翻訳のパフォーマンスと品質を客観的に評価するために、韓国情報通信技術協会（TTA）ソフトウェアテスト認証機関から検証および検証テスト（検証および検証）を受けています。

当時、私たちは5つの分野（法律、金融、機械、化学、医療）でGoogle翻訳者との翻訳品質を比較し、4つの分野（法律、金融、機械、医療）でGoogle翻訳者よりも高いスコアを獲得しました。特に、法務分野のテストで BLEU という優れたスコアを記録したことで、当社の技術スキルが認められました。

‍

仕上げ中

現在、機械翻訳は、特許や法律などの専門分野だけでなく、公共サービスから古典研究まで、さまざまな分野で使用されています。人間による翻訳ほど優れているとは言い難いですが、機械翻訳はすでに私たちの日常生活に入り込んでおり、これまで知らなかった言葉はまるで辞書で見つけたかのように親しみやすくなっています。機械翻訳技術の急速な発展を見ると、将来、表現言語の壁が気まずくなる日もそう遠くないようです。

‍

神話上の人間によって建てられたバベルの塔は、やがて崩壊し、言語の違いによりこの世界で誤解や論争を引き起こしたと言われています。しかし、これまで機械翻訳技術によって築き上げられてきた新しいバベルの塔が、人類を言葉の壁のないより良い未来へと導いてくれることを願っています。

‍