【機械翻訳】機械翻訳とChatGPTの類似点

「ChatGPTにより仕事が奪われる！」「ChatGPTにより仕事の効率化が可能！」「ChatGPTは所詮AIでありたいしたことはない」

最近話題のChatGPTについて、みなさんはどう思いますか？

ChatGPTの出現によりAIを業務で活用することが今まで以上に現実味を帯びてきました。多くの企業がAIの業務活用の検討を始めたようです。私も3月以降から問い合わせをいただくようになりましたし、同業の開発者と話をしていても同じような印象を持っています。

そのような中、私たちは具体的にどのようにAIを仕事に取り入れていけばよいのでしょうか。そもそもAIを業務で使うとはどういうことなのでしょうか。何を考えていけばいいのでしょうか。

私は翻訳者また翻訳支援ツールの開発者として、機械翻訳というAIと長年付き合ってきました。この経験から、最近のChatGPTに対する評価が、機械翻訳への評価と似ていると感じています。毎日のように目にするChatGPTの評価にさまざまな意見がみられるのは、用途や前提条件が違ったり、AIへの盲目的に過大評価や過小評価をしたりすることが原因になっているように感じられます。

機械翻訳も同様で、プロ翻訳者の間でも評価が分かれています。本ブログでもその理由を説明し、どのように機械翻訳を評価しどのように活用していけばよいのか私が思う指針を紹介してきました。

私が機械翻訳の有用性や危険性について書いた記事には、今から5年前の2018年に書かれたものも含まれていますが、機械翻訳に対する私の評価は今も変わっていません。そして、ChatGPTに対しても同じような有用性と危険性を感じています。

ここでもう一度、それらの評価を振り返りつつ、私がChatGPTをどのようにとらえているのか紹介します。

以下、私がChatGPTと機械翻訳とで似ていると感じる点は、以下の5点です。

1．機械翻訳もChatGPTも万能ツールではないため、出力結果を評価・修正する力を必要とする

機械翻訳は誤訳をすることが知られています。ChatGPTも誤回答することが知られています。そのため、これらAIを活用して成果を出すためには、AIの出力を正しく評価できるだけの知識や経験がなければなりません。そうでなければ、機械翻訳やChatGPTの間違った回答をそのまま利用することになってしまいます。

そのため、用途によっては、これらAIを利用しないという判断も必要です。この判断をすることがユーザーに求められています。

2．機械翻訳もChatGPTも自然な言葉を出力するため、ユーザーが内容自体を正しいと勘違いしてしまいがちである

やはり「見た目は9割」なのでしょうか。惑わされてはいけません。最近の機械翻訳の誤訳を発見するのが難しい理由は、機械翻訳の出力文が流ちょうなため私たちが不自然さを感じにくくなっているからです。このような訳文の誤訳を発見するのは難しくなります。

同様に、ChatGPTが自信満々で返してきた答えの中に間違いが含まれていることがあります。この回答があまりにも自然な言葉で書かれているため、私たちはついつい正しいと信じてしまいがちです。だからこそ注意が必要です。

3．前提条件を揃えて評価しなければ、評価自体に意味がなくなる

ChatGPTが役立つか否かについては、分野により評価が異なります。ChatGPTにプログラムコードを書かせた場合、Word VBAについては間違いが多いと感じます。Word VBAに比べて、Pythonのコードはかなり使えそうな気がします。私はPythonにはそれほど詳しくはありませんが、この3年間は仕事で利用（納品）していますのである程度は評価できます。インターネット上のコメントを見ても、多くのプログラマーがChatGPTはPythonのプログラミングで役に立つと言っています。

この有用性の評価は、Pythonの初学者と経験者とでも異なるでしょう。また、日本語ネイティブの人と英語ネイティブの人とでは評価が若干違うかもしれません。なぜなら、ChatGPTに英語で質問をする場合と日本語で質問する場合のChatGPTの回答の違いも知られているからです。

よって、ChatGPTの用途や使用方法が異なる場合の評価の違いはあって当然なのです。でも、なぜか、活用の用途も、質問の言語も、このような前提を確認せずに他人の評価をうのみにしがちではないでしょうか。

この前提の違いによる評価の違いが、機械翻訳の評価において出ていると思います。機械翻訳を評価する際には評価の軸（用途などの前提条件）を明らかにする必要があります。前提条件を定義せずに機械翻訳の良し悪しを語ってもあまり建設的ではないと思っています。

（参考記事）

4．入力する原文（質問）の質に応じて、出力される訳文（回答）の質が変わる

「機械翻訳の品質は、入力する原文の質に依存する」という点でもChatGPTと似ています。機械翻訳の場合、誤訳をする原因を特定できる場合があります。たとえば、一般的に、主語や目的語が省略されている日本語を正しく英訳できません。しかし、主語や目的語を正しく補えば、正しく訳せる場合があることも知られています。つまり、翻訳エンジンが翻訳しやすい文を入力すれば、正しく訳される可能性が高まるということです。

私はGoogle翻訳やDeepLの誤訳の習性をある程度理解しています。また、ありがちな誤訳を回避するために適度に原文を修正すればよいことも知っています。そのため、私が開発する機械翻訳支援ツール「GreenT」では、Google翻訳やDeepLの癖に応じて、原文を修正することで出力が正しくなる可能性を高める工夫をしています。

以下のように、よく知られている誤訳（特許翻訳における「イチジク。」や「誤った文の分割」）はGreenTでは2018年から（開発開始時から）出現しません。そのため、GreenTを使えばGoogle翻訳やDeepL翻訳をそのまま使う場合よりも、誤訳が少なく使いやすい訳文が出力されるわけです。

原文

FIG. 9C is a block diagram of a second surface of the media device shown in FIGS. 9A and 9B according to one embodiment of the invention.

Google（2023年5月）

イチジク。【図９Ｃ】図９Ａ～図９Ｃに示されるメディアデバイスの第２の表面のブロック図である。本発明の一実施形態による図９Ａおよび９Ｂを参照する。

GreenT（Google）（2023年5月）

図9(c)は、本発明の一実施形態による、図9(a)及び図9(b)に示されるメディアデバイスの第2の表面のブロック図である。

ChatGPTにおいても、上手に質問をすると欲しい結果が得られることが知られています。具体的な質問であれば、具体的な回答を得られる可能性が高まります。この性質を利用して、抽象的な質問から幅広い回答を得た後で、特定の回答に対して具体的な質問で掘り下げるような、アイディア出しのように使う事例も見たことがあります。ネット上には、このようなお作法が紹介されています。

ChatGPTを高く評価する人と低く評価する人では、ChatGPTへの質問のやり方が異なる可能性があります。上手に指示をすれば、ChatGPTは有用な情報を出力する可能性が高まることが知られています。ChatGPTを活用するとは、目的に応じて適切な指示をすることだと考えています。

なお、質問・指示を上手にするためには、その分野に精通している必要があります。ChatGPTの出力結果を評価するのにも良質な回答を引き出すのにも知識が必要だということです。

5．AIのトレーニングに使われているデータの質と量により出力結果が異なる

私たちは、ついついAIに期待しすぎてしまう傾向があると思いますが、AIは万能ではありません。

機械翻訳のエンジンの場合、翻訳エンジンを作成する（トレーニングする）際に使われるデータ（コーパス）の質と量により、その翻訳エンジンが出力する訳文の質が変わることが知られています。もちろん、このデータ以外にもさまざまなチューニングをすることで出力の品質を向上させられます。

一般的に与えるデータに含まれていない言語の翻訳はできないし、データに含まれていない専門用語では翻訳できません。そのため、機械翻訳エンジンが十分にトレーニングされていない分野の翻訳では専門用語が正しく訳されていないことがあっても自然のことなのです。AIは万能ではないのですから。

これはChatGPTの出力の質とも関係しています。ChatGPTのトレーニングに使われたデータは2021年9月以前のものなので、それ以降の出来事について、ChatGPTは基本的に知りません。そのため、質問の内容によっては、回答には間違いが含まれる可能性が高いのです。また、ChatGPTに用いられているデータはインターネットに公開されているものだと考えてよいでしょう。

そうすると、インターネットにあまり出ていない情報（私の分野でいうと、Word VBAの書き方）については、学習量が少なすぎて正しく回答できない可能性が高いということです。逆に、世界中の人がネット上でオープンに議論していることについては、情報が十分にありそれらしい回答ができる可能性が高いということです。

プログラミングの支援でChatGPTを使う場合、Word VBAよりもPythonのほうが使いやすい理由はここにあるのです。みなさんがChatGPTに聞きたい情報はネット上にあるのでしょうか。

まとめ

このような特徴があるため、機械翻訳の場合と同様にChatGPTにおいても運用で気をつける必要があります。機械翻訳については、私はこれまでに機械翻訳が悪いわけではなく、運用に問題があることを指摘してきました。おそらく、ChatGPTもそれ自体に罪があるのではなく、運用方法によりChatGPTが私たちの味方にも敵にもなりうると感じています。

AIやツールの活用においては、ユーザーが「主」であり、AI/ツールが「従」である必要があると思っています。そのような関係性を意識的に作り、システムを開発し、運用費用を算出する必要があります。また、私たち日々の業務では、AIでなくても実現できる自動化も多々あります。従来技術を使えば、AIを使う場合よりも安く正確な処理を行えることもあるでしょう。

AIを導入する場合には、ユーザーが主になり、AIが扱いやすい課題だけに対してAIにわかりやすい指示を与え、AIの回答をユーザーが正しく判断し修正できるようにして活用するのがよいと思っています。こうすれば、AIは優秀なアシスタントになりうると考えます。私が開発をする機械翻訳の支援ツール「GreenT」もそのような発想で作られています。

ChatGPTのさまざまな活用例がネットで紹介されています。私も勉強している最中です。興味のある方は、他の人の活用事例をまねして使ってみるとよいと思います。