言わずと知れた自動翻訳アプリ「DeepL」。かたや、最近何かと話題の対話型AI 「ChatGPT(有料のChatGPT-4を使用)」。
両者ともに人工知能(AI)を使用したサービスですが、「どっちがより優れている?」という問いに対しては、いまだ決定的な答えはないようです。
今回は英語から日本語への翻訳への和訳を様々な角度から改めて比較し、他の検証者からの知見とともに、「和訳におけるDeepLとChatGPT比較まとめ」をお送りします。
3種類の英語テキストを和訳させてみる
今回「ビジネスレター(商業的文書)」、「ユーザーズガイド(技術的文書)」、「小説(文学的文書)」という3種類の英語テキストを用意してみました。
ビジネスレター
原文 |
There have recently been several cases of pressure bubble failure, and we have dealt with them with the previously purchased valves. The attached are the photos of the failed valves. What do you think is the cause of these failures? |
翻訳者 |
最近圧力バブルの故障が数件あり、弊社が前回購入したバルブで対応してきました。 添付は故障したバルブの写真です。こうした故障の原因は何だと思われますか? |
DeepL |
最近、圧力バブルの故障が数件発生しており、以前購入したバルブで対応しました。 故障したバルブの写真を添付します。これらの故障の原因は何だと思われますか? |
ChatGPT-J |
最近、圧力バブルの故障が数件発生しており、私たちはそれらに対して以前購入したバルブを使用して対応しました。 添付されているのは故障したバルブの写真です。これらの故障の原因は、どう思われますか? |
ChatGPT-E |
最近、圧力バブルの故障が数件発生しており、私たちはそれらに対して以前購入したバルブを使用して対応しました。 添付されているのは、故障したバルブの写真です。これらの故障の原因は、どう思われますか? |
DeepLの訳は自然でそつがない印象ですが、主語を省きすぎて「誰が対応したのか」がわかりづらくなっています。
一方、ChatGPTは、「私たちは」ときちんと主語を入れているものの、「私たちはそれらに対して」や「添付されているのは」など、ぎこちなく不自然な感じもします。
ChatGPTへの日本語と英語のプロンプトによる違いは、ここではまったく見当たりません。
ユーザーズガイド
原文 |
Our warrants cover the included hardware product and accessories against defects in materials and workmanship for one year from the date of original retail purchase. We do not warrant against normal wear and tear, nor damage caused by accident or abuse. To obtain service, call Support Service or contact the store where you purchased this product. |
翻訳者 |
弊社は同梱のハードウェア製品および付属品における素材と製造上の欠陥に対し、最初の小売店からの購入日より1年間保証いたします。 通常の磨耗や損傷、事故あるいは誤った使用による損傷は保証適用外です。 保証を受けるには、サポートサービスにお電話いただくか、本製品を購入された販売店にお問い合わせください。 |
DeepL |
弊社は、同梱のハードウェア製品および付属品について、素材および製造上の欠陥に対して、最初の小売購入日から1年間保証します。 通常の磨耗や損傷、事故や乱用による損傷については保証いたしません。 サービスを受けるには、サポートサービスにお電話いただくか、本製品を購入された販売店にお問い合わせください。 |
ChatGPT-J |
私たちの保証は、元の小売購入日から1年間、同梱されたハードウェア製品およびアクセサリーの材料と作業における欠陥に対して適用されます。 通常の摩耗や、事故や乱用による損傷に対しては保証しません。 サービスを受けるには、サポートサービスに電話するか、この製品を購入した店舗に連絡してください。 |
ChatGPT-J |
当社は、オリジナルの小売購入日から1年間、同梱のハードウェア製品およびアクセサリーの材料と作業上の欠陥に対して保証します。 通常の使用による摩耗や、事故や不当な取り扱いによる損傷には保証しません。 サービスを受けるには、サポートサービスに電話するか、この製品を購入した店舗に連絡してください。 |
DeepL、ChatGPT-J、ChatGPT-Eの中ではDeepLが際立って自然な日本語ですが、「乱用」という訳でアウトですね。
ChatGPT-JとChatGPT-Eとの比較では、「同梱の」と訳したChatGPT-Eの方に分がありますが、両者ともworkmanship(技術、製造)を「作業」と訳してしまっています。
小説
原文 |
MARLEY was dead, to begin with. There is no doubt whatever about that. The register of his burial was signed by the clergyman, the clerk, the undertaker, and the chief mourner. Scrooge signed it. And Scrooge’s name was good upon ‘Change’ for anything he chose to put his hand to. Old Marley was as dead as a door-nail. |
翻訳者 |
第一にマアレイは生きていない。それについてはいささかの疑いもない。 彼の埋葬登録簿には牧師も書記も葬儀屋も、喪主も署名している。スクルージも署名した。 スクルージの名は取引所関係ではいかなる書きつけの上にもききめがあった。 老マアレイはドアの上の釘のように死に切っていた。 ※村岡花子氏による翻訳 |
DeepL |
そもそもマーリーは死んでいた。それは間違いない。 埋葬の記録には、聖職者、事務員、葬儀屋、喪主の署名があった。 スクルージが署名した。そしてスクルージの名前は、彼が手を下すと決めたものなら、どんなものでも「チェンジ」に書くことができた。 マーリー爺さんは死んだも同然だった。 |
ChatGPT-J |
まず初めに、マーリーは死んでいた。それについての疑いは一切ない。 彼の葬式の登録簿には、牧師、書記、葬儀屋、そして主要な弔問者の署名があった。スクルージがそれに署名した。 そしてスクルージの名は、彼が手を出す何事に対しても「Change(取引所)」での信用が確かであった。 マーリー老人は、まるでドアの釘のように死んでいた。 |
ChatGPT-E |
最初に述べると、マーリーは死んでいた。それについての疑いは全くない。 彼の埋葬の登録簿は、牧師、事務員、葬儀屋、そして主要な弔問者によって署名された。 スクルージもそれに署名した。そしてスクルージの名前は、彼が手を出したいと思うものなら何でも「Change(取引所)」での評価が高かった。 老いたマーリーは、まるでドアの釘のように死んでいた。 |
こちらに関しては、「チェンジ」という単語をどう訳すかによって、結果に大きく差が出ました。DeepLの「『チェンジ』に書く」という訳は、明らかに不適当です。
ここで注目すべきは、ChatGPT-Eが他のように「スクルージはそれに署名した」ではなく、名翻訳家と同様、「スクルージもそれに署名した」と訳している点です。
日本語と英語のプロンプトで生成物に違いが出るかどうか、興味深いテーマなので、別のブログで検証を行いたいと思います。
他のさまざまな比較検証
翻訳精度の比較
その他にも、インターネットで公開されている記事の中から、4つの検証例をまとめてみました。
指示内容を工夫すれば幅広い使い方ができ、さらに拡張機能を駆使すれば音声翻訳など多くの方法で利用できることをメリットとして挙げています。
2つ目の検証例も同様に、ChatGPT、Google翻訳、DeepLを比較していますが、翻訳精度の中でも特に英語から日本語への和訳における「正確性」と「読みやすさ」を基準としました。
結果は「英語から日本語への翻訳の質に関しては、頭一つ飛び抜けていた翻訳ツールは無かった」。
というのも、誤訳こそないものの読みにくかったり、自然な日本語であるものの誤訳があったりと、それぞれ一長一短であったからです。
そして、「やはり人間による訳文のチェックが不可欠」という結論に至っています。
一方、「監査関係の翻訳」という、より具体的な目的に絞って比較した検証例もあります。
この例では、実際過去に公表された国際監査基準のある項目を用いて、DeepLとChatGPTの英語から日本語への翻訳力を比較しました。
その結果、両者とも仮訳として内容を把握する目的で使うには十分な能力を示したものの、最後はDeepLの方に軍配が上がりました。
しかし、ChatGPTもプロンプトを工夫するともっと適切な訳をしてくれる可能性が示されました。
処理速度にも着目した検証
最後の検証例は、技術用語が多く盛り込まれた文章を英語から日本語に翻訳させ、翻訳品質、処理速度、使いやすさなどの観点から比較したものです。
したがって、「どちらのサービスを使用するかは、ユーザーのニーズに応じて異なる」という結論でした。
まとめ:両者とも下訳としてはかなりのレベル
いかがでしたでしょうか?今回 DeepLとChatGPT で3種類の英語テキストを和訳する能力を比較しましたが、他の検証者もしている通り、「それぞれ一長一短」という結果でしたね。
DeepLはとりわけ商業的・技術的文書を「そつのない」日本語に仕上げてくれますが、不適切な訳も混じるので細かなチェックは不可欠。
いずれにせよ、DeepLもChatGPTも下訳としてはかなりのレベルですので、うまく組み合わせたり使い分けることで翻訳の質や効率を向上させることができるでしょう。
従来の記事作成と異なり、AIを使うことで大量のデータから
最適な情報を選び出し、コスパ良く記事を生み出すことが可能です。
時間の節約、コスト削減、品質の維持。
AI記事作成代行サービスは、効率よく質の高い記事を作成いたします。
コメント