「プロンプト」とはAI に対する質問や指示文のことですが、ChatGPTの応答精度を上げるため、プロンプトが重要視されています。
「シンプルで明確、具体的なプロンプトを出す」といった工夫に加えて、「そのプロンプトを英語にする」と、応答精度はさらに向上するといわれています。
実際それで応答精度が上がるのか、英語に加え、日本語、マルチタスクという3パターンで比較してみました。
英語だと応答精度が高いといわれる理由
学習基盤が英語の情報だから
OpenAIという米国企業に開発されたChatGPTは、もともと英語の情報を学習基盤としています。
日本語を含め、英語以外の様々な言語にも対応していますが、ネット上の言語別の情報の割合を見ると、圧倒的に「英語の情報」が多いのです（ちなみに英語が約56%に対し、日本語はたったの「約4%」だそうです）。
プロンプトを英語で入力すると、大量の英語のテキストデータにアクセスすることになります。そこから得た情報をもとに応答するため、結果的に応答の質も高くなります。
日本語で質問した方がいいと思われる場合
とはいえ、すべてにおいて英語の情報量が多いわけではありません。
例えば「日本に関すること」「日本国内での動向」など、明らかに日本語の言語モデルからの情報量が多そうだという場合は、日本語のプロンプトの方が効果的と思われます。
一つのプロンプトで済ませる裏技
ChatGPT自体に英訳も和訳もさせる
英語のプロンプトがいいといっても、「まずプロンプトを英訳させるプロンプトを入力」、「いや、トークン節約のため、別途DeepLを使うべき」などとやっていると、手間がかかって面倒です。
そこを一気に解消してくれるのが、この「マルチタスクプロンプト」：
①最初に以下のプロンプトを入力（日本語でOK）。
「以下の質問を正確に英訳し、それに対して英語で回答して。そしてその回答を正確に和訳して」
②その下に質問文を挿入（これも日本語でOK）。
「アインシュタインとは誰ですか？彼の最大の功績は何だと思いますか？」
するとこのように、英語の回答の下にその和訳が提示されるので、そこだけを見ればよいのです。
ChatGPT自体に英訳も和訳もさせるこの方法であれば、「英訳して」「和訳して」と何度も入力する手間が省け、一度のプロンプトで「英語の情報に基づく応答精度」と「日本語の回答」の両方を得ることができます。
回答が短縮されてしまう可能性も
ただし、「最後に和訳」する必要性から、最初の英語の回答がある程度短縮されてしまう可能性も否定できません。
英語、日本語、マルチタスクで比較
では実際のところはどうなのか、英語、日本語、マルチタスクという3パターンのプロンプトで比較してみましょう。
比較条件
「英語の情報量が多そう」「日本語の情報量が多そう」な下記2つのトピックについて、これら3パターンのプロンプトで質問します。
- 英語の情報量が多そう：ある米国人写真家について
- 日本語の情報量が多そう：『ジブリ映画』で最も人気の高い3作品
1.ある米国人写真家について
①英語プロンプト
Can you tell me about the photographer Lewis Baltz?
What cultural impact did his photographs haveまず、「Lewis Baltzという写真家について教えて。彼の写真は文化的にどういう影響をもたらしましたか？」と英語で入力します。
すると、この写真家について非常に詳細な回答が提示されました。
②日本語プロンプト
次に、同じ質問を日本語で入力します。
Lewis Baltzという写真家について教えて。
彼の写真は文化的にどういう影響をもたらしましたか？
こちらもわりと詳細な回答ですが、英語プロンプトの場合の半分ぐらいの情報量となりました。
③マルチタスクプロンプト
最後に3番目のパターンとして、先ほどのプロンプトを入力し、その下に質問文を日本語で入力します。
以下の質問を正確に英訳し、それに対して英語で回答して。
そしてその回答を正確に和訳して：
Lewis Baltzという写真家について教えて。
彼の写真は文化的にどういう影響をもたらしましたか？
すると指示通り、最初にプロンプトが英訳され、それに対する英語の回答、そして最後にその正確な和訳が提示されました。
しかし①や②の場合と比べて、回答が非常に短いのが気になります。
英語の回答と和訳部分をあわせて、ちょうど②と同じぐらいの長さです。内容もあっさりとしていて、まるで①の要約のようです。
2.『ジブリ映画』で最も人気の高い3作品
①英語プロンプト
「『ジブリ』とは何ですか？ジブリの最も人気の高い3作品を教えて」という質問を英語で入力します。
"What is 'Ghibli'?
Can you tell me the three most popular Ghibli films?"
今回もかなり詳細な回答が提示されました。
日本のアニメとはいえ、世界的に評価の高い『ジブリ作品』なので、英語の情報量も豊富だからでしょうか。
では、日本語のプロンプトではどうでしょう？
②日本語プロンプト
①と同じ質問を日本語で入力します。
『ジブリ』とは何ですか？
ジブリの最も人気の高い3作品を教えて。
以外にもこんなに短い回答が返ってきました。①との違いが一目瞭然です。
③マルチタスクプロンプト
最後にマルチタスクプロンプトを入力し、その下に質問文を日本語で入力します。
以下の質問を正確に英訳し、それに対して英語で回答して。
そしてその回答を正確に和訳して：
『ジブリ』とは何ですか？ジブリの最も人気の高い3作品を教えて。
今回もまた、3パターンの中で回答が最も短いという結果となりました。明らかに①や②の回答の要約となっています。
結果
「英語の情報量が多そう」「日本語の情報量が多そう」な2つのトピック、いずれの場合も英語プロンプトが最も応答精度が高く、最も多い情報量を含んでいました。
日本語プロンプトは英語の場合の半分ぐらいです。そしてマルチタスクプロンプトの情報量の少なさは、さらなる検証が必要ですが、情報提示に英訳や和訳に加わった「マルチタスク」に原因があると思われます。
まとめ：ChatGPTの応答精度を上げるなら、やはり英語のプロンプト
今回、英語圏と日本の2つのトピックについて3つのパターンでChatGPTに質問してみました。その結果、どちらの場合も英語のプロンプトが一番精度の高い応答につながりました。
とはいえ、英語のプロンプトを用意し、返ってきた回答を和訳するのは手間がかかります。
そのため、今後「どのような場合だと日本語／マルチタスクの方がよいのか」についてさらなる検証を進め、効果的に使い分ける必要があるでしょう。
従来の記事作成と異なり、AIを使うことで大量のデータから
最適な情報を選び出し、コスパ良く記事を生み出す
ことが可能です。
時間の節約、コスト削減、品質の維持。
AI記事作成代行サービスは、効率よく質の高い記事を
作成いたします。
コメント