ChatGPTとClaudeでクイズ対決させたらどちらが勝つか
ChatGPTとClaudeの比較記事です。今回はChatGPT（GPT-4）とClaudeにそれぞれクイズを10問作成してもらい、その正答数で優劣を決めます。
まずはクイズを作成してもらいます。まずはChatGPTから。
ChatGPTが作成したクイズ
You
ジャンルを指定せず、クイズを10問作ってください。
ChatGPT
Here are 10 quiz questions for you, covering a variety of topics:
1. What is the hardest natural substance on Earth?
- Answer: Diamond
2. Which planet is known as the Red Planet?
- Answer: Mars
3. What year did World War II end?
- Answer: 1945
4. What is the largest mammal in the world?
- Answer: Blue whale
5. What is the currency of Japan?
- Answer: Yen
6. What is the chemical symbol for gold?
- Answer: Au
7. What is the smallest planet in our solar system?
- Answer: Mercury
8. What is the name of the longest river in the world?
- Answer: Amazon
9. What is the capital of Japan?
- Answer: Tokyo
10. Who wrote 'Romeo and Juliet'?
- Answer: William Shakespeare
Enjoy the quiz!
まさかの英語、翻訳サイトで日本語に訳すと以下の通り
ここでは、さまざまなトピックを網羅した 10 個のクイズをご紹介します。 1. 地球上で最も硬い天然物質は何ですか? - 答え: ダイヤモンド
2. 赤い惑星として知られている惑星はどれですか? - 答え: 火星
3. 第二次世界大戦が終わったのは何年ですか? - 答え: 1945年
4. 世界最大の哺乳類は何ですか? - 答え：シロナガスクジラ
5. 日本の通貨は何ですか? - 答え: 円
6. 金の化学記号は何ですか? - 答え: Au
7. 太陽系で最も小さな惑星は何ですか? - 答え: 水星
8. 世界で一番長い川の名前は何ですか? - 答え: アマゾン
9. 日本の首都はどこですか? - 答え: 東京
10.「ロミオとジュリエット」を書いたのは誰ですか? - 答え: ウィリアム・シェイクスピア
クイズをお楽しみください！
答えが正しいか調べた結果、1についてダイヤモンドより硬い物質はあるそうですが、あくまでも「言われている」であり、断定ではないのでダイヤモンドでいいでしょう。
8はナイル川が一般的な答えとされていますが、長さの明確な定義がされていないため、ChatGPTの答えは一概に間違いとは言えません。ただ、今回はナイル川を答えとして採用します。
Claudeが作成したクイズ
次にClaudeにクイズを作成してもらったのですが、思いのほか難航しました。「英語で"Cheese"と発音するのはどの国の言葉か?」や「『万延元年』はどの元号に当たるか?」など、クイズとして成立しないものもあり、追加で数問作ってもらって選出した結果が以下の10問です。
1. 「インド洋に浮かぶ島国の名前は?」
答え:モルディブ
2. 「DNAの二重らせん構造を発見したのは誰か?」
答え:ワトソンとクリック
3. 「ソ連の首都の名前は?」
答え:モスクワ
4. 「スコットランドの国民食は何か?」
答え:ハギス
5. 「シルクロードの起点となった都市はどこか?」
答え:シアン(現在の中国西安市)
6. 「絶対零度はおよそ何度か?」
答え:-273℃
7. 「夢をかなえるゾウ」でおなじみの作家は?
答え:水野敬也
8. 「金星は朝夕どちらに見えるか?」
答え:朝夕どちらにも見える
9.「ジョン・フォン・ノイマンの誕生国は?」
答え:ハンガリー
10. 「ギリシャ神話に登場する愛と美の女神は誰か?」
答え:アフロディーテ
5はおそらく発音でしょう。表記としては長安が適切。
対決の準備が整ったのでさっそく出題してみます。
Claudeの挑戦
Claudeには英語で出題しました。そして結果がこちら。
Sure, here are the answers to the 10 quiz questions:
1. What is the hardest natural substance on Earth?
Answer: Diamond
2. Which planet is known as the Red Planet?
Answer: Mars
3. What year did World War II end?
Answer: 1945
4. What is the largest mammal in the world?
Answer: Blue Whale
5. What is the currency of Japan?
Answer: Japanese Yen
6. What is the chemical symbol for gold?
Answer: Au
7. What is the smallest planet in our solar system?
Answer: Mercury
8. What is the name of the longest river in the world?
Answer: The Nile River
9. What is the capital of Japan?
Answer: Tokyo
10. Who wrote 'Romeo and Juliet'?
Answer: William Shakespeare
英語なのでわかりづらいと思いますが全問正解でした。さすがです。
ChatGPTの挑戦
前置きはなしにして結果だけ載せます。
1. インド洋に浮かぶ島国の一つとしてよく知られているのは「マダガスカル」ですが、セーシェルやモルディブなど他にも複数の島国があります。
2. DNAの二重らせん構造を発見したのはジェームズ・ワトソンとフランシス・クリックです。彼らはこの発見で1962年にノーベル生理学・医学賞を受賞しました。
3. ソ連（ソビエト連邦）の首都は「モスクワ」です。
4. スコットランドの国民食は「ハギス」です。これは羊の臓物を使った料理で、スパイスとともに羊の胃袋に詰めて調理されます。
5. シルクロードの起点となった都市は「長安」、現在の中国の西安市です。
6. 絶対零度は摂氏で約マイナス273.15度（ケルビンで0度）です。
7. 「夢をかなえるゾウ」でおなじみの作家は水野敬也です。
8. 金星は、「朝の明星」としても「夕の明星」としても見ることができます。つまり、朝夕どちらにも見えることがありますが、見える時期によって朝か夕かが決まります。
9. ジョン・フォン・ノイマンの誕生国はハンガリーです。彼は1903年にブダペストで生まれました。
10. ギリシャ神話に登場する愛と美の女神は「アフロディーテ」です。
補足の説明にも間違いはなくこちらも全問正解でした。
結果
ご覧の通り、結果は両者全問正解で引き分けでした。Claudeは無料版で試しましたが、英語で出題したのがパーフェクトの要因なのかもしれません。
ChatGPTはやはりGPT-4というのが大きいと思います。これがGPT-3.5ならどうだったか。
今後もいろいろな分野で対決させたら面白い結果が得られそうですね。
