ChatGPTと、Claude3に仕事を与えて、性能比較をしてみたら、長所と短所がはっきりと分かった。

一部では、ChatGPTよりも優れているのではないかと噂のClaude3ですが、実際のところ、その性能はどうなのでしょうか。

本稿では実際にいくつかのタスクを両者に与え、そのクオリティの差を検証したいと思います。

なお、比較対象の2者にはいずれも課金をしており、最高のパフォーマンスを持つモデル同士を比べました。

１．記事執筆

同じ条件で執筆を開始するために、プロンプトは以下のステップを採用しました。

１．記事の書き方を尋ねる

つぎに、ChatGPTの出力を同様の文言で行います。

言っていることはほぼ変わりません。この時点ではクオリティはほぼ同等と言っても差し支えないと思いますが、あえて言えば、Claudeのほうが、挙げた項目が構造化されていて見やすいかもしれません。

２．記事の構成を作らせる

書き方を尋ねると、両者ともに「こういうことを決めてください」とこちらに要求を出してきますので、それを埋めて構成案を作らせます。

両者それぞれの要求に従って要件を入力しますので、ClaudeとChatGPTへの入力が少々異なります。例えばClaudeでは文字数の要求がありましたが、ChatGPTではその要求がなかったので、プロンプトにそれを含めていません。

とはいえ、両者の出力に大差はありません。あえて言えば、文字数を入力させたClaudeのほうが、構成案としての完成度はやや上、といったところでしょうか。ただし、文字数を入力すればいいだけの話です。

３．章ごとに、記事を逐次出力させる

最後に、章ごとに記事を逐次出力していきます。なお、一気に全文を出力させることは、両者とも苦手なので、前から少しずつ処理をさせたほうが良好な結果が得られると思います。

この作業を繰り返して、一つの文章にまとめたのが、以下のGoogleドキュメントのファイルです。長いのでリンク先から見てください。

Claude3による記事原文
ChatGPTによる記事原文

比較をするとよくわかりますが、Claude3のほうが、より人間的で、レベルの高い文章を出力すると、わたしは感じました。

ただしこれは私の主観的な判断です。
そこで、両者の出力を、さらにChatGPTとClaude自身に、再帰的に評価させました。

４．記事の評価

評価を行う際には、まず評価基準をそれぞれのAIに出力させます。
その後、彼らが出力した基準に対して評価を行うように命令を行いました。

Claudeによれば、Claude自身の書いた記事は8.6点、ChatGPTの記事は8.2点でした。

では、同じことをChatGPTに要求しましょう。

ChatGPTによれば、Claudeの書いた記事は9点、ChatGPTの記事は8.6点でした。

AIによる評価においても、Claudeのほうが高得点を獲得しています。
その原因としては、「オリジナリティと独創性」の項目が挙げられていますが、わたしも同感です。

あるいは言い回しの観点で、Claudeは

といったように、文節同士のつながりを作ることがChatGPTに対して圧倒的に優れています。

ChatGPTは「忘れっぽい」、つまり前に話したことをきちんと覚えておらず、その場その場での辻褄合わせに走る傾向がありますが、Claudeはそれが解消されていると感じました。
これは、長い文章を作らせる際に大きなアドバンテージです。

２．メールへの返信

では、メールでお断りの文言を書かせる、やや複雑なタスクを与えて性能を比較してみましょう。