PoeのGPT-4対GPT3.5、どっちが賢いのか？学会発表スタイルで性能比較した
2023年3月15日にリリースされたChatGPT4の「Poe」を使ったGPT-4の使いこなしメモです。
自分としてはただのメモだったのですが、実はこの3月版のGPT4がなかなかの出来だったのと、後でOpenAIのGPT4の性能が変化しているので、記録・資料として公開しておきます。
「Poe」は無料で1日1回使えます
前回の比較（2023年3月15日）
https://note.com/o_ob/n/n2389e5e77af4
ChatGPT@OpenAI本家 vs GPT-4@Poe
質疑応答スタイルで戦ってもらう
GPT-3に比べて100倍大きいLLMであるGPT-4。ガチ目の質問に強くなったはずなので
「Diffusionモデルで使われるCLIPのアルゴリズムを解説して」
「CLIPモデルのアルゴリズムの中心にある数式をTeX形式で」
「このベクトルはlatent spaceと呼ぶべきか？それとも従来の量子化と呼ぶべきか？」
GPT-4@Poeちゃん
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023
普通にガチ目の質問にも答えられる
「Diffusionモデルで使われるCLIPのアルゴリズムを解説して」
「CLIPモデルのアルゴリズムの中心にある数式をTeX形式で」
「このベクトルはlatent spaceと呼ぶべきか？それとも従来の量子化と呼ぶべきか？」 pic.twitter.com/YHhB5rawcz
同じ質問を元祖ChatGPT@Mar14さんにも聞いてみた
同じ質問を元祖ChatGPT@Mar14さんにも聞いてみた pic.twitter.com/6G06rF8j4z
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023
ChatGPT@OpenAI Mar14
vs GPT-4@Poeでお互いの議論をぶつけたら学会が始まった
座長は私。
「潜在空間」と「トークン化された表現」で意見が割れた！
ChatGPT@OpenAI Mar14
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023
vs GPT-4@Poeでお互いの議論をぶつけたら学会が始まった
座長は私。
「潜在空間」と「トークン化された表現」で意見が割れた！ pic.twitter.com/aKDbFu2FzK
学会発表としてはChatGPT側が早めに頭を下げる形で決着がついた。
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023
よし、座長としてバカのふりして質問するぞ〜。
どっちが論破できるか推測ってみる pic.twitter.com/xJSCw4ULnS
学会発表としてはChatGPT側が早めに頭を下げる形で決着がついた。
よし、座長としてバカのふりして質問するぞ〜。
どっちが論破できるか推測ってみる
「素人質問で申し訳ないのですが、これは人類の生成してきた画像と言語の関係を可逆的に圧縮するものでしょうか？それとも不可逆でしょうか？シャノンの情報理論に沿って説明をいただけると幸いです。」
Chat GPT-4@Poeの2勝！
「素人質問で申し訳ないのですが、これは人類の生成してきた画像と言語の関係を可逆的に圧縮するものでしょうか？それとも不可逆でしょうか？シャノンの情報理論に沿って説明をいただけると幸いです。」
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023
Chat GPT-4@Poeの2勝！ pic.twitter.com/S48KyMADzm
おお！やったぜ
また完全に意見が割れた。
では今度は2敗中のChatGPT先手→ GPT-4@QuoraPoe後手で。
おお！やったぜ
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023
また完全に意見が割れた。
では今度は2敗中のChatGPT先手→ GPT-4@QuoraPoe後手で。 pic.twitter.com/OfZNJwR9SA
https://twitter.com/o_ob/status/1635865942516453376
結果はPoeの完全勝利。
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023
ChatGPTの方がところどころ面白いけどふわっとしているし、二択比較推論を逃げたりする
Chat GPT-4@Poeはけっこう断言してくる。科学の論文解説とか、正しいか間違っているかは断言してもらった方が良いことも多い。Quora文体な感じもするので独自のチューニングもあるのかな？ pic.twitter.com/Et4KR8kQpP
https://twitter.com/o_ob/status/1635861442451898368
結果はPoeの完全勝利。
ChatGPTの方がところどころ面白いけどふわっとしているし、二択比較推論を逃げたりする
Chat GPT-4@Poeはけっこう断言してくる。科学の論文解説とか、正しいか間違っているかは断言してもらった方が良いことも多い。Quora文体な感じもするので独自のチューニングもあるのかな？
俳句勝負
ゆるゆるとガチ目の比較検証を続ける 「犬が居ぬ 猫が寝込んだ 春の日の 微睡む僕は 人になりけり」 この問いかけでどんな返事がかえってくるか？ その解釈と下の句も作ってもらう ChatGPT@Poeは完敗 ChatGPT@OpenAi Mar14も優秀 GPT-4@Poeも素晴らしい
結果はPoeの完全勝利。
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023
ChatGPTの方がところどころ面白いけどふわっとしているし、二択比較推論を逃げたりする
Chat GPT-4@Poeはけっこう断言してくる。科学の論文解説とか、正しいか間違っているかは断言してもらった方が良いことも多い。Quora文体な感じもするので独自のチューニングもあるのかな？ pic.twitter.com/Et4KR8kQpP
"GPT-4 Technical Report"
https://cdn.openai.com/papers/gpt-4.pdf
98ページもあって読み応えあるけど
画像理解やプログラミング、化学につかえるプロンプト例もあってめちゃおもろいな
という無垢なブログを書いていた頃が懐かしいです。
実際にはその後、同じような実験を行うと同じ結果にはならないです。
