ChatGPT 大規模更新 6/14 & 値下げ

ChatGPT の大規模更新と値下げについて簡単に端的に纏めました。

今年の初めにgpt-3.5-turboとgpt-4をリリースし、わずか数ヶ月の間に、これらのモデルの上に開発者が作った素晴らしいアプリケーションが登場したことを受けて、OpenAI はフォローアップを発表。その内容は？

Chat Completions APIの新しい関数呼び出し機能

gpt-4とgpt-3.5-turboがアップデートされ、さらにユーザの期待するリアクションに最適化

GPT-4と同じ機能呼び出しと、システムメッセージによるより信頼性の高いステアリングを搭載し、開発者(APIユーザ)がモデルの反応をより効果的に導くことができる2つの機能を備えています。
例えば「あなたは医者で外科歴30年のスペシャリストです」などのプロンプトを開発者(APIユーザ)が適切に初期設定することで、医者との相談室Chatを提供することが可能になります。

gpt-3.5-turboの新しい16Kコンテキストバージョン（従来は4Kバージョン）

gpt-3.5-turboの4倍のコンテキスト長を2倍の価格で提供します：1K入力トークンあたり0.003ドル、1K出力トークンあたり0.004ドルです。16kのコンテキストは、このモデルが1回のリクエストで20ページ程度のテキストをサポートできるようになったことを意味します。

価格の値下げ

text-embedding-ada-002は、最も人気のあるエンベッディングモデルです。本日より、コストを75%削減し、1Kトークンあたり0.0001ドルにしました。

gpt-3.5-turboは、私たちの最も人気のあるチャットモデルで、数百万人のユーザーのためのChatGPTを駆動します。今日、私たちはgpt-3.5-turboの入力トークンのコストを25％引き下げました。開発者は、このモデルを1K入力トークンあたり0.0015ドル、1K出力トークンあたり0.002ドルで使用できるようになりました。これは、1ドルあたりおよそ700ページ分に相当します。

最先端の埋め込みモデルで75%のコスト削減を実現

gpt-3.5-turboの入力トークンのコストを25%削減

gpt-3.5-turbo-16kは、gpt-3.5-turboの4倍のコンテキスト長を2倍の価格で提供します：1K入力トークンあたり0.003ドル、1K出力トークンあたり0.004ドルです。16kのコンテキストは、このモデルが1回のリクエストで20ページ程度のテキストをサポートできるようになったことを意味します。

gpt-3.5-turbo-0301とgpt-4-0314の非推奨期限の表明

本日、3月に発表したgpt-4とgpt-3.5-turboの初期バージョンについて、アップグレードと非推奨のプロセスを開始する予定です。安定したモデル名（gpt-3.5-turbo、gpt-4、gpt-4-32k）を使用しているアプリケーションは、6月27日に上記の新モデルに自動的にアップグレードされます。バージョン間のモデル性能を比較するために、Evalsライブラリは、モデルの変更がユースケースにどのような影響を与えるかを示すパブリックおよびプライベートEvalsをサポートしています。

ただし移行に時間が必要な開発者は、APIリクエストの「model」パラメーターにgpt-3.5-turbo-0301、gpt-4-0314、gpt-4-32k-0314を指定して、旧モデルの使用を継続できます。これらの旧モデルへのアクセスは9月13日までで、それ以降は、これらのモデル名を指定したリクエストは失敗します。モデルの非推奨化に関する最新情報は、モデルの非推奨化ページでご確認ください。これは、これらのモデルに対する最初のアップデートです。

これらのモデルには、3月1日に導入したのと同じデータプライバシーとセキュリティの保証が付属しており、リクエストから生成された出力はすべてユーザのもので、ユーザーのAPIデータがトレーニングに使用されることはないとのこと。

開発者は、gpt-4-0613とgpt-3.5-turbo-0613に関数を記述し、モデルがこれらの関数を呼び出すための引数を含むJSONオブジェクトを出力するようにインテリジェントに選択できるようになりました。これは、GPTの機能を外部のツールやAPIとより確実に接続するための新しい方法です。

これらのモデルは、（ユーザーの入力に応じて）関数を呼び出す必要がある場合にそれを検出し、関数のシグネチャに準拠したJSONで応答するように細かく調整されています。関数を呼び出すことで、開発者はモデルから構造化されたデータをより確実に取得することができます。例えば、開発者は次のようなことができます：

外部ツール（ChatGPT Pluginsなど）を呼び出して質問に回答するチャットボットを作成する。

Anya にメールを送って、次の金曜日にコーヒーを飲みたいかを確認する」といったクエリを send_email(to: string, body: string) のような関数呼び出しに変換したり、「ボストンの天気はどうですか」を get_current_weather(location: string, unit: 'celsius' | 'fahrenheit') に変換します。

自然言語をAPIコールやデータベースクエリに変換する

今月のトップ10の顧客は誰か」をget_customers_by_revenue(start_date: string, end_date: string, limit: int)などの内部APIコールに、「先月はアクメ社に何件の注文があったか」をsql_query（query: string）を使ってSQLクエリーに変換します。

テキストから構造化データを抽出する

extract_people_data(people: [{name: string, birthday: string, location: string}]）
という関数を定義して、Wikipediaの記事で言及されているすべての人物を抽出する。

これらのユースケースは、/v1/chat/completionsエンドポイントの新しいAPIパラメータ、functionsとfunction_callによって可能になります。開発者向けドキュメントを参照し、関数呼び出しが改善されるケースを発見したら、評価を追加してください。

Step1. 関数とユーザーの入力でモデルを呼び出す

Request:

curl https://api.openai.com/v1/chat/completions -u :$OPENAI_API_KEY -H 'Content-Type: application/json' -d '{
  "model": "gpt-3.5-turbo-0613",
  "messages": [
    {"role": "user", "content": "What is the weather like in Boston?"}
  ],
  "functions": [
    {
      "name": "get_current_weather",
      "description": "Get the current weather in a given location",
      "parameters": {
        "type": "object",
        "properties": {
          "location": {
            "type": "string",
            "description": "The city and state, e.g. San Francisco, CA"
          },
          "unit": {
            "type": "string",
            "enum": ["celsius", "fahrenheit"]
          }
        },
        "required": ["location"]
      }
    }
  ]
}'

Response:

{
  "id": "chatcmpl-123",
  ...
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": null,
      "function_call": {
        "name": "get_current_weather",
        "arguments": "{ \"location\": \"Boston, MA\"}"
      }
    },
    "finish_reason": "function_call"
  }]
}

Step2. モデルのレスポンスを使ってAPIを呼び出す

Request:

curl https://weatherapi.com/...

Response:

{ "temperature": 22, "unit": "celsius", "description": "Sunny" }

Step3. レスポンスをモデルに送り返してまとめる

Request:

curl https://api.openai.com/v1/chat/completions -u :$OPENAI_API_KEY -H 'Content-Type: application/json' -d '{
  "model": "gpt-3.5-turbo-0613",
  "messages": [
    {"role": "user", "content": "What is the weather like in Boston?"},
    {"role": "assistant", "content": null, "function_call": {"name": "get_current_weather", "arguments": "{ \"location\": \"Boston, MA\"}"}},
    {"role": "function", "name": "get_current_weather", "content": "{\"temperature\": "22", \"unit\": \"celsius\", \"description\": \"Sunny\"}"}
  ],
  "functions": [
    {
      "name": "get_current_weather",
      "description": "Get the current weather in a given location",
      "parameters": {
        "type": "object",
        "properties": {
          "location": {
            "type": "string",
            "description": "The city and state, e.g. San Francisco, CA"
          },
          "unit": {
            "type": "string",
            "enum": ["celsius", "fahrenheit"]
          }
        },
        "required": ["location"]
      }
    }
  ]
}'

Response:

{
  "id": "chatcmpl-123",
  ...
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "The weather in Boston is currently sunny with a temperature of 22 degrees Celsius.",
    },
    "finish_reason": "stop"
  }]
}