LangChain & GPT-3 設定値一覧メモ

text-davinci-003
- Max Request / 4,000 tokens
- Pricing / $0.0200 -￥2.6 (1K tokens)
- Description / GPT-3の中で最も高性能なモデルです。他のモデルで可能なあらゆるタスクが可能で、多くの場合、より高い品質、長い出力、より良い命令追従性が得られます。また、テキストに補完記号を挿入することも可能です。

text-curie-001
- Max Request / 2,048 tokens
- Pricing / $0.0020 -￥0.26 (1K tokens)
- Description / 非常に高機能だが、Davinciより高速で低価格。

text-babbage-001
- Max Request / 2,048 tokens
- Pricing / $0.0005 -￥0.065 (1K tokens)
- 素直な応答が可能で、非常に速く、低コスト。

text-ada-001
- Max Request / 2,048 tokens
- Pricing / $0.0004 -￥0.052 (1K tokens)
- 素直な応答が可能で、非常に速く、低コスト。

max_tokensパラメータは、APIが返すトークンの数の上限を設定します。

プロンプトのトークン数と max_tokens を足したものが、モデルのコンテキスト長を超えることはできません。ほとんどの機種のコンテクスト長は 2048 です (ただし 4096 をサポートする最新機種は除く)。

温度が低いほど、GPTは、出現率の高い単語を選択するようになります。答えが１つしかない場合は、温度を低く設定する必要があります。逆に、アイデアを出したいときや物語を作りたいときは、温度を高くすると多様性をもたらします。

温度＝0のGPT-3を使って、"How to make "という文章を完成させると、完成が得られます。"a good impression on a first date"（初デートで好印象を与える）。これをTemperature = 1で繰り返すと、「ターバン巻きのココナッツヘア」から「油をほとんど全く使わないマヨ」「マインクラフト1の新サーバー」まで出てくるのです。違いがわかりますか？

時々、Temperature をクリエイティビティ設定と呼ぶ人がいますが、公式ドキュメントではそのようなラベルは推奨されていません。クリエイティビティは単にランダム性を上げることよりも複雑です。

温度０
温度0で、「私の好きな動物は？」と聞いてみましょう。
ランダム性が0に制限されていることから予想されるように、GPT-3は最も確率の高い完成形である「a dog」を導き出すでしょう。
ランダム性を排除することで、もう一つの効果があります。GPT-3は、与えられたプロンプトに対して常に同じ出力をするのです。プロンプトを10回実行したところ、全く同じ出力が10回得られました。温度が低いと、安定した、最も確率の高い出力が必要な場合に適しています。（事実の出力、分類など）
「確率を表示する」設定により、GPT-3が世界をどのように見ているか、そして次に来るべき単語（トークン）を見ることができます。
驚くなかれ、"dog "に次いで確率の高い出力は "cat "で、3番目は "gir"。"girffe "から来たトークンである可能性が非常に高いのです。つまり、ランダム性というのは、GPT-3が様々な確率のトークンを作成していることを意味しているのです。

温度１
温度1に設定すると、非常に一貫性のない、時には興味深い結果が得られます。オープンエンドのタスクであっても、温度値1を使用するのは特別な場合のみにしてください。ストーリーの完成やアイデア出しの場合、温度値は0.7から0.9の間であることが一般的です。温度0とは出力が大きく異なり、"Wibblezoo "の場合、動物ですらありません。GPT-3は文脈を維持するが、この設定では信頼性が低くなります。このような設定にすると、長い文章ではGPT-3の方が早く脱字してしまうことが予想されます。

温度0.75
一般的に、クリエイティブなタスクでは0.70～0.90の温度が最も一般的とされています。下の出力を見る前に、「私の好きな動物は」の補完のために設定温度0.75でGPT-3がどのような出力を生成するかを推測してみてください。ランダム性が少し低くなったことで、より安定した結果が得られています。GPT-3は動物のすぐ後にピリオドを打つことが多くなりました。ヴェロキラプトルが出たのはいいのですが、実在しない動物は出てきません。

温度設定には一般的な推奨事項がいくつかありますが、決まったものはありません。これは最も重要な設定の1つであるため、いろいろと試してみて、さまざまな種類のプロンプトにどのような影響を与えるかを確認する価値があります。より良いプロンプターとなるために役立ちます。

Open AI
「temperature」によるサンプリングに代わるもの。
核サンプリングと呼ばれる。
確率質量が上位_pのトークンの結果を考慮するモデルがあります。つまり、0.1は上位10%の確率を構成するトークンのみが考慮されることを意味します。
一般的に、top_pかtemperatureを変更することを推奨するが、両方は推奨しない。

LangChain
各ステップで考慮すべきトークンの総確率質量。

Open AI
-2.0 から 2.0 の間の数。正の値は、これまでのテキストにおける既存の頻度に基づいて新しいトークンにペナルティを与え、モデルが同じ行をそのまま繰り返す可能性を減少させる。

LangChain
繰り返されたトークンを頻度に応じてペナルティーを課す。

Open AI
-2.0 から 2.0 の間の数値。正の値は、新しいトークンがこれまでのテキストに現れるかどうかに基づいてペナルティを課し、新しいトピックについて話すモデルの可能性を高める。

LangChain
トークンの繰り返しにペナルティを課す。

Open AI
各プロンプトに対して生成される入力補完の数。

注意: このパラメータは多くの補完を生成するため、トークン割り当てをすぐに消費してしまう可能性があります。max_tokens と stop に適切な値を設定し、慎重に使用してください。

LangChain
各プロンプトに対して生成するコンプリート数を指定します。

Open AI
サーバサイドで best_of completions を生成し、「ベスト」（トークンごとの対数確率が最も高いもの）を返す。結果をストリーミングすることはできません。

n と一緒に使うと、best_of が候補の数を、n が返す数を指定します - best_of は n よりも大きくなければなりません。

注意: このパラメータは多くの補完候補を生成するため、トークンの割り当てをすぐに消費してしまう可能性があります。max_tokens と stop に適切な値を設定し、慎重に使用してください。

LangChain
サーバサイドで best_of completions を生成し、"best" を返す。

LangChain
明示的に指定されていないcreate callに有効なモデルパラメータを保持する。

LangChain
複数のドキュメントを渡して生成する際に使用するバッチサイズ。

LangChain
OpenAI補完APIへのリクエストのタイムアウト。デフォルトは600秒です。