嘘ばっかり答えるチャットボットをわざわざベクトル検索を使って実装する #役に立たないLLM

pip install openai

import json
import openai

# 環境変数からAPIキーを取得
openai.api_key = "OpenAIのAPIキーを入れてください"

def vectorize_text(input_json, output_json):
    with open(input_json, 'r', encoding='utf-8') as f:
        data = json.load(f)

    total_files = len(data)
    print(f"Total files to process: {total_files}")
    
    for index, item in enumerate(data, start=1):
        text = item['text']
        
        # 4096文字を超えていたらカット
        if len(text) > 4096:
            text = text[:4096]
        
        # 進捗状況を表示
        print(f"Processing file {index} of {total_files}...")
        
        response = openai.Embedding.create(input=text, engine="text-embedding-ada-002")
        item['vector'] = response['data'][0]['embedding']
        
        # 進捗状況を更新
        progress = (index / total_files) * 100
        print(f"Completed: {progress:.2f}%")

    # ベクトルが追加されたJSONデータをファイルに保存
    with open(output_json, 'w', encoding='utf-8') as f:
        json.dump(data, f, ensure_ascii=False, indent=4)

# 入力JSONファイルと出力JSONファイルのパス
input_json_path = 'Uncyclopedia-ja.json'  # 入力JSONファイルのパス
output_json_path = 'Uncyclopedia-ja-with-vectors-CCBYNCSA30.json'  # 出力JSONファイルのパス

# ベクトル化関数の実行
vectorize_text(input_json_path, output_json_path)

pip install pinecone-client

import json
import openai
import pinecone

pinecone_api_key = "pineconeのAPIキー"
pinecone_environment = "pineconeのenviroment（地域）"

# indexを作成する
pinecone.create_index(
    name="uncyclopedia", # uncyclopediaという名前のプロジェクトを作る 
    dimension=1536,  # text-embedding-ada-002でベクトル化するときの次元数
    metric="cosine",
    metadata_config={
        "indexed": [
            "id",
            "title",
            "text",
        ]
   }
)
index_name = 'uncyclopedia' # uncyclopediaという名前のプロジェクトを作った場合
pinecone.init(api_key=pinecone_api_key, environment=pinecone_environment)
index = pinecone.Index(index_name)

# Jsonを読み込む
with open('Uncyclopedia-ja-with-vectors-CCBYNCSA30.json', 'r', encoding='utf-8') as f:
    data = json.load(f)

for item in data:
    index.upsert(
        vectors=[
            {
                "id": str(item['id']),
                "values": item['vector'],
                "metadata": {
                    "title": item['title'],
                    "text": item['text'][:10000] # 10000文字以上は切り捨て 
                }
            }
        ]
    )

pip install transformers accelerate

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui

pip install torch bitsandbytes

import openai
import pinecone
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

assert transformers.__version__ >= "4.34.1"

openai.api_key = "OpenAIのAPIキー"
pinecone_api_key = "pineconeのAPIキー"
pinecone_environment = "pineconeのenviroment"
index_name = 'uncyclopedia'
pinecone.init(api_key=pinecone_api_key, environment=pinecone_environment)
index = pinecone.Index(index_name)

search_query = "阪神が優勝した理由を教えてください" # ここを質問に変更します 

response = openai.Embedding.create(input=search_query, engine="text-embedding-ada-002")
query_vector = response['data'][0]['embedding']

answer = index.query(vector=query_vector, top_k=1, include_distance=True)
answer_id = answer['matches'][0]['id']
res = index.fetch([str(answer_id)])

model = AutoModelForCausalLM.from_pretrained("cyberagent/calm2-7b-chat", device_map="auto", torch_dtype="auto", load_in_4bit=True)
tokenizer = AutoTokenizer.from_pretrained("cyberagent/calm2-7b-chat")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = f"""USER: 貴方は常に嘘を答えるジョークBotです。
ユーザーの質問に対して嘘を答えます。
嘘の情報として、以下の内容を参考にしてください。
========
{res['vectors'][str(answer_id)]['metadata']['text']}
========
さて、「{search_query}」という質問に対して、上記の情報を元に、嘘の答えを考えてみましょう。
ASSISTANT: """

token_ids = tokenizer.encode(prompt, return_tensors="pt")
output_ids = model.generate(
    input_ids=token_ids.to(model.device),
    max_new_tokens=300,
    do_sample=True,
    temperature=0.8,
    streamer=streamer,
)