LlamaIndex v0.10 クイックスタートガイド - Python版

# パッケージのインストール
!pip install llama-index==0.10.4

# 環境変数の準備 (左端の鍵アイコンでOPENAI_API_KEYを設定)
import os
from google.colab import userdata
os.environ["OPENAI_API_KEY"] = userdata.get("OPENAI_API_KEY")

import logging
import sys

# ログレベルの設定
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

from llama_index.core import SimpleDirectoryReader

# ドキュメントの読み込み
documents = SimpleDirectoryReader("data").load_data()

from llama_index.core import VectorStoreIndex

# インデックスの作成
index = VectorStoreIndex.from_documents(documents)

DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 結束バンド 後藤ひとりは友達を作れない陰キャでいつも一人で過ごしていたが、中学時代にテレビのイ...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 文化祭ライブ 夏休みに入り、後藤ひとりは知り合いも増えていたが、自分から遊びに誘うことができず...
DEBUG:llama_index.node_parser.node_utils:> Adding chunk: ひねくれ者なヨヨコは、結束バンドをライバル視しながらも、彼女たちにアドバイスを送り、ファンたち...
    :

# クエリエンジンの作成
query_engine = index.as_query_engine()

# 質問応答
print(query_engine.query("ぼっちちゃんの得意な楽器は？"))

後藤ひとりの得意な楽器はギターです。

[Similarity score:             0.832151] 自分には何の取り柄もないのを痛感していたため、中学の頃に暗い性格の人間がバンドをやって人気者になったインタビューを読んで、ギターを始める。毎日練習したお陰でギターの腕前はプロ級になったが、結局、...
[Similarity score:             0.829139] 変わり者で一人でいるのが好きだが、後藤ひとりと違って特にコミュ障というわけではない。音楽に関しては独自の価値観を持っており、流行（はや）りに流されるのを嫌い、バンドの個性を重視している。そのため...

Context information is below.
---------------------
自分には何の取り柄もないのを痛感していたため、中学の頃に暗い性格の人間がバンドをやって人気者になったインタビューを読んで、ギターを始める。毎日練習したお陰でギターの腕前はプロ級になったが、結局、...

変わり者で一人でいるのが好きだが、後藤ひとりと違って特にコミュ障というわけではない。音楽に関しては独自の価値観を持っており、流行（はや）りに流されるのを嫌い、バンドの個性を重視している。そのため...
---------------------
Given the context information and not prior knowledge, answer the question. If the answer is not in the context, inform the user that you can't answer the question.
Question: ぼっちちゃんの得意な楽器は？
Answer: 

# インデックスの保存
index.storage_context.persist()

from llama_index.core import StorageContext, load_index_from_storage

# インデックスの読み込み
storage_context = StorageContext.from_defaults(persist_dir="./storage")
index = load_index_from_storage(storage_context)

from llama_index.core import Settings
from llama_index.llms.openai import OpenAI

# LLMの設定
Settings.llm = OpenAI(
    model="gpt-3.5-turbo", 
    temperature=0.1
)

from llama_index.core import Settings
from llama_index.embeddings.openai import OpenAIEmbedding

# 埋め込みの設定
Settings.embed_model = OpenAIEmbedding(
    model="text-embedding-3-small", 
)

from llama_index.core import Settings
from llama_index.core.node_parser import SentenceSplitter
import tiktoken

# テキストスプリッターの設定
Settings.text_splitter = SentenceSplitter(
    separator=" ",
    chunk_size=1024,
    chunk_overlap=20,
    paragraph_separator="\n\n\n",
    secondary_chunking_regex="[^,.;。]+[,.;。]?",
    tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode
)

# チャンクサイズとチャンクオーバーラップの設定
Settings.chunk_size = 512
Settings.chunk_overlap = 20

from llama_index.core import Settings
import tiktoken

# トークナイザーの設定
Settings.tokenizer = tiktoken.encoding_for_model("gpt-3.5-turbo").encode

from llama_index.core.callbacks import TokenCountingHandler, CallbackManager
from llama_index.core import Settings

# コールバックの設定
token_counter = TokenCountingHandler()
Settings.callback_manager = CallbackManager([token_counter])

from llama_index.core import Settings

# プロンプトヘルパーの設定
Settings.context_window = 4096
Settings.num_output = 256

# クエリエンジンの準備
query_engine = index.as_query_engine(
    similarity_top_k=10, 
)

# パッケージのインストール
!pip install llama-index-postprocessor-flag-embedding-reranker
!pip install FlagEmbedding

from llama_index.postprocessor.flag_embedding_reranker import FlagEmbeddingReranker

# Rerankerの準備
rerank = FlagEmbeddingReranker(
    model="BAAI/bge-reranker-v2-m3", 
    use_fp16=True, 
    top_n=5
)

# クエリエンジンの準備
query_engine = index.as_query_engine(
    similarity_top_k=10, 
    node_postprocessors=[rerank]
)

from llama_index.core.node_parser import SentenceSplitter
from llama_index.core import Settings

# トランスフォーメーションの設定
Settings.transformations = [SentenceSplitter(chunk_size=1024)]

# パッケージのインストール
!pip install llama-index-readers-web

from llama_index.readers.web import SimpleWebPageReader

# リーダーの準備
reader = SimpleWebPageReader(html_to_text=True)
documents = reader.load_data(urls=["https://ja.wikipedia.org/wiki/%E3%81%BC%E3%81%A3%E3%81%A1%E3%83%BB%E3%81%96%E3%83%BB%E3%82%8D%E3%81%A3%E3%81%8F!"])

# 質問応答
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()
response = query_engine.query("結束バンドとは？")
print(response)