LlamaIndex のハイブリッド検索を試す

# パッケージのインストール
!pip install llama-index==0.5.12
!pip install pinecone-client
!pip install transformers

import os
os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトークン>"

import logging
import sys

# ログレベルの設定
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

from llama_index import download_loader

# ドキュメントの読み込み
BeautifulSoupWebReader = download_loader("BeautifulSoupWebReader")
loader = BeautifulSoupWebReader()
documents = loader.load_data(urls=["https://ja.wikipedia.org/wiki/ぼっち・ざ・ろっく!"])

import pinecone

# Pineconeのインデックスの準備
api_key = "<PineconeのAPIキー>"
pinecone.init(api_key=api_key, environment="us-west1-gcp")
pinecone.create_index("quickstart", dimension=1536, metric="dotproduct", pod_type="p1")
pinecone_index = pinecone.Index("quickstart")

from llama_index import GPTPineconeIndex

# インデックスの生成
index = GPTPineconeIndex.from_documents(
    documents, 
    pinecone_index=pinecone_index, 
    add_sparse_vector=True,
)

# インデックスへの質問応答
print(index.query("ひとりちゃんの得意な楽器は？"))

> Initial prompt template: Context information is below. 
---------------------
    :
ギターヒーロー
ひとりが動画投稿サイトで活動する際に用いるハンドルネーム。ひとりが普段人前に出せないが内面に抱えている承認欲求の象徴とも言えるもので、現実のひとりからはかけ離れた「バスケ部エースの彼氏持ち」や「ラインの友達数は1000人超え」といった設定がつけられている[注 11][38]。顔を隠すアングルから撮影された人気バンドのカバー動画を投稿しており、投稿サイトでの登録者数は8万人近く[39]。ぽいずん♡やみのような音楽関係者からも注目を集めている。動画は直樹によって収益化されており、文化祭ライブで壊れたギターを新調する費用等に充てられた[40]。
ライブでの現在の自身の実力ではギターヒーローの名前でファンを集めても満足させるだけの演奏ができないというひとりの考えから、正体が「結束バンドの後藤ひとり」であることは公にはされていない[注 12]。
    :
---------------------
Given the context information and not prior knowledge, answer the question: ひとりちゃんの得意な楽器は？

> Initial response: 
ひとりちゃんの得意な楽器はギターです。

# インデックスへの質問応答
print(index.query("ひとりちゃんの得意な楽器は？", vector_store_query_mode="hybrid"))

> Initial prompt template: Context information is below. 
---------------------
    :
ギターヒーロー
ひとりが動画投稿サイトで活動する際に用いるハンドルネーム。ひとりが普段人前に出せないが内面に抱えている承認欲求の象徴とも言えるもので、現実のひとりからはかけ離れた「バスケ部エースの彼氏持ち」や「ラインの友達数は1000人超え」といった設定がつけられている[注 11][38]。顔を隠すアングルから撮影された人気バンドのカバー動画を投稿しており、投稿サイトでの登録者数は8万人近く[39]。ぽいずん♡やみのような音楽関係者からも注目を集めている。動画は直樹によって収益化されており、文化祭ライブで壊れたギターを新調する費用等に充てられた[40]。
ライブでの現在の自身の実力ではギターヒーローの名前でファンを集めても満足させるだけの演奏ができないというひとりの考えから、正体が「結束バンドの後藤ひとり」であることは公にはされていない[注 12]。
    :
---------------------
Given the context information and not prior knowledge, answer the question: ひとりちゃんの得意な楽器は？

> Initial response: 
ひとりちゃんの得意な楽器はギターです。

> Refined prompt template: The original question is as follows: ひとりちゃんの得意な楽器は？
We have provided an existing answer: 
ひとりちゃんの得意な楽器はギターです。
We have the opportunity to refine the existing answer (only if needed) with some more context below.
------------
アルト（おとぎ アルト）」の名前でバーチャルYouTuberとして活動しており、ゲーム実況動画などを公開している[71]。具体的な名前については作中で言及されず、主に「PAさん」と呼ばれる[注 21]。
大山 猫々（おおやま ねね）
作中2年目から登場。16歳で秀華高校1年生[72]。大学受験準備に入って忙しくなった虹夏の代わりとして2年目秋よりSTARRYでアルバイトするようになる。
スポーツ好きで中学時代はバスケ部所属だったこともあり雰囲気は体育会系そのもので、いつもはきはきとして声が大きい。ひとりとリョウはそのノリを苦手にしている。
身長が低いこともあってバスケではあまり活躍できなかったところ、ロックフェスでのひとりを見て憧れ、バンドを始めようと考え[72]、虹夏と喜多に付き合ってもらってギターを購入。以後は学校でもバイト先でも、ひとりにギターを教えてもらおうとまとわりつく[32]。
日向 恵恋奈（ひなた
------------
Given the new context, refine the original answer to better answer the question. If the context isn't useful, return the original answer.
> Refined response: 

ひとりちゃんの得意な楽器はギターで、それはロックフェスでのひとりを見て憧れ、バンドを始めようと考えたことから始まりました。