ValueError: Expected metadata value to be a str, int, float or bool, got None which is a <class 'NoneType'>

retriever = vector_store.as_retriever(
        search_kwargs　=　{
                "filter": {"tag": "solr"}
        }
)

words = tokenizer.tokenize("もちっとカフェは検索エンジンやそれにまつわる自然言語処理を中心にサークル主である「さしみもち」が興味を持ったことを日々アウトプットしている同人サークルです。Word2VecやSolr関連の書籍の執筆や頒布活動を行っています。")
print(words)
# https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2
['もち', 'っと', 'カフェ', 'は', '検索', 'エンジン', 'や', 'それ', 'にまつわる', '自然', '言語', '処理', 'を', '中心', 'に', 'サークル', '主', 'で', 'ある', '「', 'さ', 'しみ', 'もち', '」', 'が', '興味', 'を', '持っ', 'た', 'こと', 'を', '日々', 'アウト', '##プ', '##ット', 'し', 'て', 'いる', '同人', 'サークル', 'です', '。', 'Wor', '##d', '2', 'Ve', '##c', 'や', 'Sol', '##r', '関連', 'の', '書籍', 'の', '執筆', 'や', '頒', '##布', '活動', 'を', '行っ', 'て', 'い', 'ます', '。']
# https://huggingface.co/line-corporation/line-distilbert-base-japanese
['▁もち', 'っ', '▁と', '▁カフェ', '▁は', '▁検索', '▁エンジン', '▁や', '▁それ', '▁に', '▁まつ', 'わる', '▁自然', '▁言語', '▁処理', '▁を', '▁中心', '▁に', '▁サークル', '▁主', '▁で', '▁ある', '▁「', '▁さ', 'しみ', '▁もち', '▁」', '▁が', '▁興味', '▁を', '▁持っ', '▁た', '▁こと', '▁を', '▁日々', '▁アウト', 'プ', 'ット', '▁し', '▁て', '▁いる', '▁同', '人', '▁サークル', '▁です', '▁。', '▁wor', 'd', '▁2', '▁v', 'ec', '▁や', '▁sol', 'r', '▁関連', '▁の', '▁書籍', '▁の', '▁執筆', '▁や', '▁', '頒', '布', '▁活動', '▁を', '▁行っ', '▁て', '▁い', '▁ます', '▁。']
# https://huggingface.co/pkshatech/GLuCoSE-base-ja
['▁', 'もち', 'っと', 'カフェ', 'は', '検索エンジン', 'や', 'それに', 'まつわる', '自然', '言語', '処理', 'を中心に', 'サークル', '主', 'である', '「', 'さ', 'しみ', 'もち', '」', 'が', '興味', 'を持った', 'ことを', '日々', 'アウトプット', 'している', '同人', 'サークル', 'です', '。', 'Word', '2', 'V', 'ec', 'や', 'S', 'ol', 'r', '関連の', '書籍', 'の', '執筆', 'や', '頒', '布', '活動', 'を行っています', '。']
# https://huggingface.co/intfloat/multilingual-e5-large
['▁', 'も', 'ち', 'っと', 'カフェ', 'は', '検索', 'エンジン', 'や', 'それに', 'ま', 'つ', 'わ', 'る', '自然', '言語', '処理', 'を中心に', 'サークル', '主', 'である', '「', 'さ', 'し', 'み', 'も', 'ち', '」', 'が', '興味', 'を持った', 'ことを', '日々', 'アウト', 'プ', 'ット', 'している', '同', '人', 'サークル', 'です', '。', 'Word', '2', 'V', 'ec', 'や', 'Sol', 'r', '関連', 'の', '書籍', 'の', '執', '筆', 'や', '頒', '布', '活動', 'を行っています', '。']

# sonoisa/sentence-bert-base-ja-mean-tokens-v2
オペレータールーム operating room {'score': 0.39732588073596975}
手術室 operating room {'score': 0.20133361228015667}
# pkshatech/GLuCoSE-base-ja
オペレータールーム operating room {'score': 0.6755412726006355}
手術室 operating room {'score': 0.44083859862786035}
# intfloat/multilingual-e5-large
オペレータールーム operating room {'score': 0.8819132635535043}
手術室 operating room {'score': 0.8826626988800004}

    "docs":[{
      "id":"bf1ab34a-9cff-11ee-9c81-0242c0a80007",
      "body":"Solrでベクトル検索をする場合、検索時も簡単です。 もし、各種クエリの使い方がわからない場合は、第 2 章 全文検索エンジンとして動かしてみるで解説しています。 適宜戻って見返してみてください。さて、ベクトルをインデックスさせたフィールドを指定して検索します。 インデックス時と同じようにリスト形式でベクトルを渡してあげます。\n```&q={!knn f=vector topK=10}[1.0, 2.0, 3.0, 4.0]```\n f がベクトル検索対象フィールドで、topK が上位何件を取得するかの指定になります。 topK のデフォルトは 10 件です。上記の例だと、ベクトル `[1.0, 2.0, 3.0, 4.0]` に近い順にスコアが高くなり検索上位にヒットします。 スコアは `similarityFunction` で指定した類似度計算の方法を使って算出された値になります。シャード分割している場合は、それぞれのシャードから topK を集めてくるようです。 なので、2 シャード構成の場合は `topK=10` だと 20 件ヒットします。また、次のように filter cache や cost などのローカルパラメーターを使えば、類似度スコアを絞り込み条件に使用できます。\n```&q={!knn f=vector topK=10}[1.0, 2.0, 3.0, 4.0]&fq={!frange cache=false l=0.99}$q```\n",
      "score":0.8361846
    },{
      "id":"bf1b9e90-9cff-11ee-9c81-0242c0a80007",
      "body":"紹介ＵＲＬはここ",
      "score":0.72576535
    },{
    },{
      "id":"bf1ab0d4-9cff-11ee-9c81-0242c0a80007",
      "body":"ベクトルデータベース（以下、ベクトル DB）とは、ひと言でいうとベクトル検索機能を備えたデータストアです。 あえて「データベース」ではなく、「データストア」と表現した理由は、2.7 従来型のデータベースとベクトルデータベースとの違いで触れます。ベクトル DB の提供各社のドキュメントをいくつか見てみると次のような説明がなされています。その名の通り、ベクトル形式のデータを効率的に貯蔵、抽出するためのデータストアです。 画像や音声、動画などの非構造化データあるいはテキストや地理空間データも埋め込み表現に変換して扱いたいという昨今のニーズに応える機能が盛り込まれています。 例えば、保存したベクトルデータに対する近似近傍探索機能などです。 これは従来のリレーショナルデータベース(以下、RDB)にはなかった機能です。 もちろん RDB と同様に、拡張性やバックアップ、セキュリティ機能も持ち合わせています。",
      "score":0.69493014
    },{

{
  "responseHeader":{
    "zkConnected":true,
    "status":0,
    "QTime":10
    "params":{
      "q":"{!knn f=vector topK=2}[-0.4743734300136566, 0.2524718940258026, 0.24989350140094757, ...]",
      "df":"id",
      "echoParams":"all",
      "fl":"id body score",
      "q.op":"AND",
      "sort":"score desc",
      "rows":"10",
      "facet":"off",
      "wt":"json"
    }
  },
  "response":{
    "numFound":2,
    "start":0,
    "maxScore":0.7486509,
    "numFoundExact":true,
    "docs":[{
      "id":"bf1ddc96-9cff-11ee-9c81-0242c0a80007",
      "body":"教えてくださぃ！！！",
      "score":0.7486509
    },{
      "id":"bf1b9e90-9cff-11ee-9c81-0242c0a80007",
      "body":"紹介ＵＲＬはここ",
      "score":0.72576535
    }]
  }
}

retriever = vector_store.as_retriever(
	search_type　=　"similarity_score_threshold", # スコア閾値を使用したいときに指定
        search_kwargs　=　{
		"k": k, # topK 件のドキュメントだけ取得する
                "filter": {"tag": "solr"}, # Solr の fq の条件を指定できる。使用できるフィールドはインデックス時に metadata で渡したフィールドのみ
                "score_threshold": 0.5 # score の閾値。これを上回ったドキュメントだけ取得する
        }
)

{
  "responseHeader": {
    "zkConnected": true,
    "status": 0,
    "QTime": 8,
    "params": {
      "q": "{!knn f=vector topK=3}[-0.4743734300136566, 0.2524718940258026, 0.24989350140094757,...]",
      "df": "id",
      "echoParams": "all",
      "fl": "id body score",
      "q.op": "AND",
      "sort": "score desc",
      "rows": "100",
      "facet": "off",
      "wt": "json",
      "rid": "null-29"
    }
  },
  "response": {
    "numFound": 3,
    "start": 0,
    "maxScore": 0.8361846,
    "numFoundExact": true,
    "docs": [
      {
        "id": "bf1ab34a-9cff-11ee-9c81-0242c0a80007",
        "body": "Solrでベクトル検索をする場合、検索時も簡単です。 もし、各種クエリの使い方がわからない場合は、第 2 章 全文検索エンジンとして動かしてみるで解説しています。 適宜戻って見返してみてください。さて、ベクトルをインデックスさせたフィールドを指定して検索します。 インデックス時と同じようにリスト形式でベクトルを渡してあげます。...",
        "score": 0.8361846
      },
      {
        "id": "bf1ab30e-9cff-11ee-9c81-0242c0a80007",
        "body": "\"ベクトル検索の基礎概念が理解できたところで、早速 Solr を使ってベクトル検索をやってみましょう。使い方は思いのほか簡単です。公式ドキュメント(https://solr.apache.org/guide/solr/latest/query-guide/dense-vector-search.html)でしっかりとチュートリアルがあります。...",
        "score": 0.8262049
      },
      {
        "id": "bf210e84-9cff-11ee-9c81-0242c0a80007",
        "body": "で、「サンガ」って検索するじゃないですか。",
        "score": 0.7650884
      }
    ]
  }
}

### 入力
あなたは対話エージェントです。
[参考]部分の情報を使って[ユーザ入力文]部分のユーザからの会話に回答してください。

[ユーザ入力文]
Solrでのベクトル検索の始め方を教えてください。
[参考]
ベクトル検索の基礎概念が理解できたところで、早速 Solr を使ってベクトル検索をやってみましょう。使い方は思いのほか簡単です。公式ドキュメント...

### 回答
Solrでのベクトル検索を始める手順について詳細に説明されていますね。基本的な手順を以下に要約します。

1. スキーマの定義: まず、managed-schema.xmlにベクトル検索用のフィールドを定義します。vectorDimensionやsimilarityFunctionなどのパラメータを指定します。
2. 高度な設定の追加: 必要に応じて、solrconfig.xmlにパラメータを指定し、パフォーマンスを微調整します。例えば、hnswMaxConnectionsやhnswBeamWidthなどを調整できます。
3. ベクトルをインデックス化: 定義したフィールドにベクトルデータをインデックス化します。
4. ベクトル検索の実行: 検索時には、`&q={!knn f=vector topK=10}[1.0, 2.0, 3.0, 4.0]`のような構文を使用します。fはベクトル検索対象フィールドを指定し、topKは上位何件を取得するかを指定します。

ただし、具体的なコードや設定についての質問がある場合は、それに応じて詳細な説明を提供できます。

### 回答
# calm2
ベクトル検索の始め方を教えてください。

### 入力
USER: 貴方はユーザーの質問に答えるAIアシスタントBotです。
ユーザーの質問に対して適切なアドバイスを答えます。
情報として、以下の内容を参考にしてください。
========
{context}
========
さて、「{query}」という質問に対して、上記の情報を元に、答えを考えてみましょう。
ASSISTANT:

### 入力
Solrという検索エンジンについて教えてください。

### 回答
# rinna/japanese-gpt-neox-3.6b-instruction-ppo
Googleなどの検索エンジンよりも、より柔軟なクエリ結果を生成することができます。また,オープンソースであるため無料で利用できています(ライセンスはMIT). Customersなどには良いですが,一般の利用者にはあまり馴染みがないかもしれません。 Web開発者やWebマーケティング担当者にとって有用であると同時に非常に強力なツールとなることがあります。

# calm2
solrは、オープンソースの検索エンジンです。
Apacheソフトウェア財団によって開発され、Luceneと呼ばれるJavaで書かれた全文検索ライブラリを使用しています。
Solrは、高速な検索性能と高い拡張性を兼ね備えており、様々なアプリケーションやWebサイトで利用されています。

### 入力
Solrでのベクトル検索の始め方を教えてください

### 回答
# rinna/japanese-gpt-neox-3.6b-instruction-ppo
もちろんです。
ベクトル検索の基本的な手順は、スキーマ定義で使用する関数を宣言し(solrconfig.xml)、インデックス作成とクエリ実行のためのコマンドラインユーティリティである Solaris Lucene Processing Tool (SALTAIR)-KernelPythonを使用します。
その後、要素を取得するために SSL/SSL v3-APIを使用して Webサーバーにリクエストを投げ込み、結果を受け取ります。
これにより、Google ScholarsやMicrosoft Online Serviceなどの高度なサービスを利用して大量のデータを分析できますが、これらのエンジンは効率化のためにかなり重い処理が必要になります。
また、「!knn f=vector」というキーワード引数を使用することで、類似度の計算方法を変更することができます。
これは、探索の結果に対してより柔軟なアプローチを取りたいときに有用であり、多くのアルゴリズムではこの手法が採用されています。
最後に重要なことは、ユーザーフレンドリーであることが非常に重要だということです。
そのためには、できるだけ簡単に学習できるようにすることが非常に役立ちました。
幸運にも素晴らしいチュートリアルがあります!
今後ともご活躍されること願っています。
:* * Numerical Algorithm "Best Practice" for Evaluation and Balance Analysis by

# calm2
ご質問にお答えします。

「Solrでのベクトル検索の始め方を教えてください」という質問に対しては、以下のように回答いたします。

Solr のスキーマ定義にベクトル検索用の型とフィールドを定義する。
<?xml version="1.0" encoding="UTF-8" ?>
<schema name="example" version="1.6">
     <field name="_version_" type="plong" indexed="false" stored="false" />
     <field name="_root_" type="int" indexed="true" stored="false" docValues="false" />
     <uniqueKey>id</uniqueKey>
     <field name="id" type="int" indexed="true" stored="true" required="true" />
     <field name="vector" type="knn_vector" indexed="true" stored="false" /> <!-- フィールド定義 -->
     <fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0" />
     <fieldType name="plong" class="solr.LongPointField" docValues="true" />
     <fieldType name="knn_vector" class="solr.DenseVectorField" vectorDimension="4" similarityFunction="cosine" /> <!-- 型定義 -->
</schema>

1 番下の行がベクトル用のフィールド定義です。
vectorDimension はインデックスするベクトルの次元数です。
現状指定できるのは最大 1024 次元までです。
similarityFunction には類似度計算の方法を定義します。
デフォルトはユークリッド距離になっていますが、公式の推奨はコサイン類似度です。
コサイン類似度は角度情報だけを使って類似度計算を行うので、事前に単位ベクトル (ベクトルのノルムを 1) にしておくことが推奨されています。
2023/2/25 現在、使用できる計算手法は以下の 3 つです

### 入力
フシキダネのデザインをしたのは誰ですか？

### 回答
# rinna/japanese-gpt-neox-3.6b-instruction-ppo
にしだあつこ
# calm2
フシギダネのデザインはにしだあつこが担当しました。