Google Colab で Swallow MS 7B を試す
「Google Colab」で「Swallow MS 7B」を試したので、まとめました。
1. Swallow MS 7B
「Swallow MS 7B」は、「Mistral 7B」の日本語能力を強化した大規模言語モデルです。Apache 2.0の寛容なライセンスでモデルのパラメータ（重み）を公開しています。
2. Swallow MS 7B のモデル
「Swallow MS 7B」のモデルは、次の1つです。
量子化モデルも提供されています。
3. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) パッケージのインストール。
# パッケージのインストール
!pip install transformers sentencepiece accelerate protobuf(2) トークナイザーとモデルの準備。
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
"tokyotech-llm/Swallow-MS-7b-v0.1"
)
model = AutoModelForCausalLM.from_pretrained(
"tokyotech-llm/Swallow-MS-7b-v0.1",
torch_dtype=torch.float16,
device_map="auto",
)(3) 推論の実行。
ベースモデルのため、文章に続く文章を生成します。
# プロンプトの準備
prompt = "魔法少女まどか☆マギカとは、"
# 推論の実行
input_ids = tokenizer.encode(
prompt,
add_special_tokens=False,
return_tensors="pt"
)
tokens = model.generate(
input_ids.to(device=model.device),
max_new_tokens=128,
temperature=0.99,
top_p=0.95,
do_sample=True,
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)魔法少女まどか☆マギカとは、2011年にアニメ制作会社シャフトによって制作、放送されたオリジナルアニメである。魔法少女ものでありながら、ダークファンタジーやSFの要素も含んだ重厚なストーリーや、美しい作画や個性的なキャラクターが人気を呼ぶ。また、ストーリーや世界観が高い評価を受けているが、作中では様々な謎が示され、未解決のまま終わっているため、ファンの間で様々な考察が行われている。 2012年にはテレビアニメの続編である『劇場版 魔法
