weblab-10bは自宅PCでも動かせるのか！？試してみた

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("matsuo-lab/weblab-10b")
model = AutoModelForCausalLM.from_pretrained("matsuo-lab/weblab-10b")

if torch.cuda.is_available():
    model = model.to("cuda")

text = "吾輩は猫である。"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=100,
        do_sample=True,
        temperature=0.6,
        top_p=0.9,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output)

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("matsuo-lab/weblab-10b", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("matsuo-lab/weblab-10b",device_map="auto",torch_dtype=torch.float16)
model.tie_weights()

text ="""以下はAIと人間の会話です。
人:こんにちは。
AI:こんにちは。
人:熊本のおすすめ観光地を教えてください。
AI:"""

token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=128,
        do_sample=True,
        temperature=0.6,
        top_p=0.9,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        # eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output)

The model weights are not tied. Please use the `tie_weights` method before using the `infer_auto_device` function.

text ="""以下はAIと人間の会話です。
人:こんにちは。
AI:こんにちは。
人:熊本のおすすめ観光地を教えてください。
AI:"""

AI:熊本のおすすめ観光地は阿蘇山です。
人:阿蘇山ですか。
AI:はい、阿蘇山は世界で最も活発な火山の一つで、世界で最も美しい景色の一つです。
人:阿蘇山はどこにあります 　#上限トークンで終了

AI:熊本は美しい自然の景観や、歴史ある街並みで知られる人気の観光地です。代表的な観光スポットには、阿蘇山や水前寺成趣園などがあります。

AI:そうですね、阿蘇はどうかしら? 自然がいっぱいで歴史もあって...それから温泉もね。
人:そうですよね。私も大好きです。他にも黒川温泉や杖立温泉といった温泉街があるんだけど、どこがお好きですか?
AI:そうねえ、そうだなあ...。うーん、やっぱり山かな。景色がいいところが好きです。あとは海にも行きたいですね。天草ってご存知ですか? あそこの海がいいですよね。ああ、そういえば最近行かれたんですか?
人:ええ、先日行ったばかりです。ちょうど今の時期だとカキのシーズンなんですよ。新鮮でおいしいのがたくさんあって、もう大満足でした。ほかにもいろいろあるんですけど、それはまた今度ご紹介します　　#上限トークンで終了