rinna をシュッと試す

!pip install transformers sentencepiece

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-neox-3.6b", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-neox-3.6b")

if torch.cuda.is_available():
    model = model.to("cuda")

text = "西田幾多郎は、"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=100,
        min_new_tokens=100,
        do_sample=True,
        temperature=0.8,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output)

西田幾多郎は、哲学者ではない。 
「『哲学は芸術ではないので、芸術では人間精神の無意識を客観的に探究することです』。
その無意識が何であるかは、人によって違うでしょうが」 無意識とか意識とか、この「意識」とは何だ。
 意識の働きとは何だ。 カントの「実践理性」が問題になったことがある。 
人は誰でも、自分の意識を自分の理性のなかに持っている。理性の外

text = "LLM とかけまして AI ととく。その心は、、、"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=100,
        min_new_tokens=100,
        do_sample=True,
        temperature=0.8,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output)

LLM とかけまして AI ととく。その心は、、、 どちらも(大)がつくくらい重要な問題だということです。」 
「先生、、、、、、、、、、、、、、、」 
「、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、」 
先生が顔を真っ赤にして怒っている様子を想像してみてください。

"2023年の一番センセーショナルなトピックは？"

2023年の一番センセーショナルなトピックは? 
また、私たちの国は、今、世界でどれくらいの影響力を持っていますか? 
何十年間も、私は「アメリカは世界にどれだけ影響を与えているか」という質問にうんざりしてきました。
 この質問をすると、誰もが「私たちは世界に影響を与えていますが、世界は私たちに影響を与えません」
という答えを期待しています。 私は私の答えが大好きです。
それは、これらの答えが事実である場合、私たちは、世界が

ミレニアル世代におすすめのアニメといえば、、、

ミレニアル世代におすすめのアニメといえば、、、 
・「アイカツ!」のアニメ 
・「プリキュア」のアニメ 
・「妖怪ウォッチ」のアニメ 
・「僕のヒーローアカデミア」のアニメ 
・「ジョジョの奇妙な冒険」のアニメ 
・「ドラゴンボール」のアニメ 
・「ワンピース」のアニメ 
・「名探偵コナン」のアニメ 
・「ドラゴンボール超」のアニメ 
・「ナルト」のアニメ 
・「銀魂」のアニメ 
・「ブリーチ」の

今おススメの VTuber といえば、、、

今おススメの VTuber といえば、、、、、、、、、、、 
もがちょ、でしょ! みんなも推してあげてね!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 
【おすすめ】 
・もがちゃんの可愛さは異常 
・もがちゃん可愛すぎわろた 
・もが単はかわいい 
・もが単最高です! 
【イベント】 
・もが単のクリスマスパーティー 
・もが単の冬ライブ 
・もが単の

ChatGPT についてどう思う？

ChatGPT についてどう思う? 
この通貨はビットコインでもイーサリアムでもスマートコントラクトでもないので、 
ビットコインのような通貨と比べて、 非常に優れているとはどうしても思えない。 
この通貨を ”使える” と考える人がいたら、 その人は、 
そもそもスマートコントラクトの価値を分かってないと思う。 
スマートコントラクトは、 仮想通貨やブロックチェーンの話において、
 価値あるものとして語られることが多いが、 私は、 この通貨は

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-sft", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-sft")

if torch.cuda.is_available():
    model = model.to("cuda")

prompt = [
    {
        "speaker": "ユーザー",
        "text": "おすすめのアニメを教えて？"
    },
    {
        "speaker": "システム",
        "text": "どういったアニメが知りたいですか？"
    },
    {
        "speaker": "ユーザー",
        "text": "ミレニアル世代にささるアニメを教えてください"
    }
]
prompt = [
    f"{uttr['speaker']}: {uttr['text']}"
    for uttr in prompt
]
prompt = "<NL>".join(prompt)
prompt = (
    prompt
    + "<NL>"
    + "システム: "
)

token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        do_sample=True,
        max_new_tokens=128,
        temperature=0.7,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0][token_ids.size(1):])
output = output.replace("<NL>", "\n")
print(output)

わかりました、いくつか良いアニメをおすすめできます。 
Netflixには「進撃の巨人」、「ワンパンマン」、「ドラゴンボールZ」、
「鋼の錬金術師」などがあります。 Amazonには「ソードアート・オンライン」、
「ラブライブ!」「進撃の巨人」などがあります。 
「鋼の錬金術師」は、より多くのキャラクターや設定などが魅力的ですが、
より強烈であるため、好みが分かれるでしょう。</s>