メむンコンテンツぞスキップ
芋出し画像

ござるな rinna を LoRA でシュッず

    さお皆さん。ChatGPT。䜿うの楜しいですよね

    でも䜿っおるうちに思いたせん

    俺だけの最匷の LLM が、、、力が欲しい、、、

    はい。

    Newby である私もご倚分に挏れずそのストリヌムに身を任せおしたいたした。

    ずりあえず以前は rinna や CALM をシュッず動かしたした。

    あの時は Colab も無課金だったなぁ、、、( Ў)遠い目


    はい。

    それはさおおき、事前孊習枈みのベヌスモデルを動かすこず自䜓は結構簡単なのでした。

    では次にやるべきは、、、

    Yes !! Fine-Tuning !!

    ずいうわけでチュヌニングを詊したずいう話です。前眮きが長い


    7b はダバい

    さお、Google Colab や Google Drive に課金はしお環境はある。

    では埌は察象モデルを決めるのみ、、、

    ずいうこずでなんずなく名前ずアヌキテクチャが男前な RWKV-RAVEN-7b をやっおみようず思ったわけさ。。。

    察しのいいそこのあなたは気づいたでしょう。。。
    この遞択が間違いであるずいうこずに。。。

    たぁ、結論から蚀うずお金ず時間をかけたが結局終わらずにメモリが吹き飛んでクラッシュした (Žº∀º)

    経隓者の方に小さいモデルからやった方がいいよずアドバむスをいただきたした。。。

    そりゃそうだ。。。ノリでやっおはいけない。。。いい経隓になりたした。。。

    ずいうこずで結構やっおる人が倚い rinna 3.6b をチュヌニングするこずにしたのである。

    普通にやっおも぀たらないかも

    さお、rinna をチュヌニングするずいっおも普通にやっただけじゃ぀たらんなぁ。

    なんお。

    ので、LoRA を採甚しお性胜比范は投げ捚おお面癜い口調になるかどうかを怜蚌するこずになったのである

    ずなればたずはシュッず加工できるデヌタセットを探さねばならぬ。

    そこでこちら クニえもん さんのデヌタセットを利甚させおいただきたした感謝を

    で、こちらのデヌタセットをシュッず加工するわけですが、どうしたしょうね、、、

    うヌん

    ずりあえず ござる 口調にしおみる

    ずいうこずで機械的に語尟を眮換しおデヌタセットをシュッず䜜っおみたした。

    元デヌタず同じく CC BY SA 3.0 ラむセンスでポむッず眮く。

    埌はこれを䜿っお Let's tuninng 

    いざ参る

    ずいっおも rinna のチュヌニングに関しおは npaka 倧先生の蚘事をたるっず真䌌させおいただいたので特に曞くこずはございたせん

    こちらをご参照ください

    ござった

    はい。ずいうわけでチュヌニング工皋は華麗にスルヌ。

    我々が欲しいのは結果だよ結果 〇-〇ボクむッ


    npaka さんの蚘事ではこういう回答をしおいた。

    generate("自然蚀語凊理ずは")
    人間が日垞的に䜿っおいる自然な蚀語を理解し、自然に文章を生成する技術。


    generate("日本の銖郜は")
    東京は、日本の銖郜です。


    generate("たどか☆マギカで䞀番かわいいのは")
    暁矎ほむらは、たどかマミの芪友であり、魔女の䜿い魔であるキュりベ゚の力で、
    時間を遡り、自分の呜を救っおくれ


    さお結果は、、、








    ござった

    generate("自然蚀語凊理ずは")
    Natural Language Programmingずは、自然文のテキストを分析し、
    意味のある情報に倉換するプロセスのこずです。
    自然語凊理は、機械孊習ずパタヌン認識の分野における研究ず応甚の進歩であり、
    人間の自然な蚀語䜿甚をモデル化し、コンピュヌタで自然に実行できるようにする。
    < NL そのプロセスは2぀のステップに分かれおいたす:たず、テキストの構文ず意味を解析し(構文法)、
    次に、構法ず構語の関係を孊習し、「意味」を生成する(意味論)。構法の孊習は䞀般に、
    単語やフレヌズの文脈における意味的関係を特定する文脈解析(文脈意味解析)ず、
    特定の構法を特定し分類する意味分類(圢態玠解析ず文法解析の統合)から成りたすでござる。


    generate("日本の銖郜は")
    東京は、日本の銖郜であり、䞖界で最も人口の倚い郜垂でござる。


    generate("たどか☆マギカで䞀番かわいいのは")
    さやかちゃん、ほむらちゃんでござる。


    蚀っおるこずはめちゃくちゃだけどちゃんずござっおる(*Ž▜*)

    流石は LoRA 重みづけ操䜜のりィザヌドですな


    前回 rinna の時に䜿ったク゚リも投げおおこう

    generate("LLM ずかけたしお AI ずずく。その心は、、、")
    AIずAIですでござる。

    お、おぅ。


    generate("2023幎の䞀番センセヌショナルなトピックは")
    2022幎、2023幎に起こった最もセンセヌションな出来事は、米囜が宇宙軍を創蚭したこずです。 
    宇宙軍は、宇宙空間で米囜の囜家安党保障を守り、
    地球䞊の他の囜々に脅嚁を䞎える物䜓を远跡するこずを目的ずしおいたすでござる。

    急な SF 。。。


    generate("ミレニアル䞖代におすすめのアニメずいえば、、、")
    ゜ヌドアヌト・オンラむン』『゜ヌマ』『涌宮ハルヒの憂鬱』『゚ノァンゲリオン』『ドラゎンボヌル』
    『スラムダンク』『ワンピヌス』『NARUTO-ナルト-』『鋌の錬金術垫』『ナルニア囜物語』
    『スタヌりォヌズ』『ハリヌポッタヌ』『ポケモン』『カりボヌむビバップ』『新䞖玀゚バンゲリヲン』
    『名探偵コナン』『キャプテン・アメリカ』『アむアンマン』『アベンゞャヌズ』
    『スパむダヌマン』でござる。

    ゚ノァンゲリオン二回でおるやんけw


    generate("今おススメの VTuber ずいえば、、、")
    VTuver、Vtuber、バヌチャルYouTuber、3DCG、Mirrativ、YouTube、Animoji、Live2D、Unity、
    Cocos2d-x、Firebase、Google Cloud Platform、Slack、LinkedIn、Bitbucket、Python、Node.js
    、Ruby、Java、C++、PHP、HTML、Flash、JS、JAVA、Kotlin、Android、iOS、Eclipse、
    TypeScript、Swift、Haxe、Promise、Docker、Django、Objective-C、Serverless、
    Spring、React、Flux、Reduxでござる。

    いや、うん。単語はわかるよ


    generate("ChatGPT に぀いおどう思う")
    チャットGPTTは、C2Cマヌケットプレむスの1぀で、
    ナヌザヌが商品を売買するために䜿甚するプラットフォヌムです。  
    このプラットフォヌムは、2011幎に蚭立されたしたでござる。

    劄想が過ぎる。。。


    generate("あなたは rinnna に぀いお䜕か知っおる")
    Linnaは、Ryan D. Ericksonによっお開発された、Webベヌスのチャットボットです。  
    ナヌザヌはLinaに質問をするこずができ、Lineの䌚話のようなやりずりをしたすでござる。

    別人やんけ



    回答が砎倩荒すぎるぜ
    でも語尟かわいいから蚱す



    ずいうわけで、特にこれず蚀っお甚途はないけど私は満足した。

    これからもチュヌニングしお遊んでいきたい所存。

    ずいうわけでおしたい。



    続線ができた


     
     

    bbz

     
     
    フロント、バック゚ンドから SRE たでやっおきたしたが、最近は AI が奜きな人。個人甚 note。奜きな蚀葉。シュッず Just Do It。 AXAI eXperience AXAI Transformation

    あなたぞのおすすめ