Axolotl で マルチターンの対話データセットによるLoRAファインチューニングを試す

# Googleドライブのマウント
from google.colab import drive
drive.mount("/content/drive")

# 作業フォルダへの移動
import os
os.makedirs("/content/drive/My Drive/work", exist_ok=True)
%cd '/content/drive/My Drive/work'

# パッケージのインストール
!git clone https://github.com/OpenAccess-AI-Collective/axolotl
%cd axolotl

# --extra-index-url https://download.pytorch.org/whl/cu118
# --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/
# torch==2.0.1

!pip install packaging
!pip install -e '.[flash-attn,deepspeed]'
!pip install -U git+https://github.com/huggingface/peft.git

!git clone https://github.com/jqk09a/japanese-daily-dialogue

import json

speaker_map = {
    "A": "human",
    "B": "gpt",
}

with open("llama_finetune_train.jsonl", "w", encoding="utf-8") as fout:
    for i in range(1, 5):
        with open("japanese-daily-dialogue/data/topic" + str(i) + ".json", "r", encoding="utf-8") as fin:
            in_messages = json.load(fin)
            for in_message in in_messages:
                # utterancesの変換
                out_utterances = []
                in_utterances = in_message["utterances"]
                for in_utterance in in_utterances:
                    out_utterances.append({
                        "from": speaker_map[in_utterance["speaker"]], 
                        "value": in_utterance["utterance"]
                    })
            
                # JSONの書き込み
                json_line = json.dumps({"conversations": out_utterances}, ensure_ascii=False)
                fout.write(json_line + "\n")

{"conversations": [{"from": "human", "value": "おはようございます。今日はとても良いお天気ですね。"}, {"from": "gpt", "value": "はい。雲一つなくとても良い天気です。"}, {"from": "human", "value": "この様子だと昼から暑くなりそうですね。"}, {"from": "gpt", "value": "そうですね。お昼ご飯にはさっぱりした物が食べたくなります。"}, {"from": "human", "value": "冷やし中華などでしょうか？"}, {"from": "gpt", "value": "いいですね。よかったら一緒に食べに行きませんか？"}, {"from": "human", "value": "ぜひ行きましょう。"}]}
{"conversations": [{"from": "human", "value": "お昼休憩ですね。今日は何を食べますか？"}, {"from": "gpt", "value": "今日はステーキが食べたい気分です。加藤さんは何が食べたいですか？"}, {"from": "human", "value": "私はハンバーグが食べたいです。"}, {"from": "gpt", "value": "では、ステーキとハンバーグの両方のメニューがあるお店を探しましょうか？"}, {"from": "human", "value": "そうですね。この先にレストランのガストがあるので、ガストへ行きましょうか？"}, {"from": "gpt", "value": "では、ガストへ行きましょう。私はドリンクバーの割引クーポンを持っているので、ドリンクバーもつけましょう。"}]}
    :

datasets:
  - path: mhenrichsen/alpaca_2k_test
    type: alpaca

datasets:
  - path: llama_finetune_train.jsonl
    type: sharegpt
    conversation: llama-2

gradient_accumulation_steps: 4
micro_batch_size: 2
num_epochs: 4

gradient_accumulation_steps: 8
micro_batch_size: 1
num_epochs: 4

!accelerate launch -m axolotl.cli.inference examples/llama-2/lora.yml \
    --lora_model_dir="./lora-out"

!echo "[INST] おはようございます。今日はとても良いお天気ですね。 [/INST]" | python -m axolotl.cli.inference examples/llama-2/lora.yml \
    --lora_model_dir="./lora-out"

!echo "[INST] 日本の首都は？ [/INST] 東京です。</s><s> [INST] その場所の観光名所を教えて。 [/INST]" | python -m axolotl.cli.inference examples/llama-2/lora.yml \
    --lora_model_dir="./lora-out"