Google ColabでLLM（llm-jp-3-instruct、HF形式）をGGUF形式に変換する

# パッケージのインストール
!pip install transformers accelerate flash-attn

# LLMのダウンロード（llm-jp-3-3.7b-instruct）
!git lfs install
!git clone https://huggingface.co/llm-jp/llm-jp-3-3.7b-instruct

# tokenizerモデルのダウンロード（llm-jp-3系以外では実行しないこと）
!wget https://github.com/llm-jp/llm-jp-tokenizer/raw/refs/heads/main/models/ver3.0/llm-jp-tokenizer-100k.ver3.0b1.model -O ./llm-jp-3-3.7b-instruct/tokenizer.model

# llama.cppのダウンロード
!git clone https://github.com/ggerganov/llama.cpp
# llamaのビルド（7～10分かかる、BF16やQ8への変換のみであれば不要）
!cd llama.cpp && make

# GGUF形式への変換（Q8_0の場合。BF16の場合はq8_0やq8をbf16にする）
# モデルが異なる場合はファイル名やパスを書き換えること
!python ./llama.cpp/convert_hf_to_gguf.py ./llm-jp-3-3.7b-instruct --outtype q8_0 --outfile ./llm-jp-3-3.7b-instruct-q8_0.gguf

# BF16からQ6_Kへの変換（オプション、要llama.cppのビルド、quantization typesを適宜変更すること）
!./llama.cpp/llama-quantize ./llm-jp-3-3.7b-instruct-bf16.gguf ./llm-jp-3-3.7b-instruct-q6_k.gguf q6_k

# 応答の確認（ファイル名は適宜変更すること）
command = """
./llama.cpp/llama-cli -m './llm-jp-3-3.7b-instruct-q8_0.gguf' -p '
## 指示 ##
もし犬が突然しゃべれるようになったら、最初になんて言うと思う？
## 応答 ##
' -n 100
"""
!{command}

# Googleドライブのマウント（旧方式）
from google.colab import drive
drive.mount("/content/drive")

# Googleドライブへコピー（ファイル名は適宜変更すること）
import shutil
import os
src_file = './llm-jp-3-3.7b-instruct-q8_0.gguf'
dst_dir = '/content/drive/MyDrive'
shutil.copy(src_file, dst_dir)

# パッケージのインストール
!pip install transformers accelerate flash-attn

# LLMのダウンロード（llm-jp-3-3.7b-instruct）
!git lfs install
!git clone https://huggingface.co/llm-jp/llm-jp-3-13b-instruct

# ダウンロードしたディレクトリのディスク使用量を確認する
!du -hcs ./llm-jp-3-13b-instruct

（下記は実行結果）
52G	./llm-jp-3-13b-instruct
52G	total

# tokenizerモデルのダウンロード（他のモデルでは実行しないこと）
!wget https://github.com/llm-jp/llm-jp-tokenizer/raw/refs/heads/main/models/ver3.0/llm-jp-tokenizer-100k.ver3.0b1.model -O ./llm-jp-3-13b-instruct/tokenizer.model

# llama.cppのダウンロード
!git clone https://github.com/ggerganov/llama.cpp
# llamaのビルド（7～10分かかる、BF16やQ8_0への変換のみであれば不要）
!cd llama.cpp && make

# GGUF形式への変換（Q8の場合。BF16の場合はq8_0やq8をbf16にする）
# モデルが異なる場合はファイル名やパスを書き換えること
!python ./llama.cpp/convert_hf_to_gguf.py ./llm-jp-3-13b-instruct --outtype q8_0 --outfile ./llm-jp-3-13b-instruct-q8_0.gguf

# BF16からQ6_Kへの変換（オプション、要llama.cppのビルド）
!./llama.cpp/llama-quantize ./llm-jp-3-13b-instruct-bf16.gguf ./llm-jp-3-13b-instruct-q4_k_m.gguf q4_k_m

# ダウンロードしたモデルを削除（無料版でさらに変換する場合は必須）
!rm -rf ./llm-jp-3-13b-instruct

# Q8_0からQ4_K_Mへの変換（オプション、Output.weightを除くrequantize、要llama.cppのビルド、quantization typesを適宜変更すること）
!./llama.cpp/llama-quantize --allow-requantize --leave-output-tensor ./llm-jp-3-13b-instruct-q8_0.gguf ./llm-jp-3-13b-instruct-q4_k_m_req_lot.gguf q4_k_m

# Q8_0からQ4_K_Mへの変換（オプション、Output.weightを含むrequantize、要llama.cppのビルド、quantization typesを適宜変更すること）
!./llama.cpp/llama-quantize --allow-requantize ./llm-jp-3-13b-instruct-q8_0.gguf ./llm-jp-3-13b-instruct-q4_k_m_req.gguf q4_k_m

# 応答の確認（ファイル名は適宜変更すること）
command = """
./llama.cpp/llama-cli -m './llm-jp-3-13b-instruct-q4_k_m_req.gguf' -p '
## 指示 ##
15文字以内で自己紹介を行ってください。それ以外の出力は必要ありません。
## 応答 ##
' -n 100
"""
!{command}

# Googleドライブのマウント（旧方式）
from google.colab import drive
drive.mount("/content/drive")

# Googleドライブへコピー（ファイル名は適宜変更すること）
import shutil
import os
src_file = './llm-jp-3-13b-instruct-q8_0.gguf'
dst_dir = '/content/drive/MyDrive'
shutil.copy(src_file, dst_dir)

usage: convert_hf_to_gguf.py [-h] [--vocab-only] [--outfile OUTFILE]
                             [--outtype {f32,f16,bf16,q8_0,tq1_0,tq2_0,auto}] [--bigendian]
                             [--use-temp-file] [--no-lazy] [--model-name MODEL_NAME] [--verbose]
                             [--split-max-tensors SPLIT_MAX_TENSORS]
                             [--split-max-size SPLIT_MAX_SIZE] [--dry-run]
                             [--no-tensor-first-split] [--metadata METADATA]
                             model

Convert a huggingface model to a GGML compatible file

positional arguments:
  model                 directory containing model file

options:
  -h, --help            show this help message and exit
  --vocab-only          extract only the vocab
  --outfile OUTFILE     path to write to; default: based on input. {ftype} will be replaced by the
                        outtype.
  --outtype {f32,f16,bf16,q8_0,tq1_0,tq2_0,auto}
                        output format - use f32 for float32, f16 for float16, bf16 for bfloat16,
                        q8_0 for Q8_0, tq1_0 or tq2_0 for ternary, and auto for the highest-
                        fidelity 16-bit float type depending on the first loaded tensor type
  --bigendian           model is executed on big endian machine
  --use-temp-file       use the tempfile library while processing (helpful when running out of
                        memory, process killed)
  --no-lazy             use more RAM by computing all outputs before writing (use in case lazy
                        evaluation is broken)
  --model-name MODEL_NAME
                        name of the model
  --verbose             increase output verbosity
  --split-max-tensors SPLIT_MAX_TENSORS
                        max tensors in each split
  --split-max-size SPLIT_MAX_SIZE
                        max size per split N(M|G)
  --dry-run             only print out a split plan and exit, without writing any new files
  --no-tensor-first-split
                        do not add tensors to the first split (disabled by default)
  --metadata METADATA   Specify the path for an authorship metadata override file

usage: llama.cpp\build\bin\Debug\llama-quantize.exe [--help] [--allow-requantize] [--leave-output-tensor] [--pure] [--imatrix] [--include-weights] [--exclude-weights] [--output-tensor-type] [--token-embedding-type] [--override-kv] model-f32.gguf [model-quant.gguf] type [nthreads]

  --allow-requantize: Allows requantizing tensors that have already been quantized. Warning: This can severely reduce quality compared to quantizing from 16bit or 32bit
  --leave-output-tensor: Will leave output.weight un(re)quantized. Increases model size but may also increase quality, especially when requantizing
  --pure: Disable k-quant mixtures and quantize all tensors to the same type
  --imatrix file_name: use data in file_name as importance matrix for quant optimizations
  --include-weights tensor_name: use importance matrix for this/these tensor(s)
  --exclude-weights tensor_name: use importance matrix for this/these tensor(s)
  --output-tensor-type ggml_type: use this ggml_type for the output.weight tensor
  --token-embedding-type ggml_type: use this ggml_type for the token embeddings tensor
  --keep-split: will generate quatized model in the same shards as input  --override-kv KEY=TYPE:VALUE
      Advanced option to override model metadata by key in the quantized model. May be specified multiple times.
Note: --include-weights and --exclude-weights cannot be used together

Allowed quantization types:
   2  or  Q4_0    :  4.34G, +0.4685 ppl @ Llama-3-8B
   3  or  Q4_1    :  4.78G, +0.4511 ppl @ Llama-3-8B
   8  or  Q5_0    :  5.21G, +0.1316 ppl @ Llama-3-8B
   9  or  Q5_1    :  5.65G, +0.1062 ppl @ Llama-3-8B
  19  or  IQ2_XXS :  2.06 bpw quantization
  20  or  IQ2_XS  :  2.31 bpw quantization
  28  or  IQ2_S   :  2.5  bpw quantization
  29  or  IQ2_M   :  2.7  bpw quantization
  24  or  IQ1_S   :  1.56 bpw quantization
  31  or  IQ1_M   :  1.75 bpw quantization
  10  or  Q2_K    :  2.96G, +3.5199 ppl @ Llama-3-8B
  21  or  Q2_K_S  :  2.96G, +3.1836 ppl @ Llama-3-8B
  23  or  IQ3_XXS :  3.06 bpw quantization
  26  or  IQ3_S   :  3.44 bpw quantization
  27  or  IQ3_M   :  3.66 bpw quantization mix
  12  or  Q3_K    : alias for Q3_K_M
  22  or  IQ3_XS  :  3.3 bpw quantization
  11  or  Q3_K_S  :  3.41G, +1.6321 ppl @ Llama-3-8B
  12  or  Q3_K_M  :  3.74G, +0.6569 ppl @ Llama-3-8B
  13  or  Q3_K_L  :  4.03G, +0.5562 ppl @ Llama-3-8B
  25  or  IQ4_NL  :  4.50 bpw non-linear quantization
  30  or  IQ4_XS  :  4.25 bpw non-linear quantization
  15  or  Q4_K    : alias for Q4_K_M
  14  or  Q4_K_S  :  4.37G, +0.2689 ppl @ Llama-3-8B
  15  or  Q4_K_M  :  4.58G, +0.1754 ppl @ Llama-3-8B
  17  or  Q5_K    : alias for Q5_K_M
  16  or  Q5_K_S  :  5.21G, +0.1049 ppl @ Llama-3-8B
  17  or  Q5_K_M  :  5.33G, +0.0569 ppl @ Llama-3-8B
  18  or  Q6_K    :  6.14G, +0.0217 ppl @ Llama-3-8B
   7  or  Q8_0    :  7.96G, +0.0026 ppl @ Llama-3-8B
  33  or  Q4_0_4_4 :  4.34G, +0.4685 ppl @ Llama-3-8B
  34  or  Q4_0_4_8 :  4.34G, +0.4685 ppl @ Llama-3-8B
  35  or  Q4_0_8_8 :  4.34G, +0.4685 ppl @ Llama-3-8B
   1  or  F16     : 14.00G, +0.0020 ppl @ Mistral-7B
  32  or  BF16    : 14.00G, -0.0050 ppl @ Mistral-7B
   0  or  F32     : 26.00G              @ 7B
          COPY    : only copy tensors, no quantizing

!pip install transformers accelerate flash-attn

!pip install huggingface_hub
!huggingface-cli login

!git lfs install
!git clone https://huggingface.co/google/gemma-2-2b-jpn-it

!git clone https://github.com/ggerganov/llama.cpp
!cd llama.cpp && make

!python ./llama.cpp/convert_hf_to_gguf.py ./gemma-2-2b-jpn-it --outtype bf16 --outfile ./gemma-2-2b-jpn-it-bf16.gguf

!./llama.cpp/llama-quantize ./gemma-2-2b-jpn-it-bf16.gguf ./gemma-2-2b-jpn-it-q6_k.gguf q6_k

command = """
./llama.cpp/llama-cli -m './gemma-2-2b-jpn-it-q6_k.gguf' -p '
## 指示 ##
200文字以内で自己紹介を行ってください。それ以外の出力は必要ありません。
## 応答 ##
' -n 200
"""
!{command}

## 指示 ##
200文字以内で自己紹介を行ってください。それ以外の出力は必要ありません。
## 応答 ##
こんにちは！私は、オープンソースのAIアシスタント、Bardです。Googleによって開発された大規模言語モデルです。テキストを理解し、生成する能力を持っています。あなたと会話したり、情報を提供したり、さまざまなタスクを実行することができます。