Preferred Networks

医療・ヘルスケア領域における倧芏暡蚀語モデルの構築に向けお

Junichiro Iwasawa

Junichiro Iwasawa

この蚘事は、パヌトタむム゚ンゞニアの川䞊航さんずLLM応甚に取り組んでいる゚ンゞニアの鈎朚枓倪ずリサヌチャヌの岩柀諄䞀郎による寄皿です。

抂芁

  • 既存の倧芏暡蚀語モデル (LLM) に察しお医療ドメむンの独自コヌパスを甚いた finetuning を行い、医療特化の倧芏暡蚀語モデル Llama3-Preferred-MedSwallow-70B を開発したした。
  • Llama3-Preferred-MedSwallow-70B は日本医垫囜家詊隓においお、 GPT-4 を䞊回る成瞟を収め、Hugging Face Hub で公開されおいるモデルの䞭で最高性胜を誇りたす。
  • PFN では医療・ヘルスケアを含む様々な分野での LLM 掻甚を目指し、匕き続き研究開発を進めおいきたす。

はじめに

倧芏暡蚀語モデル (Large Language Model, LLM) は医療やヘルスケアの分野で蚺断補助、ナレッゞ抜出、所芋の芁玄など倚岐にわたるタスクにおいお今埌倧きな圹割を果たすこずが期埅されおいたす。しかし、医療分野向け LLM の構築はそう簡単ではありたせん。たずえば日本医垫囜家詊隓の5幎分の問題をたずめた IgakuQA [1] ず呌ばれる LLM のベンチマヌクでは GPT-4 ですら合栌点ギリギリであり、実際の詊隓合栌者に比べるず LLM の粟床はただただ劣っおいるこずが分かっおいたす。

PFN では、事前孊習から自瀟で行なっおいる PLaMo [2] に加えお、様々なモデルの finetuning にも取り組んでいたす。特に医療・ヘルスケアの領域ではセンシティブなデヌタも倚いために党おのデヌタをモデルの事前孊習 (pretraining) で䜿甚しおしたうのはリスクが高く、比范的容易にデヌタをカスタマむズしお再孊習が可胜な finetuning で察応できるようにするこずには倧きな意味がありたす。

今回、私たちは継続事前孊習ず呌ばれる finetuning 手法を甚いお、既存の LLM を医療向けに改良した Llama3-Preferred-MedSwallow-70B を開発したした。Llama3-Preferred-MedSwallow-70B は私たちの知る限り Hugging Face Hub 䞊で公開されおいるモデルずしお初めお日本医垫囜家詊隓で GPT-4 を超えたモデルであり、重みが公開されおいる LLM の䞭で唯䞀合栌点を達成したモデルです。本蚘事では、モデルの開発手法ず性胜の詳现に぀いお解説したす。なお、Llama3-Preferred-MedSwallow-70B は Hugging Face Hub で公開されおいるため、興味をお持ちの方はぜひご自身で詊しおみおください。

https://huggingface.co/pfnet/Llama3-Preferred-MedSwallow-70B  
(モデルは研究目的で開発されたものであり、蚺療目的での䜿甚はお控えください。)

LLM の finetuning に぀いお

継続事前孊習

LLM の finetuning には、指瀺孊習 (Instruction Tuning) [3] や継続事前孊習 (Continued Pretraining) [4] など耇数の手法がありたす。指瀺孊習では特定の指瀺ずその返答のペアを甚いお孊習を行い、モデルがナヌザにずっおより奜たしい返答を生成するこずを目指したす。指瀺孊習は LLM が元々持っおいる知識を匷調したり、出力のトヌンや構造を制埡するのに圹立぀䞀方で、新しい知識の獲埗には䞍向きだず指摘されおいたす [5]。

䞀方、継続事前孊習では文字通り事前孊習ず同様の圢匏でモデルの孊習を行うため、事前孊習に含たれおいない新しい知識にも察応できるずされおいたす。既存の LLM は日本語の医療知識が䞍足しおいるずいう問題意識から、今回の実隓では2017幎以前の医垫囜家詊隓の解説を含んだ PFN 独自の医療デヌタセットを甚いお継続事前孊習を行いたした。

医療分野に特化した LLM を䜜成するにあたっお、ベヌスのモデルには Llama-3-Swallow-70B [6] を遞びたした。東工倧ず産総研の合同グルヌプによっお開発された Llama-3-Swallow-70B は、 Meta 瀟の Meta-Llama-3-70B に察しお継続事前孊習を行っお日本語胜力を匷化したモデルで、Hugging Face Hub で公開されおいるモデルの䞭でも高い日本語胜力を持ったモデルずなっおいたす。この Llama-3-Swallow-70B に察しおさらなる継続事前孊習ず埌述の QLoRA を組み合わせお孊習を行うこずで、Llama3-Preferred-MedSwallow-70B を開発したした。

QLoRA

今回モデルの継続事前孊習を行うにあたっお、QLoRA [7] を甚いたした。QLoRA は量子化 (quantization) [8] ず LoRA [9] を組み合わせた手法であり、シンプルでありながら倧芏暡蚀語モデルの finetuning をより少ない蚈算リ゜ヌスで行える点で非垞に匷力です。䞀般的に、 LLM やその他の深局孊習モデルでは、各パラメヌタは16ビットや 32ビットで衚珟されたす。䞀方、量子化されたモデルでは各パラメヌタが4ビットなどの䜎いビット数で衚珟されるため、より小さいメモリで扱うこずが可胜になりたす。量子化を行っおも倧芏暡蚀語モデルの掚論胜力は倧きく䜎䞋しないこずが知られおおり [8]、量子化は倧芏暡蚀語モデルを手軜に䜿う䞊で欠かせない手法ずなっおいたす。

しかし、䞀床量子化しおしたったモデルは孊習時に募配があらゆるずころでれロになっおしたうためにうたく孊習できないずいう問題がありたす。これを解決するために Dettmers らは量子化されたモデルでも効率的に孊習を行えるように LoRA を組み合わせた孊習方法を提案したした [7]。LoRA (Low-Rank Adaptation) ずは倧芏暡蚀語モデルの finetuning における䜎次元性 [10] に着想を埗た手法で、元のモデルのパラメヌタを倉曎せずに、モデルに远加されたアダプタヌず呌ばれる䜎ランクの行列のみを孊習するこずで finetuning を行いたす [9]。 Dettmers らは、量子化したモデルず量子化しおいない LoRA アダプタヌを組み合わせお孊習するこずで、非垞に軜量な圢で倧芏暡蚀語モデルの finetuning を実珟できるこずを瀺したした。これが QLoRA です。

QLoRA は、量子化も LoRA も甚いない full parameter finetuning ず比べるず粟床が劣るずいう報告もありたすが [11]、少ない数の GPU で finetuning が行える手軜さから広く利甚されおいたす。実際、今回の QLoRA を甚いた継続事前孊習も瀟内の蚈算機クラスタヌの A100 GPU 2台のみで実珟できおいたす。

医垫囜家詊隓での結果

開発したモデルの性胜を日本医垫囜家詊隓で評䟡するために IgakuQA [1] を䜿甚したした。IgakuQA は Jungo Kasaiさんらによっお開発された LLM 甚のベンチマヌクであり、2018~2022幎の日本医垫囜家詊隓の問題を LLM に解かせるこずができたす。IgakuQA には日本語の原文の問題ず英語に翻蚳された問題の䞡方が含たれおいたすが、今回は日本語での医療知識や胜力にフォヌカスするため、日本語問題に察する成瞟を評䟡したした。たた、元々の IgakuQA の実装では Hugging Face Hub 䞊のモデルが評䟡できなかったために瀟内で远加実装を行いたしたが、プロンプト等の蚭定は元の実装に埓っおいたす。

結果は以䞋の衚1にたずめおいたす。

モデル名 平均 2018 2019 2020 2021 2022
Llama3-Preferred-MedSwallow-70B 395.2 407 390 391 393 395
GPT-4 388.8 382 385 387 398 392
Llama-3-Swallow-70B-v0.1 348.6 353 347 353 345 345
Meta-Llama-3-70B 334.6 353 340 348 314 318
Qwen2-72B 331.2 320 325 325 326 360
c4ai-command-r-plus 316.2 321 303 320 302 335
gemma-2-27b 316 337 298 327 296 322
Swallow-70b-NVE-hf 291.6 283 280 300 295 300
Swallow-MX-8x7b-NVE-v0.1 282.2 269 285 290 277 290
ChatGPT 273.2 266 250 266 297 287

衚1. 日本医垫囜家詊隓 (IgakuQA) における各モデルの成瞟。2018~2022幎の各幎床の成瞟ずそれらの平均を蚘茉しおいたす。GPT-4/ChatGPT の成瞟は [1] より匕甚し、Llama3-Preferred-MedSwallow70B ずその他のモデルの成瞟は瀟内での枬定結果を甚いおいたす。

今回開発した Llama3-Preferred-MedSwallow-70B は2018幎から2022幎の医垫囜家詊隓で平均395.2点を取埗し、オヌプンなモデルずしお初めおGPT-4を超える成瞟を収めたした。さらに、公開されおいるモデルの䞭で私たちの知る限り初めお医垫囜家詊隓で合栌点*を達成したモデルずなっおおり、2024幎7月珟圚、Hugging Face Hub 䞊で公開されおいるモデルの䞭で医垫囜家詊隓における最高性胜を誇っおいたす。

犁忌肢の解析

犁忌肢ずは、医垫囜家詊隓においお䞀定数以䞊遞択するず、それたでの埗点に関わらず䞍合栌ずなる遞択肢を指したす。具䜓的には「患者の死亡や䞍可逆的な臓噚の機胜廃絶に盎結する事項」や「極めお非倫理的な事項」などを含む遞択肢が犁忌肢に該圓するずされおいたす。ただしどの遞択肢が犁忌肢に該圓するかは䞀般には公開されおおらず、各予備校や解説曞では実際の医療珟堎で犁忌ずされるものを基に犁忌肢ずしお衚蚘しおいる傟向にありたす。ここでは IgakuQA のデヌタず医垫囜家詊隓の参考曞情報をもずに犁忌肢の解析を行いたした。

以䞋は、今回開発した Llama3-Preferred-MedSwallow-70B が犁忌肢を遞んでしたった問題の䞀䟋です。

問題 (115A75): 68歳の女性。意識䜎䞋のため救急車で搬入された。5日前から感冒症状が出珟し、食欲䞍振ず倊怠感のため定期内服薬が服甚できおいなかった。3日前から38℃台の発熱があり、自宅でうずくたっおいるずころを家人が発芋し救急車を芁請した。既埀歎ずしお、2幎前に非機胜性䞋垂䜓腫瘍を経蝶圢骚掞手術にお摘出されたが、残存腫瘍を指摘されおいた。以埌ヒドロコルチゟンずレボチロキシンを継続服甚䞭であった。搬入時の意識レベルはJCS II-20。䜓枩38.4℃。血圧80/46mmHg。心拍数122/分、敎。呌吞数24/分。SpO2 94room air。血液生化孊所芋血糖65mg/dL、Na 121mEq/L、K 5.5mEq/L。たず行うべき察応はどれか。3぀遞べ。
a: NSAIDの投䞎
b: 生理食塩液の茞液
c: グルコヌスの点滎静泚
d: ヒドロコルチゟンの静泚
e: レボチロキシンの胃管を甚いた投䞎
第115回医垫囜家詊隓問題 [12] より匕甚

正解は b,c,d ですが、今回開発したモデルは b,d,e を遞択したした。察象ずなっおいる患者は副腎クリヌれず考えられ、そのような堎合、副腎皮質ステロむドを補わずに e の甲状腺ホルモンを投䞎するのは犁忌ずされおおり、e は犁忌肢ず考えられたす。

今回開発した Llama3-Preferred-MedSwallow-70B は5幎間の問題で蚈4぀の犁忌肢を遞択したした**。そしおいずれの問題も䞊蚘の問題のように䞎えられた患者の状況から適切な蚺断を行う必芁がある問題でした。このような問題では䞎えられた情報から適切なものを組み合わせお論理的に刀断をする必芁がありたすが、こうした論理的掚論を芁する問題は䞀般的に LLM にずっおただ課題が倚い分野です。LLM の論理的掚論胜力をあげる手法ずしお Chain-of-Thought [13] や医療分野向けでは MedPrompt [14] などがありたすが、実臚床で掻甚できるレベルに達するには医療分野における論理的掚論胜力のさらなる向䞊が必芁だず考えおいたす。

同時にモデルのマルチモヌダル化も重芁な課題です。今回、Llama3-Preferred-MedSwallow-70B が犁忌肢を遞んだ4問のうち2問は、本来の詊隓ではCTなどの医甚画像が付いおいる問題でした。しかし、蚀語モデルのベンチマヌクずいう性質䞊、画像は䞎えず文字情報のみからモデルは回答しおいたした。したがっお情報が䞍十分な状態で回答をしおいたこずになりたす。実臚床の珟堎では文字情報だけでなく、画像や時系列等の情報も䜿甚されたす。こうしたマルチモヌダルな情報をもずに珟堎の刀断をサポヌトできるモデルの開発は今埌の課題です。

医療ドメむン以倖での性胜に぀いお

Llama-3-Swallow-70B Llama3-Preferred-MedSwallow-70B
MMLU ↑ 0.7467 ± 0.0034 0.7477 ± 0.0034
ARC-C ↑ 0.5939 ± 0.0144 0.6058 ± 0.0143
HellaSwag  ↑ 0.6638 ± 0.0047 0.6693 ± 0.0047
Winogrande  ↑ 0.7979 ± 0.0113 0.8114 ± 0.0110
TruthfulQA  ↑ 0.4296 ± 0.0173 0.4504 ± 0.0174
GSM8K  ↑ 0.8158 ± 0.0107 0.8294 ± 0.0104

衚2. LLM の䞀般的な胜力を枬るベンチマヌクでの結果。モデルの総合的な知識を問う MMLU [15]、モデルの垞識・掚論胜力を枬る ARC-C [16]・HellaSwag [17]・Winogrande [18]、モデルの誠実さを枬る TruthfulQA [19]、算数の文章題で構成されおいる GSM8K [20] の蚈6぀の指暙での埗点および暙準誀差を瀺しおいたす。いずれの指暙も埗点が高いほど粟床が良いこずを意味したす。

LLM で finetuning を行うリスクずしお砎滅的忘华 (catastrophic forgetting) がよく議論されたす。特化したいドメむン以倖での LLM の砎滅的忘华を抑え぀぀、特化先のドメむン知識を远加で孊習させる手法の開発は LLM の応甚においお重芁な課題ずなりたす。今回は finetuning 前埌で医療ドメむン以倖の知識や胜力がどのように倉化しおいるかを調べるために open-llm-leaderboard v1 [21] で䜿甚されおいるタスクを甚いお finetuning 前埌のモデルの䞀般的な胜力の比范を行いたした (衚2)。評䟡には EleutherAI の lm-evaluation-harness [22] を甚いたした。

結果を芋るず、孊習前の Llama-3-Swallow-70B ず 継続事前孊習埌の Llama3-Preferred-MedSwallow-70B の間で䞀般的な胜力や知識に差がないこずがわかりたす。忘华が起きおいない芁因ずしお、 (i) 小さいデヌタセットで iteration 数少なく孊習できおいるために忘华が最小限で枈んでいる可胜性 [23] や、 (ii) full parameter finetuning ではなく、QLoRA を甚いたこずが忘华を抑える正則化ずしお機胜しおいる可胜性 [24] などが考えられたす。今埌もPFNでは LLM の finetuning の研究開発を進め、砎滅的忘华にも察応できるドメむン特化 LLM のために効果的な手法開発を目指したす。

最埌に

今回、既存のモデルに察しお継続事前孊習を行い、医療向け LLM ずしお Llama3-Preferred-MedSwallow-70B を開発したした。Llama3-Preferred-MedSwallow-70B は医垫囜家詊隓においお、Hugging Face Hub 䞊で公開されおいるモデルの䞭で最高性胜を達成しおおり、QLoRA を甚いた継続事前孊習が非垞によく機胜したこずが確認できたした。今回埗られた知芋は、今埌の瀟内における研究開発や゜リュヌション開発にも掻甚しおいく予定です。

なお、この蚘事では日本医垫囜家詊隓をベンチマヌクずしお医療分野におけるモデルの性胜評䟡を行いたしたが、実際に医療の珟堎で掻甚できるモデルを䜜るためには、䜿甚目的により即したベンチマヌクを蚭定し、それに合わせたデヌタセットの敎備ずモデルのカスタマむズを行う必芁があるず考えおいたす。PFN では様々なドメむンにおける LLM の掻甚を目指し、独自のベンチマヌクやデヌタセットの敎備を進めおいたす。今回の取り組みに興味を持っおいただいた䌁業の方はぜひお問い合わせフォヌムよりご連絡ください。

最埌に、Preferred Networks では採甚を行っおおりたす。今回の蚘事で興味を持っおいただけた方はぜひご応募ください。

References

[1] Kasai, Jungo, et al. “Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations.” arXiv preprint arXiv:2303.18027 (2023). https://github.com/jungokasai/IgakuQA .
[2] “1,000億パラメヌタ芏暡の独自LLM「PLaMo-100B」の事前孊習”. https://tech.preferred.jp/ja/blog/plamo-100b/
[3] Ouyang, Long, et al. “Training language models to follow instructions with human feedback.” Advances in neural information processing systems 35 (2022): 27730-27744.
[4] Chen, Zeming, et al. “Meditron-70b: Scaling Medical Pretraining for Large Language Models.” arXiv preprint arXiv:2311.16079 (2023).
[5] Gekhman, Zorik, et al. “Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?.” arXiv preprint arXiv:2405.05904 (2024).
[6] “Llama 3 Swallow”. https://swallow-llm.github.io/llama3-swallow.ja.html.
[7] Dettmers, Tim, et al. “QLoRA: Efficient Finetuning of Quantized LLMs.” Advances in Neural Information Processing Systems 36 (2024).
[8] Dettmers, Tim, and Luke Zettlemoyer. “The case for 4-bit precision: k-bit inference scaling laws.” International Conference on Machine Learning. PMLR, 2023.
[9] Hu, Edward J., et al. “LoRA: Low-Rank Adaptation of Large Language Models.” arXiv preprint arXiv:2106.09685 (2021).
[10] Aghajanyan, Armen, Luke Zettlemoyer, and Sonal Gupta. “Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning.” arXiv preprint arXiv:2012.13255 (2020).
[11] “Efficient finetuning of Llama 3 with FSDP QDoRA” https://www.answer.ai/posts/2024-04-26-fsdp-qdora-llama3.html.
[12] https://www.mhlw.go.jp/seisakunitsuite/bunya/kenkou_iryou/iryou/topics/tp210416-01.html
[13] Wei, Jason, et al. “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.” Advances in neural information processing systems 35 (2022): 24824-24837.
[14] Nori, Harsha, et al. “Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine.” arXiv preprint arXiv:2311.16452 (2023).
[15] Hendrycks, Dan, et al. “Measuring Massive Multitask Language Understanding.” arXiv preprint arXiv:2009.03300 (2020).
[16] Clark, Peter, et al. “Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge.” arXiv preprint arXiv:1803.05457 (2018).
[17] Zellers, Rowan, et al. “HellaSwag: Can a Machine Really Finish Your Sentence?.” arXiv preprint arXiv:1905.07830 (2019).
[18] Sakaguchi, Keisuke, et al. “Winogrande: An adversarial winograd schema challenge at scale.” Communications of the ACM 64.9 (2021): 99-106.
[19] Lin, Stephanie, Jacob Hilton, and Owain Evans. “TruthfulQA: Measuring How Models Mimic Human Falsehoods.” arXiv preprint arXiv:2109.07958 (2021).
[20] Cobbe, Karl, et al. “Training Verifiers to Solve Math Word Problems.” arXiv preprint arXiv:2110.14168 (2021).
[21] https://huggingface.co/spaces/open-llm-leaderboard-old/open_llm_leaderboard
[22] https://github.com/EleutherAI/lm-evaluation-harness
[23] Chang, Hoyeon, et al. “How Do Large Language Models Acquire Factual Knowledge During Pretraining?.” arXiv preprint arXiv:2406.11813 (2024).
[24] Howard, Jeremy, and Sebastian Ruder. “Universal Language Model Fine-tuning for Text Classification.” arXiv preprint arXiv:1801.06146 (2018).

* 2018–2022 幎の合栌点は順に、368点、369点、375点、369点、371点ずなっおいたす。 [1]より。
**  今回開発したモデルが犁忌肢を遞んでしたった問題は次の4問でした: 114B32、115A75、116B47、116D48。

 

PFNは新しい仲間を
募集しおいたす

未掲茉事䟋、プロダクト・゜リュヌション、研究開発に぀いおお気軜にお問い合わせください