🦈

DeepSeekが凄そうなのでOllamaを使ってローカルで動かして体感してみた

2025/02/03に公開

2025/03/12

 DeepSeek凄そうDeepSeekってやつが凄いみたいですね。周りの詳しい人には、取材依頼が殺到しているみたいです。私には取材は1つも来てないです（来ても困りますが）。
そんな私でも、たまにDeepSeekについて聞かれることがあるのですが、真面目な顔して「なんか凄そうですね」くらいしか言えなかったので、少し調べた上で実際に自分のPCで動かしてみることで、DeepSeekの能力を体感してみることにしました。

 DeepSeekの情報以下のshi3zさんの記事が、技術的、歴史的な経緯のポイントをおさえていて分かりやすいなと思います。

https://wirelesswire.jp/2025/01/88036/
https://note.com/shi3zblog/n/nb86ba4c60a5a
論文に関しては、正直全部しっかり読めていません。以下の論文まとめが詳しかったです。

https://zenn.dev/asap/articles/34237ad87f8511
危険性に関しては、何とも言えないですが、著名なAIエンジニアの安野さんが、レベルに分けて危険性を解説してくださっています。

https://x.com/takahiroanno/status/1885897284984205543
私は、多分レベル2くらいなので、以下の文章を読んで安心しました。さっそく、ローカルでDeepSeekを動かしてみたいと思います。
あとオープンウェイトだからセルフホスティングできる（自分のマシンで完結できる）し、そうすればデータが抜かれることは無いから安心して使えるよ。

 ローカルでOllamaを使ってDeepSeekを動かす実際に動かして体感してみないとよくわからないので、ローカルでDeepSeekを動かしてみました。一応以下注意事項です。
!
個人的な興味で試していて、DeepSeekの使用を推奨したり、特別な主義の主張をするものではありません
個人の趣味プロジェクトのコードに対して使用しています

DeepSeekは、Ollamaで動かします。Ollamaの概要とセットアップについては以下記事参照ください。
https://zenn.dev/karaage0703/articles/c271ca65b91bdb
PCはLinux OSで、GPUはNVIDIA RTX3060を使用しています。

 deepseek-r1:14bOllamaをセットアップした上で、以下コマンド実行すると、DeepSeekが動きます（初回のみモデルのダウンロードが必要です）。
$ docker exec -it ollama ollama run deepseek-r1:14b
動作結果は、以下のような感じです。わりといい感じ（？）ですね。
https://x.com/karaage0703/status/1885656758666109329

 deepseek-r1:32bさらに大きい32Bのモデルも試してみます。
$ docker exec -it ollama ollama run deepseek-r1:32b
中国語でしか回答してくれなくなりました。

https://x.com/karaage0703/status/1886049766368575703

 cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf続いて、サイバーエージェントさんが、日本語でファインチューニングした32Bのモデルを試してみます。
$ docker exec -it ollama ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf
良い感じですね。

https://x.com/karaage0703/status/1886052181096493163

 ClineでDeepSeekを使ってコーディングClineでDeepSeekを使ってコーディングしてみます。Clineは、VS Codeエディタの拡張で、AIを使ってコーディングができます。Clineも色々種類があるのですが、今回はRoo Clineを使っています。Clineの解説はこの記事では割愛します。
Clineは、色々なAPIを選択できるのですが、Ollama経由で動かすこともできます。以下のように設定するだけです。
コーディングはかなりゆっくりです。

https://x.com/karaage0703/status/1886057304497483886
動作する様子です。ただし、コードは一部間違いがあり、DeepSeekで修正できなかったので、o3-mini-highに修正してもらいました。

https://x.com/karaage0703/status/1886061275811377575
DeepSeekは、ベンチマーク上はコーディングの性能も良さそうですが、論文などからは、コーディングはそこまで性能よくない（まだ伸びしろがある）みたいな書かれ方もしていますね。
https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

 Jetsonで動かす以下記事を参照してください。
https://zenn.dev/karaage0703/articles/3a2067b6b92e06

 まとめDeepSeekに関して、簡単に調べた上で、ローカルでOllamaを使って動かしてみました。ローカルだと動かないものだと思っていましたが、小さいモデルとはいえ動くのは凄いですね。
DeepSeekを実際に使ってみて体感した感想としては、さすがに話題になるだけあって（今まで自分が使った範囲内の話ではありますが）ローカルで動くどのLLMよりも性能が良かったです。これだけの性能のLLMが自宅のPCで動いてしまうのは凄いですね。
とはいえ、出たばかりのo3-miniなどのLLMとの差は、まだ依然としてあるなということを、特にコーディングをさせてみて感じました。ただ、ローカルPCでAPI料金を気にせず（電気代が気にならない範囲で）いくらでも動かせるというのは魅力的に感じる人も多いかもしれません。
今後、DeepSeekがどうなっていくのか注目ですね。

 参考リンクhttps://qiita.com/yu_uk/items/0e97660695d9c7e7aa00
https://note.com/7shi/n/nbae858bb0c53
https://zenn.dev/yosemat/articles/df637bd4bdab98
https://note.com/cppp_cpchan/n/n3c1039c80dd0
https://www.beesnest-inc.com/blog/91
https://ichiken-engineering.com/deepseek-r1-on-pi5/
https://note.com/catap_art3d/n/n523e1fe9bfee
https://huggingface.co/roleplaiapp/DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf-Q4_K_M-GGUF
https://speakerdeck.com/schroneko/deepseek-woli-yong-surushang-denorisukutoan-quan-xing-nokao-efang-6be685be-06bd-4c69-8c69-def4806dec8d
「DeepSeek関連の論文解説」松尾研 LLM コミュニティ "Paper & Hacks Vol.38"

 蒸留https://zenn.dev/yuiseki/articles/4737799cad4a8d
https://note.com/shi3zblog/n/n4c48c3bffb11

 関連記事https://zenn.dev/karaage0703/articles/2b753b4dc26471

DeepSeek凄そう

DeepSeekの情報

ローカルでOllamaを使ってDeepSeekを動かす

deepseek-r1:14b

deepseek-r1:32b

cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf

ClineでDeepSeekを使ってコーディング

Jetsonで動かす

まとめ

参考リンク

蒸留

関連記事

Discussion