ローカルLLMを色々と使ってみたが、結論としては下記の内容に至った。
- モデルについてはGemma3一択。自分の環境に応じてどのパラメーター数・量子化ビット数を選ぶかは考える。
- 自分の環境（1050 TiやCore 5 Ultra 245の内蔵GPU）なら4BパラメータのQ4_K_Mを使っている。正直どれがいいのかよく分からいので、LM Studioが進めてきたやつを使っている
- Qwen3もいい仕事しているが、パラメーター数が低いと中国語が混ざるのでちょっと微妙
あとはこれをどのアプリケーションで使用するかという点だけど、最終的にはObsidian+Local GPTの組み合わせで使うことにした。今まで他に色々と試してきたが、どれも正直普通のPCで普段遣いできるほどの処理速度とは言えない。MCPを使えば確かになんか色々できるが、正直Webスクレイピングとかも自分でググってそれをコンテキストに突っ込むほうが処理が速い。
AIエージェント的に使うにはマシンパワーが足りなさすぎる。今のところAIエージェントで自分より有能だと思ったタスクはプログラミングくらいで、その他は自分でやったほうが早いことばかりだ。
そもそも情報を取ってきてまとめる系のタスクだと、自動化したところで情報源を確認する必要があることは変わりない。それなら自分でググってObsidianとかに蓄積しつつ、あとからそのコンテキストを使いつつ要所要所でLLMの力を借りるほうが効率がいいだろう。
上記のような使い方にはローカルLLMはかなり適していて、金額とかセキュリティとか気にせずガンガン使えるのがいい。AIは結構出力ガチャなところがあるので、気にいる回答が出てくるまでプロンプトを気兼ねなくいじれるのは、結構ストレスフリーだと思う。
ローカルLLMは、用途を絞れば結構使えて非常に気に入っている。
