ローカルLLMを色々と使ってみたが、結論としては下記の内容に至った。 モデルについてはGemma3一択。自分の環境に応じてどのパラメーター数・量子化ビット数を選ぶかは考える。 自分の環境（1050 TiやCore 5 Ultra 245の内蔵GPU）なら4BパラメータのQ4_K_Mを…

ここ数日で色々と構築してきた結果をメモっておく。会社で同じ環境を再現する必要があるので。 LM Studio LM Studioについては特筆する設定項目はなし。 とりあえず入れているモデルは下記の通り。 ランタイムについては色々と調べてみたけど、Vulkan使って…

中古でポチっていたGeForce GTX 1050 Tiが届いたので、早速デスクトップPCに取り付けてLLMを動かしてみた。 大昔のエントリークラスレベルのGPUなのでそんなに期待はしていなかったが、思ったよりは高速化した。まあ、3DMark Time Spyのスコアで今使っている…

LM StudioでLLMが動いたのはいいけど、どうも汎用ドライバみたいなもので動いているらしくて、IPEX-LLMというIntel謹製のものを使ったllamaを使うと速くなるらしい。 github.com ここのバイナリを使えばIntelのGPUに最適化されたollamaが使えるらしいが、ど…

前回の投稿で色々と調べてみたけど、結局のところローカルLLMは下のやつを用途に応じてでいいかなという結論になった。 google/gemma-3n-e4b：結構速いので、ほかモデルで日本語が怪しい場合はこっちでもいいかも gemma-2-2b-jpn-it-gguf/gemma-2-2b-jpn-it-…

前の記事でローカルLLMを試してみたが、確かに4Bくらいでもそれなりには動くものの、しょぼいGPUやiGPUではちょっと厳しい。Jan-v1みたいなモデルでWebスクレイピングをして放置って用途ならこれでもいいが、文章要約とかあらかじめ用意されているドキュメン…

最近はAI熱下がり気味だけど、ふと思い立ってローカルLLMをやってみた。 というのも、Jan-v1なるLLMが軽いけど高性能という話を聞き、LM Studioからモデルをインストールし、Anything LLMでRAGとWebスクレイピングをやってみた。 システム構成 あとから実現…

なんかMicroPC2のCPU強化バージョンが出てた。 僕はN250版を予約していたのだけど、なんか今公式ページ見たらしれっとi3-N300版がデフォルトになってて、N250なんて無かったみたいな扱いになってた。もう多分N250版は売る気がないというか、まじで調達できな…

MicroPC2が話題になってるけど、手元に初代MicroPCがあったので、久しぶりに引っ張り出してきて使ってみている。 この記事もMicroPCを使って書いてるけど、両手で持ってキーボードを打ち込むスタイル、まあ短いブログとかちょっとしたメールくらいなら打てる…

しばらくCNCを動かしていなかったが、今回久しぶりに動かしてみた。 長らく、CNC切削時のビビリに悩まされていたが、ふと思い立って両面テープで切削物を固定してみたところ、案外送り速度を上げてもビビらなくなった。CNCというのはこういうノウハウが必要…