中古でポチっていたGeForce GTX 1050 Tiが届いたので、早速デスクトップPCに取り付けてLLMを動かしてみた。
大昔のエントリークラスレベルのGPUなのでそんなに期待はしていなかったが、思ったよりは高速化した。まあ、3DMark Time Spyのスコアで今使っているノートPCのXeグラフィックスの1.8倍位はあるので、流石にそれよりは速いだろうと思っていたので、ある意味思った通りだとは思う。
ここ数日でやっとLM Studioの使い方も分かってきて、GPUとCPUの負荷分散のやり方も分かってきた。幸い、自分のPCは家も会社も世代は違えど32GBのメモリを積んでいるので、推論速度はともかく割とコンテキストが長めのモデルであったり、8Bくらいまでのモデルならなんとか動くレベルでは使えそうな感じはしている（実際、実用性は別としてgpt-oss 20Bも一応動く）。
あと、AnythingLLMが謎に重い問題については、Dockerで起動させてそれを使うことでだいぶ改善される。デスクトップ版のAnything LLMって何であんなに遅いんだろうか。
コンテキストウィンドウの短さも確かに気になる部分もあるが、まあそれは場合に応じて調整していくという方向で。
LM StudioとAnything LLMの使い分けについても大体把握できてきたので、やっとローカルLLMを実用レベルで使えるようになりそうだ。
盆休み、ホントは他にもやりたいことがあったのだけれど、ローカルLLMで遊ぶことに費やしてしまった。明日からはまた仕事なので頑張ろう・・・。
