LLM 文章作成モデル編
16GBのグラボへ新調したことで、ローカルLLMを本格的にさわりだした。画像生成なんかもやってみた。界隈的には、2年ぐらい遅れて開始したような感じだ。その分、試行錯誤なしに導入できるので楽。
昨日は、文章作成に向くモデルを厳選するために実験を行った。備忘録なので、結果だけを掲載しておく。
実験は、200文字程度の文章作成。
実験1は、50文字程度の短文を5個用意し、文章を作成させる。
実験2は、入れたい単語や文章をざっくり用意し、文章を作成させる。
用意した文章や単語は、日本語。プロンプトは英語で、出力を日本語とする。
結果として8b以下は使えないと判断しました。12bや14bは最低必要ではないでしょうか？ というかGPUが16GBなので14bぐらいまでしか乗らない。
gemma3:12b ○
文章はまあまあまとも。ただ、文字数ルールが守れない。
qwen3:14b ○
なかなか。ちょっと手直しすれば使えそうな文章。構成も良い。
deepseek-r1:14b ○
ちょっと助長な部分があるが、まあまあ良い。
llama3.1:70b △
かなり良いが、16GBでは足りないので、すごく遅い。
openchat ×
こちらが提示した内容には無い、嘘情報を書く。
nous-hermes2-mixtral ×
提示した内容をただ並べるだけ。
yuma/DeepSeek-R1-Distill-Qwen-Japanese:14b ×
期待外れ。余計な内容を追加してくる。
impactframes/llama3_ifai_sd_prompt_mkr_q4km:latest ×
支離滅裂な文章
hf.co/mradermacher/D2IL-Japanese-Qwen2.5-32B-Instruct-v0.1-GGUF:Q4_K_M ×
並べるだけで文章になるはずの実験1で、でたらめな内容を書く
hf.co/tensorblock/DeepSeek-R1-Distill-Qwen-14B-Japanese-GGUF:Q5_K_M ×
並べるだけで文章になるはずの実験1で、でたらめな内容を書く
hf.co/tensorblock/Mistral-Nemo-Japanese-Instruct-2408-GGUF:Q5_K_M ×
実験1はそこそこできたが、実験2ででたらめでした
wao/DeepSeek-R1-Distill-Qwen-32B-Japanese:latest ×
微妙。いろんなところに微妙な部分が出てくるので、手直しが大変すぎるので×
phi3:14b ×
実験1は微妙、実験2は端折りすぎで文章崩壊
phi4:14b △
phi3よりはまともだけど、微妙な文章。今後に期待。
hellonico/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-Q8_0.gguf:latest △
少し良い部分もある。
hellonico/DeepSeek-R1-Distill-Qwen-32B-Japanese △
そのまま使えないが、他とは違う何かがある感じ。
以上。
Ollamaで使えるという条件での実験でした。日本語のトレーニングをされたものが、期待に反して使えないということが分った。
まだまだ実験段階なので、数ギガの同じモデルを何度もダウンロードしていてる状態。使えないと判断したものを、またダウンロードしないための備忘録。
ただ、Ollamaの使い方が、まだ調整の余地がありそうなので、使えないという判断は速いのかもしれないと、現時点では思っている。
