Radeon RX Vega 64でローカルLLMを構築。LAN上のMacでVS CodeからLLMを呼び出し、簡単なコードのレビューぐらいならしてくれて、そこそこ活用できていました。
今週、制作中のWEBページの日本語文章ブロックを作成してもらおうと思い、LLMの入ったUbuntu Serverをアップデートしたところ、OpenWebUIの機能が向上していた。しかし、私が構築した現状では、OpenWebUIとOllamaの連携がうまくできていなく、添付ファイルの機能が使えていませんでした。
結論から言うと、sudo systemctl edit ollama.serviceで編集できる設定が、ちゃんと保存されていなかったのが原因でした。ファイルを開くと「この行とこの行の間に書いてください」という英語が書かれていましたが、英語なので見落としていました。その為、設定が反映されずOpenWebUIとOllamaの連携ができていなかった。
参考サイト（2025年7月現在／以下やり方で簡単に導入できる）
それなのに、OpenWebUIとOllamaが一体化されたDockerコンテナを使ったり（Nvidiaじゃないとつかえない）、いろいろ試した為、すごく時間がかかった。
しかし、結局 RTX 5060 Ti 16GBの購入へ
なんとなく、本格的に使えそうな予感がしてきたので、新たにGPUを買ってしまった。Radeon RX Vega 64は8GBなので、軽めの8bぐらいしか扱えなく、14bが使えると回答の精度がだいぶ良くなるので、試したくなったのです。
（急いで買ってしまった。3連休中に試したかったので。しかし、上記のようにRadeonでもできていたので、Radeon RX 9060 XT 16GBにしておけば、2万円以上浮いたのにと、このまとめを書きながら気づいてしまった。）
AMDからNvidiaへの移行で躓いたポイント
このLLM界隈はNvidiaが主流なので、対応範囲が広くなる感じだったので、Nvidiaが欲しかったのですが、GPUの入れ替えはそれなりに大変だった。
1. MSIのマザーボードのセキュアブートが切れない問題
セキュリティの設定項目に、セキュアブートの項目がなくて躓いた。ChatGPTさん曰く、セキュアブートを切らないとだめだと言うのですが、UEFIで探しても見つからない。
半ばあきらめながら、UEFI画面の右上に虫眼鏡マークがあるので、そこでSecureと打ち込むと出てきました。これが仕様なのか！？
2. 最新のグラボのせいで、ドライバーのインストールが難しかった
買ったRTX 5060 Tiが結構新しく、発売から3ヶ月ぐらいだった。単に16GBあって、極力安いもので、中華のよくわからないメーカーではないものって感じで選んだので、発売日まで見ていなかった。
なので、知識が古いChatGPTさんでは難しかったようで、ドライバーが全然合わない状況でグルグルしてしまった。で、普通に検索したら以下のページが。
ChatGPTさんに頼らず、自分で探していれば、こんなにグルグルしなかったのに・・・。
