「ChatGPTを使いたいが、機密情報を外部サーバーに送りたくない」「月額のAPI費用が積み上がってきた」「インターネット接続なしでAIを使いたい現場がある」——これらの課題をすべて解決する選択肢がローカルLLM（社内専用AIサーバー）です。
2026年現在、オープンソースの高性能LLMが急速に進化し、10万円以下のハードウェアでもChatGPT-3.5相当の実用性を持つAIを社内に構築できる時代になりました。Mac mini M4・中古GPUサーバー・高メモリWindowsPC——選択肢は複数あり、それぞれ予算・用途・技術難易度が異なります。
この記事では、
- ローカルLLMを選ぶべきケース・選ばなくていいケースの判断基準
- 予算帯別ハードウェア選定ガイド（5万円〜20万円）
- Mac mini M4・中古GPUサーバー・WindowsPCの実力比較
- 電気代を含むランニングコストの実試算
- OllamaとLM Studioを使ったゼロから動かすまでの完全手順
- モデル選定・用途別の推奨構成
- 中小企業の経営者が投資判断できるROI試算
を、ハードウェア選定から日常運用まで体系的に解説します。
- 1. まず判断する——あなたにローカルLLMは必要か
- 2. ハードウェア選定ガイド——予算帯別の最適解
- 3. ランニングコストの実試算——電気代と総所有コスト（TCO）
- 4. ソフトウェア選定——OllamaとLM Studioの使い分け
- 5. 構築ステップ①——Mac mini M4 + Ollama + Open WebUIの完全手順
- 6. 構築ステップ②——Windows PC（RTX GPU）構成の手順
- 7. モデル選定ガイド——用途別の推奨モデル（2026年版）
- 8. 社内での運用設計——セキュリティ・バックアップ・メンテナンス
- 9. 投資判断のためのまとめ——「買うべきか」の意思決定フロー
- 10. よくある質問（Q&A）
- 11. まとめ——「社内専用AI」は中小企業のゲームチェンジャーになれるか
- 関連記事
1. まず判断する——あなたにローカルLLMは必要か
ローカルLLMが「向いているケース」と「向いていないケース」
ローカルLLMは万能ではありません。コスト・性能・管理工数を正直に比較した上で、導入を判断してください。
| 判断軸 | ローカルLLMが有利 | クラウドAI（ChatGPT等）が有利 |
|---|---|---|
| 情報セキュリティ | 機密情報・個人情報・未発表技術を扱う業務。データが物理的に社内から出ない | 公開情報の処理・一般的な業務支援 |
| コスト（中長期） | API利用が月5万円超になっている場合。1〜2年でハードウェア代を回収可能 | 利用量が少ない場合（月1〜2万円以下）は従量課金の方が安い |
| インターネット接続 | 工場・医療・研究施設等、インターネット接続が制限された環境 | 常時インターネット接続がある一般オフィス |
| AIモデルの最新性 | 最新モデルへの即日アクセスは不要で、安定運用が優先 | GPT-4o・Claude 3.5 Sonnet等、最先端モデルを使いたい |
| カスタマイズ | 自社データでファインチューニング・社内専用ナレッジの組み込みが必要 | 標準的な業務支援でカスタマイズ不要 |
| IT管理工数 | サーバー管理できる人材がいる、または育てられる | IT担当者がいない・管理工数をかけたくない |
1つでも「ローカルLLMが有利」に当てはまるなら、構築を検討する価値があります。特に「機密情報を扱う」「月のAPI費用が3万円を超えている」という2点が重なる場合は、ほぼ確実にROIが合います。
2026年のローカルLLMの実力——正直な評価
ローカルLLMを検討する前に、現在の性能レベルを正直に把握しておく必要があります。
| 用途 | ローカルLLMの実力（2026年） | ChatGPT-4o比 |
|---|---|---|
| 文章作成・要約・翻訳 | 実用レベル。日常業務では十分 | 90〜95% |
| コード生成・レビュー | 十分実用的。Qwen2.5-Coder等は高評価 | 85〜92% |
| 質問応答・RAG | 自社ドキュメントへのQ&Aは高品質 | 88〜95% |
| 複雑な推論・数学 | 大型モデルなら実用的。小型モデルは苦手 | 70〜85% |
| 画像認識・マルチモーダル | LLaVA系で対応可能だが精度はやや劣る | 70〜80% |
| リアルタイム情報 | 原則不可（学習データのカットオフ以降は不明） | 検索連携ありのクラウドAIには及ばない |
「完璧ではないが、業務の8割はこなせる」——これが2026年のローカルLLMの正直な姿です。
2. ハードウェア選定ガイド——予算帯別の最適解
ローカルLLMのハードウェア要件を理解する
LLMの動作は主に「モデルをメモリに展開できるか」で決まります。GPUのVRAMまたはシステムRAMにモデル全体を乗せられるかどうかが性能の鍵です。
| モデルサイズ（量子化後） | 必要なメモリ目安 | 性能の目安 | 代表的なモデル |
|---|---|---|---|
| 3B（30億パラメータ） | 2〜3GB | 軽いタスク向け。スマートフォン級 | Llama 3.2 3B, Phi-3.5 mini |
| 7〜8B | 5〜7GB | 日常業務の多くをこなせる実用ライン | Llama 3.1 8B, Gemma 2 9B |
| 14〜27B | 10〜18GB | 高品質な推論・コード生成。業務AIの主力 | Qwen2.5 14B, Gemma 2 27B |
| 32〜70B | 22〜48GB | GPT-4oに近い品質。大型モデルが必要な用途 | Llama 3.3 70B, Qwen2.5 72B |
現実的な目標として「14B〜27Bモデルを快適に動かせる環境」を目指すと、コストと性能のバランスが最もよいです。
予算帯別・推奨ハードウェア構成（2026年3月時点）
【5〜8万円】：個人・小規模チームのエントリー構成
推奨：Mac mini M4（メモリ16GB）
- 価格：約74,800円（Apple公式・2025年11月発売）
- 動かせるモデル：7B〜14Bが快適。16GBモデルなら14Bが実用速度で動作
- 強み：静音・省電力（最大30W程度）・セットアップが圧倒的に簡単
- 弱み：メモリ増設不可。16GBは将来的に手狭になる可能性
- 消費電力：通常使用時8〜15W、高負荷時25〜30W
エントリー構成の正直な評価：「まずローカルLLMを試してみたい」「小規模チームで文章作成・翻訳・要約に使う」用途には十分。32B以上のモデルは難しいため、将来的に大型モデルが必要になったら買い替えが必要です。
【9〜13万円】：中小企業の実務メイン構成
推奨①：Mac mini M4 Pro（メモリ24GB）
- 価格：約198,000円（24GBメモリ構成）※予算オーバー——後述の判断参照
推奨②：Mac mini M4（メモリ16GB）＋外付けGPU（eGPU）は非対応のため、代替としてWindows構成
推奨③：中古GPUサーバー構成（最も費用対効果が高い選択肢）
- 構成例：中古ワークステーション（Dell Precision / HP Z系）＋ NVIDIA RTX 3090（24GB VRAM）
- 中古ワークステーション本体：2〜4万円（ヤフオク・ジャンクワールド等）
- RTX 3090中古：4〜6万円（2026年時点の相場）
- 合計：6〜10万円で24GB VRAMのGPUサーバーを構築可能
- 動かせるモデル：24GBなら33B量子化モデルまで。27Bが快適に動作
- 弱み：消費電力350〜450W（電気代が高い）・騒音が大きい・設置スペースが必要
- 消費電力：アイドル時100〜150W、推論時300〜450W
【13〜20万円】：本格運用・複数ユーザー対応構成
推奨①：Mac mini M4 Pro（メモリ24GB）＋ 増設RAM（後述）
- 価格：約198,000円（24GB）——やや予算超過だが性能は段違い
- 動かせるモデル：27Bが非常に快適。32Bも実用速度
- 省電力・静音・Apple Siliconのユニファイドメモリ効率が強み
推奨②：NVIDIA RTX 4070 Ti SUPER（16GB VRAM）搭載Windows自作・BTOpc
- GPU価格：約8〜10万円
- PC本体（GPU別）：4〜6万円（BTOまたは自作）
- 合計：12〜16万円
- 動かせるモデル：14B〜27B量子化モデルが快適
- 消費電力：アイドル時80〜120W、推論時200〜300W
「Mac mini M4 vs 中古GPUサーバー vs RTX搭載Windows」比較表
| 項目 | Mac mini M4 （16GB・約7.5万円） | 中古GPUサーバー （RTX3090・約8万円） | RTX4070Ti搭載Windows （約15万円） |
|---|---|---|---|
| 快適に動くモデル上限 | 14B（量子化） | 27B（量子化） | 27B（量子化） |
| 推論速度（tok/s目安） | 14B: 約25〜35 tok/s | 27B: 約15〜25 tok/s | 27B: 約20〜35 tok/s |
| 消費電力（推論時） | 20〜30W | 300〜450W | 200〜300W |
| 月間電気代（8h稼働） | 約300〜500円 | 約3,500〜5,500円 | 約2,500〜3,500円 |
| 騒音 | ほぼ無音 | かなり大きい（40〜50dB） | やや大きい（35〜45dB） |
| セットアップ難易度 | ★☆☆（非常に簡単） | ★★★（ドライバ・BIOSの知識が必要） | ★★☆（標準的なPC知識があればOK） |
| 将来の拡張性 | ×（メモリ増設不可） | ○（GPU換装・RAM増設可） | ◎（GPU換装・RAM増設が容易） |
| 信頼性・故障リスク | ◎（Apple品質保証） | △（中古部品のリスク） | ○（新品保証あり） |
| こんな人向け | 手軽に始めたい・省スペース・静音重視 | コスパ重視・大型モデルを安く試したい | 本格運用・信頼性とコスパのバランス重視 |
3. ランニングコストの実試算——電気代と総所有コスト（TCO）
電気代の計算方法
電気代の計算式：消費電力（kW）× 稼働時間（h）× 電気料金（円/kWh）= 電気代
日本の電気料金（業務用）の目安：約30〜35円/kWh（2026年3月時点）
| ハードウェア | 推論時消費電力 | 月8時間稼働 | 月16時間稼働 | 24時間稼働 |
|---|---|---|---|---|
| Mac mini M4（16GB） | 25W | 約180円/月 | 約360円/月 | 約540円/月 |
| 中古GPUサーバー（RTX3090） | 380W | 約2,700円/月 | 約5,500円/月 | 約8,200円/月 |
| RTX4070Ti搭載Windows | 250W | 約1,800円/月 | 約3,600円/月 | 約5,400円/月 |
| Mac mini M4 Pro（24GB） | 40W | 約290円/月 | 約580円/月 | 約860円/月 |
クラウドAI APIコストとの損益分岐点試算
ChatGPT APIやClaude APIの月額コストと、ローカルLLM構築コストの損益分岐点を試算します。
前提条件：
- クラウドAI APIの月額費用：30,000円（中規模なAPI利用の場合）
- ローカルLLMのハードウェアコスト：80,000円（中古GPUサーバー構成）
- ローカルLLMの月額ランニングコスト：電気代5,000円 + 管理工数費換算5,000円 = 10,000円/月
| 経過月数 | クラウドAPI累計コスト | ローカルLLM累計コスト（初期+運用） | 差額（ローカルLLMの節約額） |
|---|---|---|---|
| 1か月 | 30,000円 | 90,000円（初期80,000+運用10,000） | ▲60,000円（まだ損） |
| 3か月 | 90,000円 | 110,000円 | ▲20,000円 |
| 5か月（損益分岐） | 150,000円 | 130,000円 | +20,000円（回収開始） |
| 12か月 | 360,000円 | 200,000円 | +160,000円 |
| 24か月 | 720,000円 | 320,000円 | +400,000円 |
月3万円以上のAPIコストがかかっている場合、約5か月で初期投資を回収できる計算になります。月1万円以下の利用量の場合は、クラウドAPIの方が経済合理性が高いです。
4. ソフトウェア選定——OllamaとLM Studioの使い分け
ローカルLLM実行環境の比較
| ツール | 特徴 | 向いている用途 | 対応OS |
|---|---|---|---|
| Ollama | コマンドライン操作。REST APIサーバーとして動作。軽量・高速・チーム共有向き | 社内サーバーとして複数人で共有。Open WebUIと組み合わせてChatGPT風UIを提供 | macOS / Linux / Windows |
| LM Studio | GUIで操作。モデルのダウンロード・チャットがすべてGUI完結。初心者向き | 個人が手軽に試す。モデルの比較評価。非エンジニアでも操作可能 | macOS / Windows / Linux |
| llama.cpp | 最も低レベルな実行エンジン。OllamaはllAMA.cppの上位ラッパー | 最大限のカスタマイズ・最適化が必要な場合。エンジニア向き | macOS / Linux / Windows |
| Jan | Ollamaに近いがGUIあり。ローカルとAPIモデルを切り替え可能 | 個人利用でGUIとAPI機能の両方が必要な場合 | macOS / Windows / Linux |
推奨構成：Ollama（バックエンド）+ Open WebUI（フロントエンド）
チームで使う社内AIサーバーとして最もよく使われる組み合わせです。OllamaがAPIサーバーとして動き、Open WebUIがブラウザからアクセスできるChatGPT風インターフェースを提供します。
5. 構築ステップ①——Mac mini M4 + Ollama + Open WebUIの完全手順
必要なもの
- Mac mini M4（メモリ16GB以上推奨）
- macOS Sequoia（最新版）
- インターネット接続（初期セットアップのモデルダウンロード用。その後はオフライン運用可）
- Docker Desktop for Mac（Open WebUIのインストールに使用）
STEP 1：Ollamaのインストール（5分）
# ターミナルを開いて以下を実行
# 方法①：公式サイト（https://ollama.com）からインストーラーをダウンロード
# 方法②：Homebrewを使う場合
brew install ollama
# Ollamaを起動（バックグラウンドサービスとして）
ollama serve
インストール確認：ブラウザで http://localhost:11434 にアクセスして「Ollama is running」と表示されればOKです。
STEP 2：モデルのダウンロードと起動（10〜30分）
# 日本語対応・バランスの良いモデルをダウンロード（7B：約4.7GB）
ollama pull llama3.1:8b
# 高品質な日本語対応モデル（14B：約9GB）
ollama pull qwen2.5:14b
# コード生成特化モデル
ollama pull qwen2.5-coder:14b
# 動作確認（コマンドラインでチャット）
ollama run llama3.1:8b
# "こんにちは。自己紹介してください" と入力してみる
# インストール済みモデル一覧
ollama list
STEP 3：Open WebUIのインストール（Docker使用・10分）
# Docker Desktop for Macをインストール済みの前提
# https://www.docker.com/products/docker-desktop/ からダウンロード
# Open WebUIをDockerで起動（Macの場合）
docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
# 起動確認：ブラウザで http://localhost:3000 にアクセス
# 初回アクセス時にadminアカウントを作成する
STEP 4：チームで共有するためのネットワーク設定（15分）
# Mac miniのIPアドレスを確認
ipconfig getifaddr en0
# 例：192.168.1.100 と表示されたとする
# Ollamaをネットワーク全体に公開する設定
# Macの「システム設定」→「一般」→「ログイン項目と拡張機能」
# または launchd の設定でOLLAMA_HOSTを設定
# 環境変数を設定してOllamaを再起動
export OLLAMA_HOST=0.0.0.0
ollama serve
# 社内の他のPCからOpen WebUIにアクセスする場合
# ブラウザで http://192.168.1.100:3000 にアクセス
STEP 5：動作確認と基本的なチューニング（10分）
- ブラウザで
http://localhost:3000（または社内IPアドレス:3000）にアクセス - 管理者アカウントでログイン
- 「新しいチャット」から任意のモデルを選択
- 日本語で「こんにちは。あなたは何ができますか？」と入力して応答を確認
- 「管理者設定」→「ユーザー管理」から社員のアカウントを追加
Mac mini M4（16GB）での速度の目安：llama3.1:8bで約45〜55トークン/秒、qwen2.5:14bで約25〜35トークン/秒。会話の応答が始まるまでの待ち時間は約1〜3秒。通常の業務利用では「十分快適」と感じる速度です。
6. 構築ステップ②——Windows PC（RTX GPU）構成の手順
STEP 1：NVIDIAドライバとCUDAのセットアップ
# WindowsでNVIDIA GPUを使うためのセットアップ
# 1. NVIDIAドライバを最新版にアップデート
# https://www.nvidia.com/Download/index.aspx
# 2. CUDA Toolkitのインストール（llama.cppのGPUアクセラレーション用）
# https://developer.nvidia.com/cuda-downloads
# CUDA 12.x系を選択
# 動作確認
nvidia-smi
# GPU名・VRAMサイズ・ドライババージョンが表示されればOK
STEP 2：OllamaをWindowsにインストール
# 公式サイト（https://ollama.com）からWindows版インストーラーをダウンロード
# インストール後、自動的にNVIDIA GPUを検出・使用する
# インストール確認
ollama --version
# GPUが認識されているか確認
ollama run llama3.1:8b
# 応答速度が遅い場合はCPU動作している可能性→タスクマネージャーでGPU使用率を確認
STEP 3：Windows Firewallの設定（社内共有の場合）
# Windows Defenderファイアウォールでポートを開放
# 管理者権限のPowerShellで実行
# Ollama APIポート（11434）を開放
New-NetFirewallRule -DisplayName "Ollama API" `
-Direction Inbound -Protocol TCP `
-LocalPort 11434 -Action Allow
# Open WebUIポート（3000）を開放
New-NetFirewallRule -DisplayName "Open WebUI" `
-Direction Inbound -Protocol TCP `
-LocalPort 3000 -Action Allow
中古GPUサーバー構成での注意点
- RTX 3090のNVLinkブリッジは不要：単体で24GB VRAMが使えるため、デュアルGPU構成は必要ありません
- 電源容量に注意：RTX 3090は最大350Wを消費します。750W以上の電源ユニットを使用してください
- 冷却設計：ラックマウントサーバーのケースは冷却性能が高いですが、オフィス環境では騒音が問題になります。防音ラックの導入または機械室・サーバールームへの設置を推奨
- メモリ（RAM）の確認：中古ワークステーションは32〜64GBのRAMが搭載されているものを選ぶ。モデルがVRAMに収まらない場合にRAMにオフロードされます
7. モデル選定ガイド——用途別の推奨モデル（2026年版）
用途別・推奨モデル一覧
| 用途 | 推奨モデル | 必要VRAM/RAM | 日本語品質 |
|---|---|---|---|
| 汎用業務（文書作成・要約・Q&A） | Qwen2.5:14b | 10GB | ◎（最高水準） |
| コード生成・プログラミング支援 | Qwen2.5-Coder:14b | 10GB | ○ |
| 軽量・高速（8GB以下のメモリ環境） | Llama3.2:3b / Phi3.5-mini | 2〜3GB | △ |
| 高品質な推論・分析（24GB以上） | Qwen2.5:72b（量子化）/ Llama3.3:70b | 40〜48GB | ◎ |
| RAG（社内ドキュメント検索） | Qwen2.5:14b + nomic-embed-text | 10GB + 1GB | ◎ |
| 画像認識・マルチモーダル | LLaVA:13b / Qwen2-VL:7b | 8〜10GB | ○ |
| 医療・法律等の専門分野（日本語） | Qwen2.5:32b（量子化） | 22〜24GB | ◎ |
量子化（Quantization）とは——モデルを小さくする技術
量子化とは、モデルのパラメータの精度を下げてファイルサイズと必要メモリを削減する技術です。Ollamaでダウンロードできるモデルは多くがQ4またはQ5量子化済みです。
| 量子化レベル | サイズへの影響 | 品質への影響 | 推奨度 |
|---|---|---|---|
| Q8（8bit） | フルサイズの約50% | ほぼ変化なし | VRAMに余裕がある場合の最優先 |
| Q5_K_M | フルサイズの約35% | わずかな低下 | 品質とサイズのベストバランス |
| Q4_K_M | フルサイズの約27% | 小程度の低下 | 標準的な実用構成（Ollamaデフォルト） |
| Q3以下 | さらに小さい | 明確な品質低下 | メモリが極端に少ない場合のみ |
8. 社内での運用設計——セキュリティ・バックアップ・メンテナンス
セキュリティ設計
ネットワーク分離：
- AIサーバーはインターネットに直接公開しない。社内LAN内からのみアクセス可能に
- 必要な場合はVPNを通じてのみリモートアクセスを許可
- Open WebUIのポートをインターネット側のファイアウォールでブロック
認証管理：
- Open WebUIの管理者パスワードは強力なものを設定（16文字以上、記号含む）
- ユーザーアカウントは社員1人1アカウントで発行。退職時は即時削除
- 定期的なパスワード変更ポリシーを適用
ログ・監査：
- Open WebUIには会話ログが保存される機能があります。ログの保存・削除ポリシーを決める
- 社内専用AIサーバーでも「何を入力したか」が記録される点を従業員に周知する
バックアップと障害対応
- Open WebUIのデータバックアップ：Dockerのvolumeデータ（ユーザー情報・会話履歴・設定）を定期バックアップ。週次でNASまたは外付けHDDに保存
- モデルデータのバックアップ：Ollamaのモデルファイルは
~/.ollama/models/に保存される。再ダウンロードが可能なためバックアップ優先度は低いが、ネットワーク制限環境では別途保存を推奨 - 障害発生時の手順書：「サーバーが起動しない」「モデルが動かない」等のよくあるトラブルと対処法を文書化しておく
定期メンテナンス項目
| 頻度 | 作業内容 | 所要時間 |
|---|---|---|
| 月次 | OSのセキュリティアップデート適用、Open WebUIのバージョン確認・更新 | 30〜60分 |
| 月次 | Ollamaの更新（新バージョン確認）、モデルの更新版確認 | 15〜30分 |
| 四半期 | ストレージ使用量確認、不要モデルの削除、バックアップの動作確認 | 30〜60分 |
| 年次 | ハードウェアの埃清掃（GPU冷却ファン等）、電源ケーブルの確認 | 1〜2時間 |
9. 投資判断のためのまとめ——「買うべきか」の意思決定フロー
経営者・IT担当者のための意思決定チェックリスト
以下の質問に答えることで、ローカルLLM構築が自社に適しているかを判断できます。
- 現在のAI API費用は月いくらか？
- 3万円超 → ローカルLLMのROIが合う可能性が高い
- 1〜3万円 → 用途次第。セキュリティ要件が高ければ検討価値あり
- 1万円未満 → 現時点ではクラウドAPIが経済的
- 機密情報・個人情報を扱う業務でAIを使いたいか？
- はい → ローカルLLMを強く推奨
- サーバー管理ができる人材が社内にいるか？
- いる → Mac mini M4構成なら容易に管理可能
- いない → Mac mini M4（セットアップが最も簡単）から始めるか、外部IT支援を活用
- 最先端のAIモデルが必要か？
- はい → クラウドAPIも併用するハイブリッド構成を検討
- 業務の8割がこなせれば十分 → ローカルLLM単独で対応可能
推奨スタートアップ構成サマリー
| 組織規模・状況 | 推奨構成 | 初期費用目安 | 月額ランニングコスト |
|---|---|---|---|
| 個人〜5名・まず試したい | Mac mini M4（16GB）+ Ollama + Open WebUI | 約75,000円 | 約300〜500円（電気代のみ） |
| 5〜30名・コスパ重視 | 中古GPUサーバー（RTX3090）+ Ollama + Open WebUI | 約70,000〜100,000円 | 約4,000〜6,000円（電気代） |
| 5〜30名・信頼性重視 | RTX4070Ti搭載Windows + Ollama + Open WebUI | 約130,000〜160,000円 | 約2,000〜3,500円（電気代） |
| 30名以上・大型モデル必要 | Mac mini M4 Pro（24GB）またはRTX4090搭載サーバー | 200,000円〜 | 状況による |
10. よくある質問（Q&A）
Q1. Ollamaで使えるモデルは英語だけですか？日本語は？
日本語対応は問題ありません。Qwen2.5シリーズ（アリババ開発）は特に日本語品質が高く、2026年時点でローカルLLMの日本語用途では最もよく使われています。ollama pull qwen2.5:14bでダウンロードでき、日本語での質問に自然に回答します。
Q2. Mac miniは24時間365日つけっぱなしにできますか？
技術的には可能です。Mac miniはサーバー用途を想定した設計で、「省エネルギー」設定でディスプレイをスリープさせながら本体を常時起動させることができます。ただし、メーカーの保証期間外の長期運用については自己責任の範囲です。実際に24時間サーバーとして運用している事例は多数あります。
Q3. 途中でモデルを変更・追加できますか？
はい、自由に追加・切り替え・削除ができます。ollama pull モデル名で追加、ollama rm モデル名で削除、Open WebUI上でモデルを選択して切り替えられます。複数のモデルを同時にインストールしておいて、用途に応じて使い分けることも可能です。
Q4. 社内データを学習（ファインチューニング）させることはできますか？
OllamaでもRAG（Retrieval Augmented Generation）を使えば、社内ドキュメントをAIに「参照」させることができます。Open WebUIにはドキュメントアップロード機能が標準搭載されており、PDFやテキストファイルをアップロードするだけで、そのドキュメントに基づいた回答が可能です。完全なファインチューニングは別途手順が必要ですが、ほとんどの業務用途はRAGで対応できます。
Q5. RTX 3090の中古品を買うリスクはありますか？
中古GPU（特に暗号通貨マイニングに使われていたもの）は高負荷状態で長時間使われている場合があり、経年劣化が懸念されます。リスク低減策として、①出品者の評価・保証期間を確認する、②購入後すぐにFurMarkなどでGPU負荷テストを実施する、③可能なら動作保証付きの中古品を選ぶ（ジャンクワールド等の専門店）、④初年度は集中使用を避けて様子を見る、などが有効です。
11. まとめ——「社内専用AI」は中小企業のゲームチェンジャーになれるか
ローカルLLM構築のポイントを整理します。
- 月3万円以上のAPI費用・機密情報の取り扱い・オフライン環境のいずれかに当てはまる企業には、投資対効果が明確に出ます
- 「まず試す」ならMac mini M4（16GB）一択。7.5万円・静音・省電力・セットアップ30分で動き出します
- 「コスパ最優先」なら中古RTX3090サーバー。8〜10万円で27Bモデルが動き、電気代が許容できる環境なら最も費用対効果が高いです
- 「信頼性と性能のバランス」ならRTX4070Ti搭載Windows。新品保証・拡張性・性能が揃います
今日から始めるなら、まずMac miniにOllamaをインストールして ollama run qwen2.5:14b を試してください。「思ったより賢い」という体験が、社内専用AIへの投資判断を後押しするはずです。
関連記事
- ローカルLLM入門——OllamaとLM Studioでオフラインで動かす方法
- RAG（検索拡張生成）実装ガイド——社内ドキュメントをAIに読ませる
- 従業員のAI利用ログ管理・監査ガイド
- AIエージェント構築ガイド【Dify・n8n・CrewAI比較】
免責事項：本記事に記載のハードウェア価格・消費電力・モデル性能は2026年3月時点の情報です。市場価格・製品仕様・ソフトウェアの機能は変更される場合があります。電気代の試算は目安であり、実際の使用環境によって異なります。中古ハードウェアの購入は自己責任で行ってください。商用利用にあたっては、各LLMモデルのライセンス（Meta Llama License・Apache 2.0等）を事前に確認してください。
コメント