RAG実践ガイド — Dify・AnythingLLMで自社データをAIに読み込ませる方法

RAG実践ガイド — Dify・AnythingLLMで自社データをAIに読み込ませる方法

  1. はじめに——「AIが自社のことを何も知らない」問題
  2. RAGの仕組み——3分で分かるメカニズム
  3. ツール選び——Dify vs AnythingLLM、どちらを使うべきか？
    1. こんな会社にはDifyがおすすめ
    2. こんな会社にはAnythingLLMがおすすめ
  4. 実践① AnythingLLM編——デスクトップアプリで30分RAG
    1. 準備するもの
    2. 手順1：インストール
    3. 手順2：LLMの設定
    4. 手順3：エンベディングモデルの設定
    5. 手順4：ワークスペースを作成してドキュメントを読み込ませる
    6. 手順5：チャットで動作確認
    7. ポイント：ワークスペースの使い分け
  5. 実践② Dify編——ブラウザだけで本格RAGアプリを構築
    1. 方法A：Dify Cloud（SaaS版）で試す
      1. 手順1：アカウント作成
      2. 手順2：ナレッジ（Knowledge）にドキュメントを登録
      3. 手順3：AIアプリを作成してナレッジを接続
    2. 方法B：Difyを自己ホスト（Docker版）する
      1. 前提条件
      2. インストール手順
      3. ローカルLLMと組み合わせる
  6. RAGの精度を上げるための実践テクニック
    1. テクニック1：ドキュメントの前処理を丁寧にやる
    2. テクニック2：チャンクサイズを調整する
    3. テクニック3：システムプロンプトを工夫する
    4. テクニック4：ハイブリッド検索を活用する
  7. コスト比較——RAGの導入にいくらかかるか？
    1. パターン1：クラウド完結型（Dify Cloud + OpenAI API）
    2. パターン2：完全ローカル型（Dify自己ホスト + Ollama）
    3. パターン3：ハイブリッド型（AnythingLLM + Ollama、一部クラウド）
  8. ユースケース別・構成の選び方
  9. よくある質問（FAQ）
    1. Q1. RAGを使えば、AIが社内情報を「記憶」するのですか？
    2. Q2. どのくらいの量のドキュメントを読み込ませられますか？
    3. Q3. PDFのスキャン画像（OCRが必要なもの）は使えますか？
    4. Q4. 機密情報を扱っても大丈夫ですか？
    5. Q5. 回答の精度が低い場合はどうすればいいですか？
  10. 導入ロードマップ——4ステップで始める
    1. ステップ1：30分で体験する（今日）
    2. ステップ2：実務データで精度検証（1〜2週間）
    3. ステップ3：本番構成を決定する（2〜4週間）
    4. ステップ4：社内展開（1〜2ヶ月）
  11. まとめ——AIを「自社の専門家」にする技術

はじめに——「AIが自社のことを何も知らない」問題

ChatGPTやClaudeに業務の質問をしてみたことはありますか？

「当社の有給休暇の申請手順を教えて」「この製品のトラブルシューティング手順は？」——こうした質問に対して、AIは一般論しか返しません。当然です。AIはあなたの会社の社内規程も、製品マニュアルも、過去のFAQも知らないからです。

「結局AIは使えない」と判断してしまう企業は少なくありません。しかし、これはAIの性能の問題ではなく、AIに自社の情報を渡していないという使い方の問題です。

この問題を解決するのが**RAG（Retrieval-Augmented Generation）**という技術です。日本語にすると「検索拡張生成」。難しく聞こえますが、やっていることはシンプルです。

社内のドキュメントをAIに「参考資料」として渡して、その内容に基づいて回答させる。

これだけです。そして2026年現在、この仕組みをプログラミングなしで構築できるツールが揃っています。

この記事では、代表的な2つのツール——DifyとAnythingLLM——を使って、社内ナレッジをAIに読み込ませる方法をステップバイステップで解説します。

RAGの仕組み——3分で分かるメカニズム

RAGを理解するために、「新入社員の研修」に例えてみましょう。

普通のAI（RAGなし）は、一般的な知識だけで研修を受けた新入社員のようなものです。ビジネスマナーや一般常識は答えられますが、「御社の営業プロセスはどうなっていますか？」と聞かれても答えられません。

RAGつきのAIは、あなたの会社の社内マニュアルを手元に置いた新入社員です。質問されるたびにマニュアルの関連ページをめくり、その内容をもとに回答します。

技術的には、次の3ステップで動いています。

ステップ1：文書の取り込み（Indexing） 社内マニュアルやFAQをツールにアップロードすると、文書が細かい段落（チャンク）に分割され、AIが検索しやすい形式（ベクトル）に変換されてデータベースに保存されます。

ステップ2：関連情報の検索（Retrieval） ユーザーが質問を入力すると、その質問に意味的に近いチャンクがデータベースから検索されます。キーワードの完全一致ではなく、「意味が似ている」内容を見つけるのがポイントです。

ステップ3：回答の生成（Generation） 検索で見つかった関連情報を「参考資料」としてAIに渡し、AIがそれを踏まえて回答を生成します。回答の根拠が明確なため、一般論ではなく、自社の情報に基づいた具体的な回答が返ってきます。

この一連の流れを、以前は数百行のプログラムを書いて構築する必要がありました。しかし今は、ドラッグ＆ドロップでファイルをアップロードし、いくつかの設定をするだけで実現できます。

ツール選び——Dify vs AnythingLLM、どちらを使うべきか？

RAGをノーコードで構築できるツールは複数ありますが、2026年時点で最も実用的なのがDifyとAnythingLLMです。それぞれ特徴が異なるので、自社の状況に合わせて選びましょう。

比較項目DifyAnythingLLM
主な用途AIアプリの開発プラットフォーム全般社内ドキュメントとのチャット特化
RAG構築の難易度GUIで完結、非常に簡単GUIで完結、非常に簡単
AIモデル接続クラウドAPI（OpenAI、Claude等）＋ローカルLLMクラウドAPI＋ローカルLLM（Ollama連携）
ワークフロー機能◎（ビジュアルエディタで複雑な処理フローを構築可能）△（チャット中心、シンプルな構成）
マルチユーザー◎（ロール管理、チーム機能あり）○（Docker版でマルチユーザー対応）
日本語対応ドキュメント一部日本語あり、UIは英語UIは英語のみ
導入方法Dify Cloud（SaaS）またはDocker自己ホストデスクトップアプリまたはDocker
コストCloud：無料枠あり / Professional $59/月 / 自己ホスト：無料デスクトップ版：無料 / Docker版：無料
ライセンスオープンソース（SSPL系、商用は条件あり）オープンソース（MIT）
最適な利用者AIアプリを段階的に高度化したいチームまず社内文書チャットを手軽に始めたい個人・小チーム

こんな会社にはDifyがおすすめ

  • 社内チャットボットだけでなく、将来的にAI業務アプリを複数作りたい
  • IT担当者がいて、Docker環境を構築・管理できる
  • 複数部門で横断的にRAGを展開したい
  • ワークフロー自動化（質問→検索→回答→承認フローなど）まで視野に入れている

こんな会社にはAnythingLLMがおすすめ

  • まず1人でRAGを試してみたい
  • IT専門のスタッフがいない
  • 前回の記事でOllamaやLM Studioを導入済み（そのまま連携可能）
  • デスクトップアプリをインストールするだけで始めたい

実践① AnythingLLM編——デスクトップアプリで30分RAG

最もハードルが低い方法から始めましょう。AnythingLLMのデスクトップアプリなら、ダウンロードからRAGの動作確認まで30分程度で完了します。

準備するもの

  • PC（Windows / Mac / Linux）
  • AIモデルの接続先（以下のいずれか）
    • OpenAI APIキー（ChatGPT系モデルを使う場合）
    • Ollama（ローカルLLMを使う場合。前回の記事で導入済みなら準備不要）
  • 読み込ませたい社内ドキュメント（PDF、Word、テキストファイル等）

手順1：インストール

AnythingLLMの公式サイト（https://anythingllm.com ）から、自分のOSに合ったデスクトップ版をダウンロードしてインストールします。通常のアプリと同じ手順です。

手順2：LLMの設定

起動すると初期設定画面が表示されます。ここでAIモデルの接続先を選びます。

クラウドAPIを使う場合： 「OpenAI」を選択し、APIキーを入力します。モデルはGPT-4oを推奨。

ローカルLLMを使う場合： 「Ollama」を選択し、ベースURL（通常はhttp://localhost:11434）を入力します。Ollamaが起動していれば、利用可能なモデルが自動的にリストに表示されます。

手順3：エンベディングモデルの設定

RAGでは、文書を検索可能な形式（ベクトル）に変換する「エンベディングモデル」も必要です。AnythingLLMには内蔵のエンベディングモデル（AnythingLLM Embedder）が搭載されているので、初期設定のまま進めて問題ありません。精度を上げたい場合は、OpenAIのtext-embedding-3-smallや、Ollamaでnomic-embed-textを使うこともできます。

手順4：ワークスペースを作成してドキュメントを読み込ませる

  1. 「New Workspace」でワークスペースを作成します（例：「社内FAQ」「製品マニュアル」など、用途ごとに分けるのがおすすめ）
  2. ワークスペース内のドキュメント管理画面で、ファイルをドラッグ＆ドロップでアップロード
  3. アップロードしたファイルを選択し、「Embed（埋め込み）」を実行

この「Embed」処理で、文書がチャンク分割→ベクトル変換→データベースへの保存まで自動で行われます。PDFなら数十ページでも数分で完了します。

手順5：チャットで動作確認

ワークスペースのチャット画面で、アップロードした文書の内容に関する質問を入力してみましょう。

入力例： 「有給休暇の申請に必要な書類を教えてください」

AIが社内規程の内容をもとに、具体的な手続きを回答すれば成功です。回答の下に「引用元（Sources）」が表示されるので、どのドキュメントのどの部分を参照したかも確認できます。

ポイント：ワークスペースの使い分け

AnythingLLMでは、ワークスペースごとに異なるドキュメントセットを管理できます。たとえば「人事・総務」「技術サポート」「営業」といったワークスペースを作り、それぞれに関連文書だけを登録すれば、部門ごとに特化したAIチャットが実現します。

実践② Dify編——ブラウザだけで本格RAGアプリを構築

DifyはAnythingLLMより多機能で、RAGチャットボットの構築に加えて、ワークフロー自動化やAPI公開まで視野に入るプラットフォームです。ここではまず、Dify Cloudの無料枠を使ってRAGを試す方法を紹介します。

方法A：Dify Cloud（SaaS版）で試す

最も手軽な方法です。サーバーの準備やDockerの知識は一切不要で、ブラウザだけで完結します。

手順1：アカウント作成

Dify公式サイト（https://dify.ai ）にアクセスし、無料アカウントを作成します。Googleアカウントまたはメールアドレスで登録できます。

手順2：ナレッジ（Knowledge）にドキュメントを登録

  1. ダッシュボード左メニューから「Knowledge（ナレッジ）」を選択
  2. 「Create Knowledge」をクリック
  3. PDFやWord、テキストファイルをドラッグ＆ドロップでアップロード
  4. チャンクの分割方法を選択（初期設定の「Automatic」で十分です）
  5. エンベディングモデルを選択して「Save & Process」

無料のSandboxプランでは、50MBまでのナレッジストレージが利用可能です。社内FAQ程度なら十分な容量です。

手順3：AIアプリを作成してナレッジを接続

  1. 「Studio」→「Create from Blank」→「Chatbot」を選択
  2. LLMモデルを選択（Dify Cloud上で利用可能なモデルが一覧表示されます）
  3. 「Context」セクションで、手順2で作成したナレッジを紐づけ
  4. システムプロンプトを設定（例：「あなたは当社の社内ヘルプデスク担当です。ナレッジの内容に基づいて正確に回答してください。ナレッジに情報がない場合は『該当する情報が見つかりません』と回答してください。」）
  5. 右側のプレビューパネルで動作テスト

これだけでRAGチャットボットが完成します。「公開」ボタンを押せば、共有用のURLが発行され、社内メンバーにリンクを配布するだけでAIヘルプデスクが稼働します。

方法B：Difyを自己ホスト（Docker版）する

データを一切外部に出したくない場合は、Dify Community Edition（無料）を自社のPCやサーバーにインストールします。

前提条件

  • Docker Desktop がインストール済みのPC（Windows / Mac / Linux）
  • メモリ8GB以上（推奨16GB以上）
  • ストレージ20GB以上の空き

インストール手順

# 1. Difyのソースコードを取得
git clone https://github.com/langgenius/dify.git

# 2. Dockerの設定ディレクトリに移動
cd dify/docker

# 3. 環境設定ファイルを作成
cp .env.example .env

# 4. コンテナを起動（初回は10〜15分程度かかります）
docker compose up -d

起動が完了したら、ブラウザで http://localhost にアクセスします。初回は管理者アカウントの作成画面が表示されるので、メールアドレスとパスワードを設定してください。

ローカルLLMと組み合わせる

自己ホスト版Difyの真価は、Ollamaと組み合わせた完全ローカル環境です。

  1. Difyの設定画面で「Model Provider」→「Ollama」を追加
  2. OllamaのAPIアドレス（http://host.docker.internal:11434）を入力
  3. これで、Ollamaで動作しているモデルがDify上で選択可能に

この構成なら、ドキュメントの取り込みからAIの回答生成まで、すべてが社内ネットワーク内で完結します。前回の記事で紹介したローカルLLM環境の発展形として最も自然な流れです。

RAGの精度を上げるための実践テクニック

ツールの設定が終わったら、次は「回答の精度をどう上げるか」が重要になります。RAGは万能ではなく、使い方次第で回答の質が大きく変わります。

テクニック1：ドキュメントの前処理を丁寧にやる

RAGの精度はインプットの質に直結します。

  • 不要なヘッダー・フッター・ページ番号を削除： スキャンPDFの「—— 第3章 ——」のようなノイズが混じると、検索精度が下がります
  • 表やグラフが多い資料はテキスト化： 画像内の文字はRAGでは検索できません。テキスト抽出してから登録しましょう
  • Q&A形式に整理すると効果的： 「Q：有給の申請方法は？ A：申請書を上長に提出し…」のように、質問と回答のペアで整理した文書はRAGとの相性が抜群です
  • 1つのドキュメントは1つのテーマに： 雑多な内容が混在するファイルより、テーマごとに分けたファイルの方が検索精度が上がります

テクニック2：チャンクサイズを調整する

文書を分割する単位（チャンクサイズ）は、回答の質に大きく影響します。

  • チャンクが小さすぎる（100文字以下）： 文脈が失われ、断片的な情報しか返らない
  • チャンクが大きすぎる（2000文字以上）： 無関係な情報が混じり、AIが混乱しやすい
  • 推奨： 500〜1000文字程度（DifyもAnythingLLMもデフォルトでこの付近に設定されています）

文書の種類によって最適値は異なります。FAQのような短い項目は小さめに、マニュアルのような長文は大きめに設定するのがコツです。

テクニック3：システムプロンプトを工夫する

AIへの指示文（システムプロンプト）で、回答の品質が劇的に変わります。

悪い例：

質問に答えてください。

良い例：

あなたは当社のITヘルプデスク担当です。以下のルールに従って回答してください。

  • 提供されたナレッジの内容のみに基づいて回答すること
  • ナレッジに該当する情報がない場合は「この件については情報がありません。IT部門にお問い合わせください」と回答すること
  • 専門用語には簡単な説明を添えること
  • 手順を説明する場合は番号付きで順を追って説明すること

このように具体的なルールを設定すると、「知らないことを知ったかぶりして答える（ハルシネーション）」を大幅に減らせます。

テクニック4：ハイブリッド検索を活用する

DifyはRAGの検索方式として3種類を提供しています。

検索方式仕組み得意な場面
ベクトル検索意味の近さで文書を検索言い回しが異なる質問に対応（「有給」と「年次休暇」など）
全文検索キーワードの一致で文書を検索型番や固有名詞の正確な検索
ハイブリッド検索上記2つを併用し、Rerankモデルで最適な結果を選別多様な質問に幅広く対応

精度を最大化したい場合はハイブリッド検索を選択しましょう。Difyでは、ナレッジの設定画面から検索方式を切り替えるだけで有効になります。

コスト比較——RAGの導入にいくらかかるか？

パターン1：クラウド完結型（Dify Cloud + OpenAI API）

項目月額コスト
Dify Cloud Professional$59（約9,000円）
OpenAI API（GPT-4o、月間5,000回想定）約5,000〜15,000円（トークン使用量による）
合計約14,000〜24,000円/月

メリットはサーバー管理不要で即日スタートできること。デメリットは社内データがクラウドに送信される点です。

パターン2：完全ローカル型（Dify自己ホスト + Ollama）

項目コスト
PC（前回の記事「スタンダード構成」）25〜35万円（初期投資）
電気代約5,000円/月
ソフトウェア費用無料（Dify Community + Ollama）
3年間の総コスト約43〜53万円

メリットはデータが一切外部に出ないこと、ランニングコストが安いこと。デメリットは初期投資と、クラウドモデルに比べてやや性能が劣る場合があること。

パターン3：ハイブリッド型（AnythingLLM + Ollama、一部クラウド）

項目コスト
既存PC（Ollama導入済み）0円（追加投資なし）
AnythingLLM デスクトップ版無料
OpenAI API（高精度が必要な一部の用途）約2,000〜5,000円/月
月額コスト約2,000〜5,000円

前回の記事でローカルLLM環境を構築済みなら、追加投資ほぼゼロで始められます。日常的なFAQ対応はOllamaのローカルモデルで処理し、高精度が求められる場面だけクラウドAPIに切り替える運用です。

ユースケース別・構成の選び方

ユースケース推奨構成理由
社内FAQ・ヘルプデスクAnythingLLM + Ollama手軽に始められて、定型的な質問には十分な精度
技術マニュアル検索Dify（自己ホスト）+ Ollama製品固有の型番検索にハイブリッド検索が有効
顧客向けチャットボット公開Dify Cloud + OpenAI API高精度な回答が必要で、API・埋め込み機能も活用
契約書・法務文書の参照Dify（自己ホスト）+ Ollama機密データなので完全ローカルが必須
営業ナレッジの蓄積・共有Dify（自己ホスト）+ Ollamaマルチユーザー対応で、チーム全体で活用
まず1人で試してみたいAnythingLLM デスクトップインストールして即日使える、最もハードルが低い

よくある質問（FAQ）

Q1. RAGを使えば、AIが社内情報を「記憶」するのですか？

厳密には「記憶」ではなく「参照」です。AIの知識そのものが変わるわけではなく、質問のたびにデータベースから関連情報を検索し、それを文脈として渡しています。ファインチューニング（AIモデル自体の追加学習）とは異なり、文書を入れ替えるだけで即座に知識をアップデートできるのがRAGの利点です。

Q2. どのくらいの量のドキュメントを読み込ませられますか？

ツールとストレージの容量次第ですが、実用上の目安は以下の通りです。

  • AnythingLLM（デスクトップ版）：PCのディスク容量が許す限り。数百ファイルは問題なし
  • Dify Cloud（Sandbox）：50MBまで（約50〜100ファイル程度）
  • Dify Cloud（Professional）：5GBまで（数千ファイル対応）
  • Dify（自己ホスト版）：サーバーのストレージ容量次第で事実上無制限

ただし、大量のドキュメントを入れれば精度が上がるわけではありません。テーマを絞って高品質なドキュメントを登録する方が、雑多に大量登録するより精度は上がります。

Q3. PDFのスキャン画像（OCRが必要なもの）は使えますか？

テキストが埋め込まれたPDF（コピー＆ペーストで文字が取れるもの）は問題なく使えます。スキャンした画像PDFの場合は、事前にOCR処理でテキスト化する必要があります。Adobe Acrobatや無料のOCRツールで変換してから登録しましょう。

Q4. 機密情報を扱っても大丈夫ですか？

構成によります。

  • Dify Cloud / OpenAI API を使う場合： データはクラウドサーバーに送信されます。各サービスのプライバシーポリシーで、データの取り扱いを確認してください
  • Dify自己ホスト + Ollama の場合： すべての処理が社内で完結します。データは一切外部に出ません。機密性の高い情報を扱う場合はこの構成を推奨します
  • AnythingLLM デスクトップ + Ollama の場合： 同様に完全ローカルです

前回の記事で解説した「ローカルLLM」の延長線上にRAGを構築すれば、データセキュリティとAI活用を両立できます。

Q5. 回答の精度が低い場合はどうすればいいですか？

以下の順番で改善を試みてください。

  1. ドキュメントの品質を確認： 文書にノイズ（不要なヘッダー、文字化け等）が含まれていないか
  2. チャンクサイズの調整： デフォルトから±30%程度の範囲で変えてテスト
  3. 検索方式の変更： ベクトル検索→ハイブリッド検索に切り替え
  4. エンベディングモデルの変更： より高性能なモデル（OpenAI text-embedding-3-large等）に切り替え
  5. LLMモデルの変更： より大きなパラメータのモデル、またはクラウドAPIに切り替え
  6. リランクモデルの導入： 検索結果の再順位づけで精度を底上げ（Difyで設定可能）

多くの場合、ステップ1〜3で大幅に改善します。

導入ロードマップ——4ステップで始める

ステップ1：30分で体験する（今日）

AnythingLLMのデスクトップ版をインストールし、社内の1ファイル（FAQや規程など）を読み込ませてチャットしてみましょう。「AIが自社のことを知っている」体験を、まず自分で確認することが最初の一歩です。

ステップ2：実務データで精度検証（1〜2週間）

実際に業務で使うドキュメントを10〜20ファイル登録し、想定される質問を20個以上試します。「使える」と「使えない」の境界を見極めましょう。この段階で、ドキュメントの前処理やプロンプトの改善を繰り返します。

ステップ3：本番構成を決定する（2〜4週間）

精度に満足できたら、本番運用の構成を決めます。

  • データセキュリティ要件 → ローカル型かクラウド型か
  • 利用人数 → AnythingLLM（少人数）かDify（チーム利用）か
  • 将来の拡張性 → チャットだけで十分か、ワークフローまで必要か

ステップ4：社内展開（1〜2ヶ月）

  • RAGで参照させるドキュメントの管理者を決める
  • ドキュメント更新時のRAG再登録ルールを策定する
  • 利用者向けの簡易マニュアルを作成する
  • フィードバックを収集して継続的に精度改善する

まとめ——AIを「自社の専門家」にする技術

RAGは、AIを「なんでも薄く知っているジェネラリスト」から「自社の業務を深く理解した専門家」に変える技術です。

ポイントを3つにまとめます。

1. プログラミングは不要。 DifyもAnythingLLMも、ファイルをアップロードして設定するだけでRAGが動きます。2026年現在、ノーコードでここまでできるのは数年前には考えられなかったことです。

2. まずはAnythingLLM＋Ollamaで体験。 前回の記事でローカルLLM環境を構築済みなら、追加投資ゼロでRAGを始められます。30分あれば「自社データに基づくAI回答」を体験できます。

3. 精度はドキュメント次第。 RAGの性能の8割は、読み込ませる文書の質で決まります。高度なモデルより、高品質なドキュメントの方がはるかに重要です。

「AIが一般論しか返さない」と嘆く段階は、もう卒業しましょう。あなたの会社の知識をAIに読み込ませることで、社員の問い合わせ対応、新人教育、技術サポート——あらゆる場面でAIが「自社の専門家」として機能し始めます。

コメント

タイトルとURLをコピーしました