本文へ移動

収集・インデックス作成

ユーザーがアップロードした文書がAI検索で使用できる状態かどうかを確認します。ここで作成した検索データは、AIが関連文書を探して回答するRAGに使用されます。

始める前に

  • 必要な権限:Workspace管理者
  • 埋め込みを実行するAIランタイムとモデルを準備しておく必要があります。
  • ベクトル検索を使用するには、ナレッジストレージの接続と埋め込みモデルの設定を完了しておく必要があります。

収集・インデックス作成を開く

  1. 管理者ページにアクセスします。
  2. 左側のメニューでナレッジサービスを選択します。
  3. 収集・インデックス作成を選択します。

収集・インデックス作成画面


インデックス要約

現在のインデックス作成の状態をひと目で確認します。

項目説明
更新待ち新しく作成または変更したファイルが、AI検索への反映を待っている状態
削除待ち削除したファイルの検索データが、整理されるのを待っている状態
ベクトル削除待ちファイルの削除やストレージの切り替えの後、以前のベクトルが元の保存場所から削除されるのを待っている数
埋め込み待ち文書からテキストを読み取り、AI検索データへの変換を待っている状態
ベクトルDB保存数選択したベクトルDBに、現在のスペース用として実際に保存されているベクトル数。カードの下のローカル埋め込みは、現在の文書バージョンについてローカルのknowledge.dbに保管されているモデル別の埋め込み行数であり、2つの値は異なる場合があります。
SQLite 使用量ナレッジインデックス記録DBの容量。ベクトルDBの容量は含みません。
インデックスモードAI検索データを作成するファイルの範囲(例:フルインデックス)
埋め込みプロバイダー使用中のAI埋め込みモデル(例:Ollama bge-m3:latest / 1024d)
実行対象ルートインデックス作成の対象パス
チームチェックポイントチームフォルダを最後に確認した時刻
クライアントチェックポイント個人フォルダを最後に確認した時刻
最終更新状態を最後に更新した時刻

自動更新をオンにしておくか、更新ボタンで状況を手動で更新できます。

ベクトルDBの状態を確認中の場合、または確認に失敗した場合、ベクトルDB保存数は-と表示されます。同じスペースでサーバーが一時的に以前の時点のスナップショットを返した場合、画面は最後に確認したより新しい値を維持し、スナップショットが古いことを示す警告を表示します。チームスペースと個人スペースを切り替えると、以前のスペースの値はすぐに消去され、新しいスペースの照会が終わるまで、不明な値は-と表示されます。

開始前の設定確認

インデックス作成を開始する前に、次の必須設定を確認してください。各ボタンを押すと、該当する設定に移動します。

必須設定確認する内容移動
AIランタイムOllama、LM Studioなど、インデックス作成に使用するAIランタイムを選択し、接続状態を確認します。AIランタイムを設定する
ビジョンモデル(VL)PDFと画像の内容を読み取るビジョンモデルを、AIモデルの中から選択します。ビジョンモデルを設定する
AIベクトルDBベクトルストレージをLocal(SQLite)、Milvus、Qdrantなどから選択し、接続情報を設定します。AIベクトルDBを設定する
埋め込みモデル文書を検索用のベクトルに変換するモデルを選択します。(例:bge-m3)埋め込みモデルを設定する

ここでは、使用するモデルを選択するだけです。ビジョンモデルと埋め込みモデルは、先にAIモデル設定でダウンロードしておかないと、インデックス作成に使用できません。

AIベクトルDBの項目では、設定の有無だけでなく、実際の接続状態も確認します。ベクトルDBに接続できない場合はDB接続エラー・設定を確認してください、コレクションの次元や距離の計算方式が一致しない場合はコレクション設定の不一致・確認が必要、Milvusにコレクションをまだ作成していない場合はコレクションなし・先に作成が必要が警告色で表示されます。接続エラーとコレクション設定の不一致は、カードにマウスポインターを合わせると詳細なエラーを確認できます。Milvusのコレクションなしの場合は、別途表示されるエラー内容がないため、カードを押してベクトルDBの設定に移動し、Milvusを接続するを参照してコレクションを作成してください。Qdrantのコレクションがまだない場合はエラーではないため、設定完了・コレクションは初回インデックス作成時に生成と表示されます。詳しい対処方法は、ベクトルDB運用ガイドを参照してください。

収集および処理ルール

検索データをいつ作成するか、どのフォルダの文書をAI検索に使用するかを決めます。

知識インデックスを有効化

ナレッジインデックス作成の機能全体をオンまたはオフにします。

インデックスモード設定

項目説明デフォルト値
インデックスモードインデックス作成の範囲と方式を選択フルインデックス
待機時間(分)ファイルの変更を検知してから、インデックス作成を開始するまで待機する時間20
最大同時ワーカー数同時に処理できるインデックス作成の作業数1
ワーカー実行を許可オフにすると、変更されたファイルの検出は続けますが、AI検索データは作成しません。有効
高負荷時に自動一時停止サーバーの使用率が高いときはインデックス作成を一時停止し、サーバーが安定すると再開します。有効
ブーストモードファイル変更の5秒後にインデックス作成を開始し、たまっている作業もすぐ処理対象にします。処理速度は上がらず、たまっている作業が終わると自動でオフになります。無効
許可時間帯インデックス作成を許可する時間帯を指定します。空欄にすると、いつでもインデックスを作成します。(例:01:00-06:00)制限なし

対象ルート

インデックスを作成するフォルダのパスを指定します。空欄にすると、すべてのパスが対象になります。

例:

/@team/docs
/@client/projects

AI埋め込みモデル設定

文書を検索データに変換するAIモデルを選択します。

プロバイダー説明
OllamaローカルにインストールされたOllamaモデルを使用します。(例:bge-m3:latest)
ONNX Local CPUCPUベースでローカル実行されるONNXモデルを使用します。
ONNX Local GPUGPUアクセラレーションを使用するローカルのONNXモデルを使用します。
Remote API外部APIを通じて埋め込みモデルを使用します。

モデルがインストールされていないプロバイダーは、利用可能なモデルはありませんと表示されます。

項目説明
ベクトル次元数AIモデルが使用する検索データのサイズです。選択したモデルに合わせて自動的に設定されます。(例:1024)
PDF/画像抽出戦略PDFと画像からテキストを読み取る方法を選択します。VL 優先、失敗時は OCRは、先に画像理解AIを使用し、失敗した場合に文字認識を使用するという意味です。

PDF/画像の対象パターン

テキストを読み取るPDFと画像ファイルの拡張子、またはパスのルールを入力します。

例:

*.pdf, *.png, image/**/*

PDF/画像の除外パターン

処理しないPDFと画像ファイルの拡張子、またはパスのルールを入力します。空欄にすると、上で対象に含めたファイルをすべて処理します。

例:

thumbs.db, *.gif, cache/**

保存スペース別の進行状況

チームや個人の保存スペースごとに、資料がAIに渡されるまでどれだけ待機しているかを確認します。

スペース(team/client)とユーザーを条件に検索でき、更新待ちの件数で並べ替えることができます。

項目説明
スペースチームスペース(team)または個人スペース(client)の区分
ユーザー個人スペースの場合、該当するユーザー
更新待ち新しく作成または変更したファイルが、AI検索への反映を待っている状態
削除待ち削除したファイルの検索データが、整理されるのを待っている状態
埋め込み待ち文書からテキストを読み取り、AI検索データへの変換を待っている状態
埋め込み数完了した埋め込みの総数

AI学習データ状況

AI検索データがモデルごとにどれだけ作成されたかを確認します。元の文書でAIモデルを新たに学習させる機能ではありません。

項目説明
プロバイダー埋め込みに使用されたモデルのプロバイダー(例:ollama)
モデル使用された埋め込みモデル名(例:bge-m3:latest)
件数そのモデルで生成された埋め込みの総数

件数で並べ替えて、モデルごとの検索データの規模を比較できます。