跳转到正文

采集与索引

确认用户上传的文档是否处于可用于 AI 搜索的状态。这里生成的搜索数据用于 AI 查找相关文档并作答的 RAG。

开始之前

  • 所需权限:Workspace 管理员
  • 必须准备好用于执行嵌入的 AI 运行时和模型。
  • 要使用向量搜索,必须完成知识存储的连接和嵌入模型设置。

打开采集与索引

  1. 访问管理员页面。
  2. 在左侧菜单中选择知识服务。
  3. 选择采集与索引。

采集与索引页面


索引摘要

一目了然地查看当前索引状态。

项目说明
待更新新建或修改的文件正在等待反映到 AI 搜索中的状态
待删除已删除文件的搜索数据正在等待清理的状态
待删除向量文件删除或存储切换后,旧向量正在等待从原存储位置清除的数量
待嵌入已从文档中读取文字,正在等待生成 AI 搜索数据的状态
向量数据库存储数所选向量数据库中为当前空间实际存储的向量数。卡片下方的本地嵌入是针对当前文档版本在本地 knowledge.db 中保留的按模型划分的嵌入行数,两者可能不同。
SQLite 使用量知识索引记录数据库的容量。不包含向量数据库的容量。
索引模式要生成 AI 搜索数据的文件范围(例:全量索引)
嵌入提供方正在使用的 AI 嵌入模型(例:Ollama bge-m3:latest / 1024d)
生效的包含根目录索引目标路径
团队检查点最后一次检查团队文件夹的时间
客户端检查点最后一次检查个人文件夹的时间
最后刷新状态最后更新的时间

可以开启自动刷新,或通过刷新按钮手动更新当前状态。

正在检查向量数据库状态或检查失败时,向量数据库存储数显示为 -。在同一空间中,如果服务器暂时返回了较早时间点的快照,页面会保留最后确认的较新值并显示过期快照警告。切换团队空间和个人空间时会立即清除之前空间的值,在新空间的查询完成之前,未知的值显示为 -。

开始前的设置检查

在开始索引之前,请确认以下必需设置。点击各按钮可跳转到相应设置。

必需设置确认内容跳转
AI 运行时选择 Ollama、LM Studio 等用于索引的 AI 运行时,并确认连接状态。设置 AI 运行时
视觉模型(VL)从 AI 模型中选择用于读取 PDF 和图片内容的视觉模型。设置视觉模型
AI 向量数据库从 Local(SQLite)、Milvus、Qdrant 等中选择向量存储,并设置连接信息。设置 AI 向量数据库
嵌入模型选择将文档转换为搜索用向量的模型。(例:bge-m3)设置嵌入模型

这里只是选择要使用的模型。视觉模型和嵌入模型必须先在 AI 模型设置中下载,才能用于索引。

AI 向量数据库项目不仅检查是否已设置,还会检查实际连接状态。无法访问向量数据库时显示连接错误 · 请检查设置,集合的维度或距离计算方式不匹配时显示集合不匹配 · 需要检查,尚未在 Milvus 中创建集合时显示未找到集合 · 请先创建,均以警告色显示。连接错误和集合设置不匹配时,将鼠标悬停在卡片上可查看详细错误。Milvus 集合不存在时没有单独显示的错误内容,请点击卡片跳转到向量数据库设置,然后参照 连接 Milvus创建集合。Qdrant 集合尚不存在时不算错误,因此显示为就绪 · 首次索引时创建集合。详细处理方法请参阅向量数据库运营指南。

采集与处理规则

决定何时生成搜索数据,以及将哪些文件夹的文档用于 AI 搜索。

启用知识索引

开启或关闭整个知识索引功能。

索引模式设置

项目说明默认值
索引模式选择索引范围和方式全量索引
等待时间(分钟)检测到文件更改后到开始索引之前的等待时间20
最大并发任务数可同时处理的索引任务数1
允许运行工作进程关闭后仍会继续查找更改的文件,但不会生成 AI 搜索数据。启用
高负载时自动暂停服务器使用率较高时暂时停止索引,服务器稳定后重新开始。启用
加速模式文件更改 5 秒后开始索引,并将积压任务提前处理。不会提高处理速度,积压任务处理完后自动关闭。已禁用
允许时段指定允许索引的时段。留空则随时索引。(例:01:00-06:00)不限

包含根目录

指定要索引的文件夹路径。留空则以全部路径为目标。

示例:

/@team/docs
/@client/projects

AI 嵌入模型设置

选择将文档转换为搜索数据的 AI 模型。

提供方说明
Ollama使用本地安装的 Ollama 模型。(例:bge-m3:latest)
ONNX Local CPU使用基于 CPU 在本地运行的 ONNX 模型。
ONNX Local GPU使用利用 GPU 加速的本地 ONNX 模型。
Remote API通过外部 API 使用嵌入模型。

未安装模型的提供方显示为没有可用模型。

项目说明
向量维度AI 模型使用的搜索数据的大小。会根据所选模型自动设置。(例:1024)
PDF/图片提取策略选择从 PDF 和图片中读取文字的方法。优先使用 VL,失败时改用 OCR表示先使用图像理解 AI,失败时再使用文字识别。

PDF/图片包含模式

输入要读取文字的 PDF 和图片文件的扩展名或路径规则。

示例:

*.pdf, *.png, image/**/*

PDF/图片排除模式

输入不处理的 PDF 和图片文件的扩展名或路径规则。留空则处理上面包含的所有文件。

示例:

thumbs.db, *.gif, cache/**

按存储空间的进度

查看各团队或个人存储空间中有多少资料正在等待传递给 AI。

可以按空间(team/client)和用户搜索,并按待更新数量排序。

项目说明
空间区分团队空间(team)或个人空间(client)
用户个人空间时对应的用户
待更新新建或修改的文件正在等待反映到 AI 搜索中的状态
待删除已删除文件的搜索数据正在等待清理的状态
待嵌入已从文档中读取文字,正在等待生成 AI 搜索数据的状态
嵌入数已完成的嵌入总数

AI 学习数据概况

查看按模型生成了多少 AI 搜索数据。这不是用原始文档重新训练 AI 模型的功能。

项目说明
提供方用于嵌入的模型提供方(例:ollama)
模型使用的嵌入模型名称(例:bge-m3:latest)
数量用该模型生成的嵌入总数

可以按数量排序,比较各模型的搜索数据规模。