摘要
本文介绍 Dify 知识流水线正式集成 TiDB Vector 分布式向量数据库。开发者可无缝复用解析后的知识数据，结合 SQL 与向量混合搜索，快速构建高精度、可扩展的 RAG 应用与智能体工作流。
文章分类：Product
Dify x TiDB：借助分布式向量存储，全面升级你的知识流水线
我们很高兴地宣布，Dify 的知识流水线（Knowledge Pipeline）现已正式集成 TiDB Vector。作为一款高性能的分布式向量数据库，TiDB Vector 将大幅强化我们在大规模智能检索方面的数据底座。
几周前，我们推出了知识流水线功能。该功能旨在帮助开发者构建模块化的 RAG 工作流，轻松完成知识的摄入、解析与向量化。
此次集成 TiDB Vector 后，开发者可以无缝复用已处理的知识数据。无论是解析后的表格、提取的实体，还是文本向量，都能直接复用于下游的 AI 应用，例如 Agent 工作流或对话流。
TiDB Vector 提供了一层统一且高性能的数据层。它支持 SQL 与向量混合搜索。开发者可以先使用 SQL 语法过滤结构化元数据，再进行语义检索。这不仅确保了响应精准且贴合上下文，还依托 TiDB 的分布式架构，保障了企业级的可扩展性与稳定性。
快速上手：在 Dify 中配置 TiDB Vector
前置条件
请确保你已在本地部署 Dify，并注册了 TiDB Cloud 账号。
一、在 TiDB Cloud 创建 TiDB Vector 集群
- 创建集群，并配置相关参数。
- 初始化 Schema：
create schema dify;
- 获取集群属性。请记下以下关键信息：HOST、PORT（默认 4000）、USER、PASSWORD 和 DATABASE。
二、配置 Dify 环境变量
打开 docker-compose.yaml 文件。使用集群属性中的值，更新 api 和 worker 服务的环境变量：
# 使用 TiDB Vector 作为向量存储
VECTOR_STORE: tidb_vector
# 填写相关配置信息
TIDB_VECTOR_HOST: gateway01.eu-central-1.prod.aws.tidbcloud.com
TIDB_VECTOR_PORT: 4000
TIDB_VECTOR_USER: <your_user>.root
TIDB_VECTOR_PASSWORD: <your_password>
TIDB_VECTOR_DATABASE: dify
三、在流水线中上传并处理数据
在 Dify 中，你可以创建知识流水线。在将数据存入 TiDB 之前，流水线会自动处理非结构化数据。根据你的配置，它会自动完成数据提取、分块、向量化，并将向量存入 TiDB Vector。
为了降低配置门槛，我们提供了多种开箱即用的处理模板。你可以直接选择适用于常见场景的预置模板。例如：通用文档的高效处理、长篇技术手册的父子分块策略，或从表格数据中提取结构化问答。
完成知识库创建与数据上传后，处理后的内容（包括文本、元数据和生成的向量）将安全地存储于 TiDB 中。
四、构建 RAG 应用工作流
知识库准备就绪后，你可以将其作为上下文，构建智能体工作流。存储在 TiDB Vector 中的数据，可通过“知识节点”作为上下文知识进行检索。这将帮助 LLM 进行更精准的推理。
知识检索节点
选择你之前创建的知识库（现已使用 TiDB Vector 进行向量存储）作为数据源。当用户提交查询时，该节点会自动将问题向量化，在 TiDB 中执行相似度搜索，并召回最相关的信息。
LLM 节点
从 TiDB 检索到的信息将传入 LLM 节点。这使得模型能够生成更准确、更贴合上下文，且基于真实数据的回复。
借助 Dify 的可视化工作流构建器与 TiDB 的分布式向量存储，团队可以高效地设计、部署并扩展 AI 助手、文档问答系统和知识机器人。
这种模块化且端到端的方法，将 RAG 开发的每一个环节（从数据摄入、检索到生成）整合在统一的工作流中，大幅简化了开发流程。
关于 TiDB
TiDB 是一款开源的分布式 SQL 数据库，旨在助力企业数字化转型。其分布式架构提供了可扩展的数据基础设施，能够支持多种业务负载。传统上，企业需要依赖多套技术栈来满足不同的数据处理需求。而 TiDB 将这些能力整合到一个统一的实时 HTAP 平台中，同时支持事务处理与分析任务。
关于 Dify
Dify 是一款开源的 LLM 应用开发平台。其直观的界面融合了智能体 AI 工作流、RAG 流水线、Agent 能力、模型管理、可观测性等功能。它帮助你快速完成从原型验证到生产部署的全过程。
官网 | GitHub | 文档 | X | LinkedIn | Discord | YouTube
本页目录