摘要
本文介绍 Bright Data 网页抓取扩展正式接入 Dify Marketplace。该插件助力开发者将实时、结构化的外部网页数据无缝接入 Dify 知识流水线（Knowledge Pipeline），简化 RAG 应用的数据获取与处理流程，提升 AI 工作流的准确性与可靠性。

结构化网页数据，化繁为简：Bright Data 网页抓取扩展正式登陆 Dify Marketplace

我们非常高兴地将 Bright Data 迎为 Dify Marketplace 的最新合作伙伴！

作为全球领先的网页数据基础设施平台，Bright Data 提供企业级解决方案，帮助开发者从电商网站、社交媒体和搜索引擎中获取结构化的实时信息。它的加入进一步丰富了 Marketplace 生态，赋能企业将外部网页数据无缝接入 Knowledge Pipeline。双方携手，助力个人开发者与企业用户挖掘更丰富的知识源，构建更强大、可靠的智能体工作流。

借助 Dify Marketplace 扩展，赋能你的知识流水线

Knowledge Pipeline 是我们最新推出的 RAG 工程工作流。它将整个上下文构建路径变得可视化且可控。该工作流继承了 Dify Workflow 的画布设计，能够将碎片化、非结构化的数据（如 PDF、PPT、Excel、HTML 等）转化为可靠、模型就绪的知识。

每个步骤都是一个节点。从数据源连接、文档解析，到分块（chunking）和向量化（embedding），开发者均可根据文本、图片、表格或扫描件选择最合适的插件。

自上线以来，Dify Marketplace 已在全球开发者中广受好评。它迅速成长为繁荣的生态社区，目前托管了 500 多个插件，涵盖模型、工具、智能体策略、扩展和数据源。

Dify Marketplace 赋予开发者速度与灵活性，助力他们构建、定制并规模化创新 AI 解决方案。依托该生态，开发者可像搭积木一样组装知识流水线。通过模型丰富内容，利用代码实现基于规则的清洗，打造透明且可调节的工作流。这些功能直击 RAG 的核心痛点：数据源分散、解析信息丢失以及黑盒处理。

其中，Bright Data 网页抓取插件作为全新的数据源扩展正式加入。它让你的工作流能够无缝抓取全网实时、结构化的信息，并为 Knowledge Pipeline 注入新鲜的外部知识。

快速入门：将 Bright Data 与 Dify 集成

上手非常简单。只需按以下步骤连接 Bright Data 与 Dify，即可在 Knowledge Pipeline 中开始使用实时网页数据。

步骤 1：安装扩展

前往 Dify Marketplace，安装 Bright Data Web Scraper 插件。

步骤 2：确认安装

安装完成后，请检查插件是否已显示在“已安装扩展”列表中。

步骤 3：配置 Bright Data 账号

登录你的 Bright Data 账号，复制 API Key，并配置数据采集设置。

进入 Account Settings（账号设置）。

在 API Key 区域，点击右上角的 Add API key 按钮。

设置用户、权限及过期时间（或选择“Unlimited”），然后点击 Save。

API Key 仅显示一次。请务必妥善复制并保存。

更多详情可参考 Bright Data 官方文档：How to generate an API key。

步骤 4：集成 Bright Data 与 Dify

在 Dify 的 Settings → Configuration 中，输入你的 Bright Data API Key，以授权两个平台之间的连接。

步骤 5：构建知识流水线

配置完成！

在 Dify 中创建 Knowledge Pipeline，添加 Bright Data 数据源。现在，你可以开始采集结构化的实时数据，从而丰富你的 AI 工作流。

关于 Bright Data

Bright Data 是全球网页数据采集领域的领导者。我们为各类企业与开发者提供强大、可靠的工具，助力其从电商网站、社交媒体、搜索引擎等平台获取结构化的实时信息。依托企业级抓取基础设施与 7200 万+ 代理节点网络，Bright Data 帮助客户大规模获取关键外部数据，同时确保准确性与合规性。全球超 20,000 家机构（涵盖世界 500 强企业、学术机构及初创公司）信赖 Bright Data。其服务已赋能市场调研、电商、金融及品牌监控等多个行业的数据驱动决策。更多信息请访问：www.brightdata.com。

关于 Dify.AI

Dify.AI 正在重塑 AI 原生应用开发。我们提供开源平台，简化 AI 应用的创建、部署与管理全生命周期。凭借可扩展的插件生态，Dify.AI 帮助开发者与企业无缝集成 AI 能力，定制工作流，并加速创新。通过降低 AI 应用门槛，Dify.AI 赋能用户以更高的效率与灵活性构建智能应用。

本页目录