// AI 新闻 · 2026-11-03 · AWS Machine Learning Blog

使用 Crawl4AI 预处理网页内容供 Amazon Bedrock Knowledge Bases 使用

AWS 在其机器学习博客中介绍了一种通过 Crawl4AI 开源工具对网页内容进行预处理的方法，用于增强 Amazon Bedrock Knowledge Bases 的数据质量。该方案适用于需要结构化 Markdown 格式、目标区域提取或自定义元数据的网页内容，先由 Crawl4AI 提取并生成 Markdown 文件及元数据侧文件，再上传至 Amazon S3，最终由 Amazon Bedrock 知识库进行解析、分块、嵌入和检索。

阅读原文（AWS Machine Learning Blog）↗

原文发布 2026-11-03 01:11（北京时间）来源 AWS Machine Learning Blog自动整理 · 已核对原文

01摘要

具体流程包括通过 EventBridge 触发 ECS 任务，在 Fargate 上运行爬虫，对配置的公开网站进行爬取与内容处理，生成结构化文档并上传至 S3，随后启动知识库的 ingestion 作业。整个流程支持在托管或客户自管的知识库中使用，且默认仅处理公开页面，不涉及身份认证，也不提供实时推理时的网页访问能力。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。

02要点

Crawl4AI 作为开源工具，可对网页内容进行结构化 Markdown 转换和元数据增强，提升知识库输入质量。
支持通过 CSS 选择器实现目标区域提取，并限制爬取范围、深度及路径范围以提高效率。
生成的 Markdown 文件与元数据侧文件上传至 Amazon S3，由 Amazon Bedrock Knowledge Bases 进行后续解析和检索。
该方案适用于需要精细控制内容提取逻辑的公开网页源，但不支持实时推理时的网页访问。

03原文出处

Prepare web content for Amazon Bedrock Knowledge Bases with Crawl4AI

AWS Machine Learning Blog · 发布于 2026-11-03 01:11（北京时间） · 上方为原标题

05相关新闻

出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-03 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

01摘要

02要点

03原文出处

04站内相关

相关产品与工具

05相关新闻