// 读文档和网页
crawl4aiv0.9.4
面向 LLM 的开源爬虫
开源 维护中 给 AI 用
一段话结论
crawl4ai 是面向 LLM 的开源爬虫。
适合：想让自己的 agent（Claude Code、Codex、Cursor 等）读文档和网页的开发者。
要点：网页抓取
01怎么开始
- 1先读官方 README / 文档，确认运行环境和需要的权限。
- 2从官方包管理器安装：
pip install crawl4ai - 3在 AGENTS.md / CLAUDE.md 里写明这个工具和用法，agent 才知道什么时候调用。