// AI 新闻 · 2026-11-02 · Dev.to AI
AI爬虫超越传统搜索爬虫：七夜流量普查
在为期七天的流量监测中，该网站记录到8,654次爬虫访问，仅247次为人类访问。其中，PerplexityBot以273次访问显著超越OpenAI的OAI-SearchBot（30次），比例达9:1。SEO工具类爬虫共1,274次访问，超过所有搜索引擎爬虫总和（885次）。65.5%的访问未标注具体名称，反映出当前爬虫匿名化趋势。
原文发布 2026-11-02 05:28（北京时间）来源 Dev.to AI自动整理 · 已核对原文
01摘要
关键发现显示，AI爬虫与SEO工具在流量中占据主导地位，其行为目的不同：搜索爬虫旨在为人类提供检索服务，而AI爬虫则用于模型训练或即时问答。PerplexityBot和Amazon、Anthropic等AI爬虫成为主要访问源，其中PerplexityBot表现最为突出。尽管网站允许AI爬虫访问，但其带来的引用增长（周增长50%）对内容生态具有正向价值。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- 七夜内共记录8,654次爬虫访问，其中PerplexityBot以273次超越OpenAI的OAI-SearchBot（30次），比例达9:1。
- SEO工具爬虫（如Majestic、Semrush、Ahrefs）总访问量达1,274次，超过所有搜索引擎爬虫之和。
- 65.5%的访问未标注名称，主要因头less浏览器、新上线爬虫或稀有名称无法被检测识别。
- 网站允许AI爬虫访问，其带来的引用增长达周同比50%，成为增长性最强的读者来源。
03原文出处
AI crawlers vs search crawlers: the 7-night census
Dev.to AI · 发布于 2026-11-02 05:28（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-02 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日