// AI 新闻 · 2026-11-16 · Dev.to AI
37万网站AI可访问性分析：三大失败原因及解决方案
研究团队对超过37万个网站进行AI可访问性扫描，发现多数网站在被AI代理访问时失效。主流AI爬虫如PerplexityBot、ChatGPT-User和ClaudeBot不执行JavaScript，导致依赖客户端渲染的内容无法呈现，形成空HTML壳。同时，许多网站因安全策略误判将AI用户代理识别为自动化爬虫，触发403禁止或CAPTCHA拦截。此外，复杂HTML结构超出大语言模型上下文限制，关键信息难以提取。
原文发布 2026-11-16 01:33（北京时间）来源 Dev.to AI自动整理 · 已核对原文
01摘要
为解决这些问题，建议确保核心内容在服务端渲染或静态构建中可见；审查WAF规则，明确允许指定AI代理用户代理字符串；引入根路径下的/llms.txt文件，以Markdown格式提供项目简介和关键资源链接，提升AI代理对网站内容的理解与检索能力。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- AI代理不执行JavaScript，导致依赖客户端渲染的内容无法显示，形成空HTML壳。
- 安全网关常将AI用户代理误判为爬虫，触发403或CAPTCHA拦截，使访问中断。
- 复杂HTML结构超出LLM上下文限制，关键信息易被丢失，需通过结构化文件优化。
- 推荐使用根路径下的/llms.txt文件，以Markdown形式明确项目信息和资源链接。
03原文出处
We Scanned 370k+ Websites for AI Readiness: Here’s Why Most Fail (and How to Fix It)
Dev.to AI · 发布于 2026-11-16 01:33（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-16 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日