Google PageSpeed新增AI智能体检测

近期，不少站长和开发者在使用 Google PageSpeed Insights（pagespeed.web.dev）检测网站时发现，官方新增了一项与AI智能体浏览（Agent Browsing）相关的体验检测，其中包含了llms.txt规范检查。

这也引发了不少讨论：Google不是一直表示llms.txt不会影响SEO和GEO排名吗？为什么官方工具现在又开始检测它了？llms.txt到底有没有必要部署？

事实上，这两个问题并不矛盾。

Google为什么一边说没用，一边又开始检测？

首先需要明确一点，Google Search（搜索）和PageSpeed（Lighthouse）属于两个不同团队的产品，它们关注的目标完全不同。

搜索团队：llms.txt不是排名因素

Google搜索团队此前已经多次公开表示：

llms.txt不会影响网页收录；
不参与Google搜索排名；
AI Overviews也不会依赖llms.txt进行内容排序。

原因其实很简单。

搜索引擎的职责是根据网页真实内容判断页面质量，如果允许站长通过一个文本文件告诉搜索引擎“哪些内容最重要”，那么它很可能会演变成曾经的Keywords标签，大量堆砌关键词，最终失去参考价值。

而Google本身拥有成熟的页面解析能力，可以直接理解网页结构和内容，因此没有必要依赖站长额外提供一份摘要文件。

所以，如果希望通过部署llms.txt来提升SEO排名，目前并没有官方依据支持。

为什么PageSpeed开始检测llms.txt？

虽然Google搜索没有采用llms.txt，但负责PageSpeed和Lighthouse的Chrome团队关注的是另外一个方向——AI智能体浏览体验（Agent Browsing）。

过去，PageSpeed主要检测：

页面加载速度
Core Web Vitals
用户体验
无障碍能力

如今，则增加了AI智能体访问网站时的体验评估。

也就是说，llms.txt进入PageSpeed检测，并不是排名指标，而是AI访问体验指标。

什么是llms.txt？

llms.txt可以理解为面向大型语言模型（LLM）的站点导航文件。

它通常放置在网站根目录，以Markdown纯文本格式编写，主要作用是告诉AI：

网站有哪些核心内容；
哪些页面值得优先访问；
哪些资源最重要。

它与robots.txt、sitemap.xml虽然都属于网站配置文件，但用途完全不同。

一个标准的llms.txt通常包含：

清晰的URL列表；
可选的页面标题；
简洁的Markdown格式；
面向实时访问，而不是长期索引。

它更像是一份专门提供给AI阅读的目录。

为什么AI需要llms.txt？

原因在于，AI访问网站和搜索引擎抓取网站的方式完全不同。

搜索引擎爬虫

传统搜索引擎通常会：

全站抓取网页；
建立索引数据库；
定期重新访问；
根据robots.txt和sitemap.xml完成抓取。

网页内容会长期保存在搜索索引中。

AI智能体

大型语言模型通常采用另一种工作方式：

用户提问时实时访问网页；
不长期保存网页内容；
上下文窗口有限；
更容易忽略结构复杂的网站；
对大量JavaScript页面理解能力相对有限。

如果一个网站：

页面层级较深；
导航复杂；
文档分散；
教程数量很多；

那么AI很可能只读取首页，而忽略真正重要的教程、产品文档或帮助中心。

llms.txt存在的意义，就是帮助AI快速定位这些核心内容，提高访问效率。

llms.txt、robots.txt和sitemap.xml有什么区别？

文件	作用	面向对象	格式
llms.txt	引导AI访问重点内容	大型语言模型	Markdown纯文本
robots.txt	控制爬虫抓取权限	搜索引擎爬虫	纯文本
sitemap.xml	列出可索引页面	搜索引擎	XML

三者定位不同，并不存在互相替代的关系。

PageSpeed新增AI检测到底检查什么？

目前新增的Agent Browsing主要可以分为两类。

第一类：成熟的网页体验指标

实际上，这些项目原本就是优秀网站应该具备的基础能力，只不过现在同时服务于真人用户和AI智能体。

1、语义化HTML和无障碍结构

AI和屏幕阅读器一样，都需要依赖：

标题层级（H1-H6）
语义化标签
ARIA属性
表单结构

如果网页结构规范，AI能够更准确识别：

按钮；
输入框；
导航菜单；
页面内容。

对于已经做好基础SEO的网站来说，这部分通常无需额外调整。

2、CLS布局稳定性

CLS（Cumulative Layout Shift）属于Core Web Vitals的重要指标。

它衡量的是：

页面加载过程中元素是否发生位置变化。

例如：

AI已经识别到”提交询盘”按钮的位置，但页面突然插入广告，导致按钮整体下移，那么AI就可能点击失败。

因此，无论是真人用户还是AI智能体，保持稳定的页面布局都是非常重要的体验指标。

3、llms.txt规范检测

这是最近新增的检测项目，也是大家最关注的一项。

需要注意的是：

llms.txt并不是必需文件。

如果网站没有部署，PageSpeed一般会显示：

Not Applicable（不适用）

不会影响整体评分。

但如果已经部署，则需要符合规范，例如：

只有一个一级标题；
使用标准Markdown链接格式；
内容不要过短；
URL结构清晰。

否则可能会出现格式错误提示。