SEO robots 元标签
<meta name="robots"> 是 页面级指令，告诉搜索引擎爬虫（如 Googlebot）如何 索引 该页面、是否 跟踪 页面上的链接。它与控制「能否抓取」的 robots.txt 不同——元标签控制的是「抓取后如何处理」。
示例配置
content="follow, index, max-snippet:-1, max-video-preview:-1, max-image-preview:large" 是一组针对 Google 等搜索引擎的精细指令：
| 指令 | 含义 |
|---|---|
index | 允许搜索引擎索引此页面，使其出现在搜索结果中 |
follow | 允许跟踪页面上的链接，将权重传递到其他页面 |
max-snippet:-1 | 允许在搜索结果摘要中显示任意长度的文字片段 |
max-video-preview:-1 | 允许在搜索结果中显示视频的完整长度预览 |
max-image-preview:large | 允许在搜索结果中显示大尺寸图片预览 |
常用指令
基础索引与跟踪
all：等同于index, follow，默认行为none：等同于noindex, nofollownoindex：阻止 页面被索引，不会出现在搜索结果中nofollow：阻止 跟踪页面上的任何链接
搜索结果呈现控制
nosnippet：禁止在搜索结果中显示任何文字摘要max-snippet:[number]：限制文字摘要的最大字符数max-image-preview:[setting]：限制图片预览尺寸，可选none、standard、largemax-video-preview:[number]：限制视频预览的最大秒数noarchive：禁止在搜索结果中显示「缓存」链接notranslate：禁止 Google 在搜索结果中提供该页面的翻译版本noimageindex：阻止 Google 将该页面上的图片单独编入图片搜索索引
robots 元标签 vs robots.txt
两者常被混淆，但作用层面完全不同：
robots.txt（站点级） | robots 元标签（页面级） | |
|---|---|---|
| 位置 | 网站根目录文本文件 | HTML <head> 中 |
| 作用 | 告诉爬虫 哪些页面不能抓取（管「进不进」） | 告诉爬虫 抓取后如何对待该页面（管「抓了后怎么办」） |
| 遵守程度 | 建议性 | 必须遵守 |
关键区别：robots.txt 禁止抓取的页面，爬虫 看不到 其中的 robots 元标签。
针对特定搜索引擎
若需为不同爬虫设置不同指令，可将 name 从 robots 改为具体爬虫名称：
googlebot：仅针对 Google 网页搜索爬虫googlebot-news：仅针对 Google 新闻爬虫
配置完成后，可用 SEO 技术配置验证 中的方法快速自检。官方细则见 Google：robots 元标记、data-nosnippet 和 X-Robots-Tag。