Google 搜索运作方式
Google 搜索是一款全自动搜索引擎，会使用名为「网页抓取工具」的软件定期探索网络，找出可添加到 Google 索引中的网页。实际上，Google 搜索结果中收录的大多数网页都不是手动提交的，而是网页抓取工具在探索网络时找到并自动添加的。本文从网站的角度介绍 Google 搜索运作的各个阶段，掌握这些基础知识有助于解决抓取问题、让网页编入索引，并优化网站在 Google 搜索结果中的呈现效果。
专业性较低、面向搜索用户的介绍见 Google 搜索的运作方式。
开始之前的一些注意事项
- Google 不会通过收取费用来提高网站抓取频率或网站排名，任何与此不符的消息均是子虚乌有。
- Google 不保证一定会抓取您的网页、将其编入索引或在搜索结果中显示，即使网页遵循 Google 搜索要素 也是如此。
Google 搜索的 3 个阶段
Google 搜索的工作流程分为 3 个阶段，并非每个网页都会经历这 3 个阶段：
- 抓取：Google 使用名为「抓取工具」的自动程序从互联网上发现各类网页，并下载其中的文本、图片和视频。
- 索引编制：Google 分析网页上的文本、图片和视频文件，并将信息存储在大型数据库 Google 索引中。
- 呈现搜索结果：当用户在 Google 中搜索时，Google 返回与用户查询相关的信息。
抓取
第一阶段是找出网络上存在哪些网页。不存在包含所有网页的中央注册表，因此 Google 必须不断搜索新网页和更新过的网页，并将其添加到已知网页列表中。此过程称为 网址发现。
Google 发现网页的常见途径：
- 已知网页：Google 之前已访问过的网页。
- 链接发现：从已知网页上提取指向新网页的链接（例如类别页链接到新博文）。
- 站点地图：以列表形式提交一系列网页供 Google 抓取。
Google 发现网页的网址后，可能会访问（或「抓取」）该网页以了解其中的内容。执行抓取任务的程序叫做 Googlebot（也称为抓取工具、漫游器或「蜘蛛」程序）。Googlebot 使用算法流程确定要抓取的网站、抓取频率以及要从每个网站抓取的网页数量，并基于网站响应（例如 HTTP 500 意味着「降低抓取速度」）避免过快抓取。
渲染：在抓取过程中，Google 会使用最新版 Chrome 渲染网页并运行它找到的所有 JavaScript，与浏览器渲染您访问的网页的方式类似。网站经常依靠 JavaScript 将内容引入网页，缺少渲染过程 Google 可能就看不到相应内容。
Googlebot 不会抓取它发现的所有网页。某些网页可能被网站所有者设置为禁止抓取，其他网页可能必须登录才能访问。
能否抓取取决于 Google 的抓取工具能否访问网站，常见问题包括：
- 服务器在处理网站时出现问题
- 网络问题
robots.txt规则阻止 Googlebot 访问网页
编入索引
抓取网页后，Google 会尝试了解该网页的内容。这一阶段称为 索引编制，包括处理和分析文字内容以及关键内容标记和属性，例如 <title> 元素和 Alt 属性、图片、视频等。
在索引编制过程中，Google 会确定网页是否与互联网上的其他网页重复或是否为 规范网页。规范网页是可能会显示在搜索结果中的网页。为了选择规范网页，Google 首先将在互联网上找到的内容类似的网页归为一组（聚类），然后从中选择最具代表性的网页；组内其他网页可作为备用版本在不同情况下提供（例如移动端搜索或查找组内具体网页时）。
Google 还会收集关于规范网页及其内容的信号，这些信号可能在呈现搜索结果时用到，例如网页语言、内容所针对的国家/地区、网页易用性。所收集的信息存储在 Google 索引（托管在数千台计算机上的大型数据库）中。
无法保证网页一定会编入索引；并非 Google 处理的每个网页都会编入索引。常见的索引编制问题包括：
- 网页内容质量低
- Robots meta 规则禁止编入索引（详见 robots 元标签）
- 网站的设计可能使索引编制难以进行
呈现搜索结果
Google 不会通过收取费用来提高网页排名，网页排名是程序化完成的。
用户输入查询时，Google 在索引中搜索匹配的网页，并返回与用户的搜索内容最相关的优质结果。相关性由数百个因素决定，可能包括用户的位置、语言和设备（桌面或手机）等信息。例如，搜索「自行车维修店」时，巴黎用户与香港用户看到的结果可能不同。
根据查询，搜索结果页上显示的搜索功能也会变化。例如搜索「自行车维修店」可能显示本地结果而非图片结果；搜索「现代自行车」更可能显示图片结果而非本地结果。
Search Console 可能提示某个网页已编入索引，但您在搜索结果中看不到该网页，常见原因包括：
- 网页内容与用户查询无关
- 内容质量低
- Robots meta 规则阻止提供内容
Google 一直在努力改进算法，可关注 Google 搜索中心博客 了解相关更改。