一般来说Google 搜索抓取网页的三个阶段，一个网页从抓取到被索引获得流量，都必须经过3个阶段（但不是所有网页都会经过这3个阶段）
Google 搜索的工作流程分为以下 3 个阶段
- 抓取：Google 会使用名为“抓取工具”的自动程序从互联网上发现各类网页，并下载其中的文本、图片和视频。
- 索引编制：Google 会分析网页上的文本、图片和视频文件，并将信息存储在大型数据库 Google 索引中。
- 呈现搜索结果：当用户在 Google 中搜索时，Google 会返回与用户查询相关的信息。
在抓取阶段首先是要“发现”网页，如果有别的网址指向你的网页，那么只要你的网页能被谷歌的抓取工具成功访问，那么抓取你的网页是不成问题的。
接下来就到了索引编制的阶段，抓取网页后，Google 会尝试了解该网页的内容。这一阶段称为“索引编制”，包括处理和分析文字内容以及关键内容标记和属性。只要抓去的你的网页不与互联网上的其他网页重复，或者是规范的网页。规范网页的URL会有可能显示在搜索结果中，进入下一步的“呈现搜索结果”如果在这一步被淘汰，那么就不会进入第三个流程。获得流量了。
如果你没有指定规范网页URL，谷歌会展示它认为是规范的网页。另外抓去到网页并不是一定会进入“索引编制”的阶段，常见的还有以下三个原因会导致你的网页不会被编制索引。
- 网页内容质量低
即谷歌认为你的网页内容不具备价值，所以不给你的网页索引编制。
- Robots meta 规则禁止编入索引
你网站根目录下Robots.txt禁止这个URL被索引编制
- 网站的设计可能使索引编制难以进行
你的网页的使用的网页技术谷歌识别不了，比如通过JavaScript 来展示网页内容，而JavaScript 处理的不太好，或者当你的网页HTTP状态码不正确，也会导致索引编制难以进行。
原创文章，作者：Da Zhuang，如若转载，请注明出处：https://www.lidazhuang.cn/seo/google_spider/1898.html
