Google和百度搜索引擎爬行的规律

当今两大最受欢迎的搜索引擎是Google和百度。大多数人都知道搜索引擎收录页面是靠蜘蛛爬行来收录的,所以了解搜索引擎的变化是必需的。搜索引擎蜘蛛是人们编写出来的机器,肯定存在着某种规律。下面分享下经验:

一般情况下,一个新上线的网站需要一段时间才能被收录。当搜索引擎收录网站时,一般是从首页开始,接着顺着首页再进入内页。搜索引擎很“花心”,它不是一次性将网站全部爬行完,而是分不同的时间段进行爬行,然后计算出蜘蛛在网站的活动时间及时间的长短。新站网页即使被爬行也不会马上被放出来,需要经过搜索引擎反复计算,确认网站确实有必要收录,这时才会把网页放出来,通常新站的网站快照和收录页面都是晚一个星期左右才会被放出来。

一定要牢记下面这段话:在搜索引擎蜘蛛爬行网站的时候,千万不能出现网站打不开或者有死链的情况,如果出现这种情况,搜索引擎会中止对网站的爬行,以后什么时候再来就不一定了。

有很多人有一个不好的习惯,也有一个错误的思想,认为域名的年龄越长,越受到搜索引擎的欢迎。的确是这样,但是有个前提,网站没有被过度优化、没有死链接等。有好多人,网站刚刚做完首页,立刻上线,首页上的链接大部分都是死链,搜索引擎蜘蛛进入后,爬行网站内页时进不去,对网站印象大幅度降低,从而减少来抓取网站的次数。如果下次来光顾的时候,网站还是原样,这样往返几次,搜索引擎蜘蛛会非常生气,最终放弃爬行该网站。

网站成功上线一段时间后,才会进入稳定阶段。百度和Google会给新站一段时间的考核期,考核期通过后,才认为网站是一个长期的网站,这个时间为3}6个月。处在稳定期的网站,搜索引擎蜘蛛会经常来光顾,它们还是和初期阶段一样,从首页进入网站爬行。但是百度和Google略有不同,如果百度发现网站首页的内容没有变化,会立刻停止爬行;而Google不是这样,即使发现网站首页没有变化,还是照常顺着首页的链接继续爬行,这就是有的时候网站Google比百度收录页面多的原因之一。

这里强调一下,当更新网站的内容时,一定要在网站首页中显示出来,否则百度蜘蛛不会收录更新的网页,因为首页没有变化,百度蜘蛛不往内页爬行,所以不知道有新的网页产生。这也是有的企业网站常常犯的错误,首页的内容是死的,不能变化,导致网站的收录量一道没有变化。稳定阶段的网站快照和收录页面一般是近两天内被放出来。

总结:搜索引擎蜘蛛就是网站的上司,和上司搞好关系,在各个方面都会得到照顾;如果关系没有处到位,他会一道找你麻烦。搜索引擎也是一样,它对网站印象好,会经常来,经常更新网站的快照,经常收录网页;如果对网站印象不好,只要网站稍微有“打擦边球”的地方,就会立刻把网站封了。

来源:行智SEO博客http://baodingseo.biz/archives/267

广告合作
QQ群号:707632017

温馨提示:

1、本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。

2、本站原创内容未经允许不得转裁,转载请注明出处“站长百科”和原文地址。

热门教程

  • Z-Blog教程
    Z-Blog教程
    ZBlog教程分享ZBlog安装教程、ZBlog建站教程和ZBlog使用教程等相关教程,包括如何创建...
  • WordPress教程
    WordPress教程
    WordPress教程提供了关于WordPress的基础知识和技巧,包括安装、设置、发布内容、选择主...
  • CSS教程
    CSS教程
    CSS教程提供了关于如何使用CSS来设计和美化网页的基础知识和技巧,包括选择器、样式规则、盒模型、布...
  • 宝塔面板教程
    宝塔面板教程
    宝塔面板教程是一个致力于向用户传授宝塔面板的使用技巧和知识的学习资源,旨在帮助用户快速上手和充分利用...
  • PHP教程
    PHP教程
    PHP教程提供了关于PHP语法、变量、函数、流程控制等概念的详细指导,同时介绍了常见的Web开发技术...

3个月免费VPS

亚马逊云科技