SEOer如何通过iis日志分析蜘蛛的动向

    在我们的优化过程中,难免会遇到一些困扰我们的问题,这些问题将关系到我们的优化策略。如我们做的外链效果如何?我们的空间是否存在肉眼无法看到的不稳定?我们的内容中哪一些获得更多的青睐?搜索引擎蜘蛛爬行我们站点的频率?等等。这些问题将关系到我们的优化分析与策略的制定。那么有什么渠道可以更好的分析这些问题呢?我们可以通过分析我们站点的IIS日志文件。

    一:IIS对于我们SEO的重要性

    1:通过站点的IIS日志我们可以了解搜索引擎对我们站点的爬行情况,包括搜索引擎的爬行轨迹和爬行量,进而分析出我们建设的外链对爬行的影响,我们把外链形容为搜索引擎蜘蛛进入我们站点的入口,同时IIS记录则会记录下搜索引擎蜘蛛从入口爬入的记录。

    2:站点的更新频率与搜索引擎的抓取频率存在着一定的关系,一般来说,更新的频率高则搜索引擎爬行得越勤。我们可以利用IIS日志中的搜索引擎爬行频率进行内容更新的微调。

    3:通过IIS日志可以体现出站点的空间存在着某些目前外表所不能识别的错误,而这些错误可以第一时间由IIS日志反映出来。我们可以通过日志及早的发现问题并解决问题。

    4:同时通过IIS日志我们可以分析出我们的内容中,有什么是搜索引擎所青睐的,什么是搜索引擎正眼不瞧的。通过这些数据进行内容的微调。

    二:如何获取站点IIS日志及设置的注意事项

    1:首先我们的主机需要支持站点的IIS日志下载,我们在购买的时候需要跟我们的主机提供商沟通清楚是否支持。如果支持的话,一般是在weblog文件中,我们可以直接从这一文件中获取站点的日志文件。

    2:同时我们需要注意的是,笔者建议日志的生产我们最好设置成每小时一次。如果是站点内容较少的中小型站点可以设置为一天。如果我们的内容很多,设置为一天生成一次的话,那么日志文件就可能会出现文件过大的情况。

    三:如何分析IIS日志

    1:对日志文件的解体分析

    我们可以使用记事本打开日志文件,同时Ctrl+F搜索其中的BaiduSpider和Googlebot这两个搜索引擎蜘蛛 。如下图所示

百度蜘蛛

谷歌蜘蛛

谷歌蜘蛛

    我们可以分段进行分析

    2012-04-5 00:47:10 是指搜索引擎蜘蛛爬行这个页面的时间点

    116.255.109.37 这个地址是指我们站点的IP地址

    GET 代表事件 ,位于其后的是蜘蛛爬行的页面,而/代表的是首页。

    220.187.51.144 这一IP是指搜索引擎蜘蛛的服务器的IP地址。而这一地址有时并不是真正的搜索引擎蜘蛛的IP地址,那么我们如何区分呢?笔者就分享自己的一个方法。我们可以打开电脑中的CMD窗口。在里面输入nslookup+IP地址。如果是真的蜘蛛会有自己的蜘蛛服务器。如下图所示

真蜘蛛

真蜘蛛

假蜘蛛

假蜘蛛

    而为什么会出现加的蜘蛛IP呢?那时因为有人冒充搜索引擎蜘蛛到你的站点对你的内容进行采集。而如果有过度的采集将会消耗你的主机资源。对此我们可以根据之一假的IP进行屏蔽他们。

    200 0 0是状态码,不同的状态码有着不同的意思,如200表示下载成功,500表示服务器超时等等。这些在一定程度上反映着我们主机的状况。

    2:我们可以通过日志分析出蜘蛛爬行最频繁的几个页面,记录下来,并且分析出他们被搜索引擎蜘蛛青睐的原因。​

    3:有时候我们的URL地址不统一出现URL地址带斜杠和不带斜杠的问题,搜索引擎蜘蛛会自动识别为301跳转到带斜杠的页面,这里我们就发现了搜索引擎是可以判断我们的目录的,所以我们要对我们的URL进行统一。​

    4:搜索引擎蜘蛛对于我们站点页面的抓取是根据权重的递减分等级的,一般顺序为首页、目录页、内页。​

    ​IIS日志是我们分析站点近况的关键数据,是我们制定优化策略的关键指标之一。我们需要经常对其进行分析,总结。合理的利用好站点的资源。本文由免费电影

    http://www.ynt01.com/ 整理编辑,转载请保留出处。

广告合作
QQ群号:707632017
标签:

温馨提示:

1、本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。

2、本站原创内容未经允许不得转裁,转载请注明出处“站长百科”和原文地址。

热门教程

  • Z-Blog教程
    Z-Blog教程
    ZBlog教程分享ZBlog安装教程、ZBlog建站教程和ZBlog使用教程等相关教程,包括如何创建...
  • WordPress教程
    WordPress教程
    WordPress教程提供了关于WordPress的基础知识和技巧,包括安装、设置、发布内容、选择主...
  • CSS教程
    CSS教程
    CSS教程提供了关于如何使用CSS来设计和美化网页的基础知识和技巧,包括选择器、样式规则、盒模型、布...
  • 宝塔面板教程
    宝塔面板教程
    宝塔面板教程是一个致力于向用户传授宝塔面板的使用技巧和知识的学习资源,旨在帮助用户快速上手和充分利用...
  • PHP教程
    PHP教程
    PHP教程提供了关于PHP语法、变量、函数、流程控制等概念的详细指导,同时介绍了常见的Web开发技术...

3个月免费VPS

亚马逊云科技

阿里云