有些朋友很好奇,我网站都提交了一个月了,这百度也不收录,也不来爬虫抓取一下网站是怎么回事那,还有些朋友说想,既然没有爬虫来,那是改个标题什么的不影响吧？抱歉,这影响可大了,你觉得没有爬虫来过,那到底有没有来过还得用数据来说话

• 站长平台

  • 想知道网站不收录是不是爬虫没来的原因造成的,想知道网站提交以后改标题还来不来的及,可以用站长平台进行分析

  • 在站长平台的后台功能中有一个抓取频次的图表,代表的就是百度有没有来过

    

    • 抓取频次不为0,就是百度来过,但是有时候,这个数据在外面看是不准的,你得点进去信息才能刷新出来

    

• 网站日志

  • 我们除了在百度的站长平台以外,还可以在自己的网站日志中找到爬虫来过的记录

    • 不管是用的服务器,还是虚似主机,这些提供商都会在和web同级的目录建一个存放日志的文件夹

    • 在里面可以看到每天的网站日志(如下图)

      

       

  • 有经验的站长可以自己打开进行分析,但是对于一些对日志不是很了解的朋友,那么下面有几个日志分析的神器给大家推荐

    • 在线分析

      http://www.plas-teflon.com/

      这是一个叫做loghao的工具,用起来还是很不错的,吧网站的日志上传上去,就可以看到在什么时间段,什么爬虫,访问了什么网站(如下图)

      

    • 软件分析

      关于软件,主要给大家介绍两个,一个是爱站,这个就不用多讲了,做优化的站长应该都知道,还有一个工具叫做光年日志分析,这个的优势是可以多个文件一起合并出分析

      爱站工具包,及光年日志分析我就不放链接了,百度都可以找到的