全百科精品资源分享
免费优质资源下载平台

ASP搜索引擎蜘蛛爬行日志生成程序免费下载

播放按钮
文章目录

ASP搜索引擎蜘蛛爬行日志生成程序介绍

搜索引擎蜘蛛爬行分析系统,可以查看蜘蛛访问记录,根据这些记录可以看到蜘蛛什么时候来访问过你的站,抓取了什么内容,并可进行数据的查询和统计等。有简约记录与详细记录两种方式,请在config.asp页面中设置。

优点:
1、程序简洁易用。
2、记录爬行所有页面,简约记录可以统计同一蜘蛛爬行同一页面的次数,详细记录可设置同一蜘蛛爬行同一页面的次数。

ASP搜索引擎蜘蛛爬行日志生成程序

ASP搜索引擎蜘蛛爬行日志生成程序

搜索引擎蜘蛛爬行统计

一、搜索引擎蜘蛛爬行统计分析的必要性:

蜘蛛顺利爬行网页是网页被搜索引擎收录的前提条件,搜索引擎是否已爬行了网站,爬行了哪些页面以及返回哪些信息给蜘蛛,掌握了这些情况我们才能对网站进行有针对性的优化改良,因此查看蜘蛛爬行日志是一件非常重要但却非常痛苦的工作,尤其是SEOER及新站站长来说。比如从网上看到蜘蛛爬行某个页面后如果返回200 0 64 ,则表示此网页极有可能要被搜索引擎删除,HEAD 请求返回404也表示要删除网页,如果我们能根据日志及时发现此现象就能根据实际情况及时做出调整。又如,蜘蛛爬行返回的301,302重定向及404错误等信息,也是网站管理员需要关心的问题。因此可以看出分析蜘蛛爬行日志的必要性。

二、蜘蛛爬行统计的方法:

由于蜘蛛机器人在网站爬行时是不会爬行JS(多次爬行只执行0次或者一次),flash,img等标签的,因此,目前第三方统计软件 (如阿江、中国站长站、雅虎、google等统计系统)还无法统计到蜘蛛爬行记录。因此目前分析蜘蛛爬行主要通过以下方法:

1、利用PHP,ASP根据浏览器返回的USER_AGENT来动态进行跟踪记录,这样的确可以实现目的,但其缺点很明显:

a)加重服务器负担,对于内容多及权重高的网站,蜘蛛抓取是非常频繁的。在网页中插入的代码会额外加重服务器的负担。

b)由于搜索引擎相对来说比较喜欢静态页面,很多网站都利用CMS把内容生成静态文件,这样就无法统计了。湖南某seo公司介绍使用img标签或者script方式,即在静态文件中将统计脚本利用img或者script标签调用的方式,此方法经过我一个月的试验,无法实现,蜘蛛不抓取页面。

2、利用第三方日志分析工具:如linux下awstats及windows下的Webalizer,其缺点也很明显。比如如果您是虚拟主机用户的话,由于每天产生的日志非常多,每次分析时下载日志文件是一件非常痛苦的事。同时这些软件太专业了,不适合一般站长使用。

3、如果您有更好的蜘蛛爬行分析方法请您和广大站长一起分享。

ASP搜索引擎蜘蛛爬行日志生成程序免费下载地址

下载地址:链接:https://pan.baidu.com/s/1ZtY8E8tY_BjxCe9uVs6GHg  提取码:06ei

本文由全百科网分享提供,分享更多精品资源,帮助你我共同成长。

赞(0) 打赏
本站内容均来自网络收集,转载内容不代表本网站的观点及意见,仅供用户参考和借鉴。如对稿件内容及版权问题有疑议,请及时联系全百科官方邮箱: smtsg@foxmail.com全百科网 » ASP搜索引擎蜘蛛爬行日志生成程序免费下载
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏