怎么样查看蜘蛛日志，利用蜘蛛分析网站-天涯论坛

6hz7vif 发表于 2024-10-31 12:37:50

怎么样查看蜘蛛日志，利用蜘蛛分析网站

<div style="color: black; text-align: left; margin-bottom: 10px;">
 解析网站降权原由-怎样分析网站日志
 一个合格的站长或seoer必须要能看懂网站的服务器日志文件，这个日志记录了网站被搜索引擎爬取的痕迹，给站长供给了蜘蛛是不是来访的有力佐证，站长伴侣能够经过网站日志来分析搜索引擎蜘蛛的抓取状况，分析网站的是不是存在收录反常问题。并且咱们能够按照这个日志文件判断蜘蛛来访频率以及抓取规律，这将非常有利于咱们做优化。另一，学习分析网站日志文件亦是站长必须具备的能力，亦是你从一个初级seo进阶到seo能手的必由之路。然则前提是要主机服务商开通日志统计功能，通常虚拟主机供给商都不会开通，你能够申请开通，或自己到服务器管理后台开通这个日志统计功能，不外日志亦会占用空间的，我们在看完日志文件后，能够隔段时间清理下日志文件。那样怎样分析服务器日志文件呢?听阿涛给你娓娓道来。
 <img src="https://p3-sign.toutiaoimg.com/f750002fbecf3b3cf5e~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1729537724&x-signature=7PcKK57JSAuSfrEuHKVyKXfDlkM%3D" style="width: 50%; margin-bottom: 20px;">
 倘若你的博客或网站是搭建在付费主机上，倘若你是博客或网站的站长，倘若你连原始拜访日志是什么都不晓得，或对其基本不屑一顾，我只能说你是一个不叫作职的网站站长，一旦网站出问题，必定是束手无策!
 相信大众都在自己的网站上安装了网站统计的代码，如Google analytics、量子统计、百度统计、cnzz、51.la等，这些工具能够统计网站的流量，亦便是网站**客能够看到的所有页面的拜访量，然则这些统计工具都不可统计你主机上资源的原始拜访信息，例如某个照片被谁下载了，亦不可统计到哪些无添加统计代码的地区，例如后台操作页面。
 绝大都数收费主机都供给原始拜访日志，网站服务器会把每一个访客来访时的有些信息自动记录下来，保留在原始拜访日志文件中，倘若你的主机不供给日志功能，意见你到期后还是换主机吧。日志中记录了网站上所有资源的拜访信息，包含照片、CSS、JS、FLASH、HTML、MP3等所有网页打开过程载入的资源，同期记录了这些资源都被谁拜访了、用什么来拜访以及拜访的结果是什么等等，能够说原始拜访日志记录了主机的所有资源运用状况。
 分析网站日志有什么功效?
 1、咱们能够比较准确的定位搜索引擎蜘蛛来爬行咱们网站的次数，能够屏蔽伪蜘蛛(此类蜘蛛多以采集为主，会增多咱们服务器的开销)点此识别Baiduspider真伪。
 2、经过分析网站日志，咱们能够准确定位搜索引擎蜘蛛爬行的页面以即时间长短，咱们能够依次有针对性的对咱们的网站进行微调。
 3、http返回状态码，搜索引擎蜘蛛以及用户每拜访咱们的网站一次，服务器端都会产生类似301，404，200的状态吗，咱们能够参照此类信息，对咱们显现问题的网站进行简单的诊断，即时处理问题。
 网站日志文件存放在什么地区?
 通常的虚拟主机都供给日志文件，然则区别的虚拟主机系统会供给区别的LOG文件存储文件名，笔者运用的是万网的虚拟主机，日志文件存储在wwwlogs文件夹下。
 网站日志文件里面的记录怎么看?
 原始拜访日志每一行便是类似以下的记录：
 116.231.220.179 - - "GET /blog/article/10.html HTTP/1.1" 200 8671 "http://www.weiaipin.cn" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"
 下面咱们来讲说这一行记录的意思：
 116.231.220.179这是访客(亦可能是设备人)的IP
 这是访客拜访该资源的时间(Date)，+0800是该时间所对应的时区，即与格林威治时间相差+8个小时
 "GET /blog/article/10.html HTTP/1.1"请求信息，包含请求方式、所请求的资源以及所运用的协议，该语句的意思便是以GET方式，根据HTTP/1.1协议获取网页/blog/article/10.html，10html为网站上的某个页面。
 200 8671，200为该请求返回的状态码(Http Code)，区别的状态码表率区别的意思，详细请阅读 HTTP 状态代码;8671为此次请求所耗费的流量(Size in Bytes)，单位为byte
 "htt p://www. weiaipin .cn/"为访客源自(Referer)。这一段是告诉咱们访客是从哪里来到这一个网页。有可能是你的网站其他页，有可能是来自搜索引擎的搜索页等。经过这条源自信息，你能够揪出盗链者的网页。
 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"为访客所运用的浏览器类型(Agent)，这儿记录了用户运用的操作系统、浏览器型号等信息。
 怎样分析网站日志中的内容?
 1、重视哪些被频繁拜访的资源
 倘若在日志中，你发掘某个资源(网页、照片和mp3等)被人频繁拜访，那你应该重视该资源被用于何处了!倘若这些请求的源自(Referer)不是你的网站或为空，且状态码(Http Code)为200，说明你的这些资源很可能被人盗链了，经过 Referer 你能够查出盗链者的网址，这可能便是你的网站流量暴增的原由，你应该做好防盗链了。
 2、重视哪些你网站上不存在资源的请求
 倘若某些请求信息不是本站的资源，Http Code不是403便是404，但从名叫作分析，可能是保留数据库信息的文件，倘若这些信息让别人拿走，那样攻击你的网站就容易多了。发起这些请求的目的无非便是扫描你的网站漏洞，经过漫无目的地扫描下载这些已知的漏洞文件，很可能会发掘你的网站某个漏洞哦!经过观察，能够发掘，这些请求所运用的Agent差不多都是Mozilla/4.0、Mozilla/5.0或libwww-perl/等等非常规的浏览器类型，以上我供给的日志格式化工具已然集成为了对这些请求的警报功能。咱们能够经过禁止这些Agent的拜访，来达到防止被扫描的目的，详细办法下面再介绍。
 3、观察搜索引擎蜘蛛的来访状况
 经过观察日志中的信息，你能够看出你的网站被蜘蛛拜访的频率，从而能够看出你的网站是不是被搜索引擎喜爱，这些都是SEO所关心的问题吧。日志格式化工具已然集成为了对搜索引擎蜘蛛的提示功能。平常搜索引擎的蜘蛛所使用的Agent列表如下：
 Google蜘蛛：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

 Baidu蜘蛛：Baiduspider+(+http://www.baidu.com/search/spider.htm)
 Yahoo!蜘蛛：Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

 Yahoo!中国蜘蛛：Mozilla/5.0 (compatible; Yahoo! Slurp China;http://misc.yahoo.com.cn/help.html)

 微软Bing蜘蛛：msnbot/2.0b (+http://search.msn.com/msnbot.htm)

 Google Adsense蜘蛛：Mediapartners-Google
 有道蜘蛛：Mozilla/5.0 (compatible; YoudaoBot/1.0;http://www.youdao.com/help/webmaster/spider/)

 Soso搜搜博客蜘蛛：Sosoblogspider+(+http://help.soso.com/soso-blog-spider.htm)

 Sogou搜狗蜘蛛：Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

 Twiceler爬虫程序：Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
 Google照片搜索蜘蛛：Googlebot-Image/1.0
 俄罗斯Yandex搜索引擎蜘蛛：Yandex/1.01.001 (compatible; Win16; I)
 Alexa蜘蛛：ia_archiver (+http://www.alexa.com/site/help/webmasters)
 Feedsky蜘蛛：Mozilla 5.0 (compatible; Feedsky crawler /1.0)
 韩国Yeti蜘蛛：Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)

 4、观察访客行径
 经过查看格式化后的日志，可以查看跟踪某个IP在某个时间段的一系列拜访行径，单个IP的拜访记录越多，说明你的网站PV高，用户粘性好;倘若单个IP的拜访记录希希，你应该思虑怎样将你的网站内容做得更加吸引人了。经过分析访客的行径，能够为你的网站建设供给有力的参考，那些内容好，那些内容欠好，确定网站的发展方向;经过分析访客的行径，看看她们都干了些什么事，能够揣测访客的用意，即时揪出恶意用户。
 网站日志分析工作对老站长来讲是非常容易的，从日志代码的查看到日志分析出的问题处理是了如指掌。其实网站日志分析不难，只是新手不认识其中的意思，才会觉得有问题。慢慢看多了网站日志你亦就懂了其中的意思。这儿我以幸运赛车网站的日志为例，交新手怎样快速入门这项工作。
 其实代码没大众想象的那样难，接触代码，网站日志代码都看得懂，崇拜之情无以言表。在看了一段时间网站日志后，才发掘原来不是她们牛，是我还是菜鸟。自己摸索的话，对网站日志分析入门时间会比较久，在这儿分享些经验，相信针对新手能够快速入门的。
 1、蜘蛛名叫作介绍
 在网站日志中，蜘蛛名叫作通常有一下几类：百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider 。在日志中，只要搜索以上蜘蛛名叫作，就能够看到该蜘蛛类型的爬取痕迹。
 2、蜘蛛爬取返回类型
 在蜘蛛爬取后会返回代码，经过查看贷款状态能够看到爬取结果，重点HTTP状态码有一下几类：
 (1)200代码，暗示蜘蛛爬取正常。
 (2)304代码，暗示自从上次抓取后，该内容无更新。通常状况下，网站的照片经常会返回该值。
 (3)404代码，拜访的这个链接是错误链接。这个错误链接，一方面来自本来存在后来删除了网页，另一方面可能来自本来就不存在，但其他人外链了这么个死链接。
 (4)302代码，暗示临时重定向。
 (5)301代码，暗示永久重定向。
 (6)500代码，暗示程序有错。
 3、日志代码诠释
 #Software: Microsoft Internet Information Services 6.0
 #Version: 1.0
 #Date: 2015-7-6 16:00:39
 #Fields: date time s-sitename s-computername s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs-version cs(User-Agent) cs(Cookie) cs(Referer) cs-host sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
 date暗示记录拜访日期;
 time拜访时间;
 s-sitename暗示你的虚拟主机的代叫作。
 s-ip拜访者IP;
 cs-method暗示拜访办法，平常的有两种，一是GET，便是平常咱们打开一个 URL拜访的动作，二是POST，提交表单时的动作;
 cs-uri-stem便是拜访哪一个文件;
 cs-uri-query指的是拜访位置的附带参数，如asp文件?后面的字符串id=12等等，如果无参数则用-暗示;
 s-port 拜访的端口;
 cs-username 拜访者名叫作;
 c-ip 源自ip;
 cs(User-Agent)拜访源自;
 sc-status状态，200暗示成功，403暗示无权限，404暗示打不到该页面，500暗示程序有错;
 sc-substatus 服务端传送到客户端的字节体积;
 cs–win32-statu客户端传送到服务端的字节体积;
 详细案例分析：
 2015-7-8 18:47:12 W3SVC2137573334 D-901195C886694 119.147.151.150 GET /a.aspx id=2230&TypeId=91 80 - 123.125.71.28 HTTP/1.1 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) - - www.7ien.cn 200 0 0 59004 243 2250
 这段日志暗示，Baiduspider：暗示蜘蛛爬取类型为百度蜘蛛，GET /a.aspx id=2230&TypeId=91暗示蜘蛛爬取文件名为a.aspx id=2230&TypeId=91。返回结果为200。
 常用网站日志分析软件有那些?
 笔者试用过非常多网站日志分析工具，常用的并且功能又比较全面的大概有三款：光年SEO日志分析系统、逆火网站日志分析器、Web Log Explorer。
 搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。咱们经过日志能够认识搜索引擎的拜访状况，通常经过主机服务商开通日志功能，再经过FTP拜访网站的根目录，在根目录下能够看到一个log或weblog文件夹，这儿面便是日志文件，咱们把这个日志文件下载下来，用记事本(或浏览器)打开就能够看到网站日志的内容。那样到底这个日志里面隐匿了什么玄机呢?其实日志文件就像飞机上的黑匣子。咱们能够经过这个日志认识非常多信息，那样到底这个日志给咱们传递了什么内容呢?
 倘若想要晓得网站日志文件包括了什么内容，首要必须晓得各搜索引擎的蜘蛛名叫作，例如百度的蜘蛛程序名叫作是baiduspider，Google的设备人程序名叫作是Google-Googlebot等等，咱们在日志的内容里搜索以上的的蜘蛛名就能够晓得哪个搜索引擎已然爬取过网站了，这儿就留下了她们的蛛丝马迹。再者，必须能看懂平常的http状态码，最平常的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，通常由服务器守护和出故障，网站打不开时显现的)，这些状态码是咱们站长伴侣必须能看懂的，服务器状态码的值是咱们和蜘蛛交流的信号。晓得了这些基本信息以后咱们就能够按照网站日志进行分析了，通常来讲咱们只看百度和谷歌蜘蛛的爬行和抓取状况，当然有特殊需要的亦能够对其他几个蜘蛛的爬行状况进行分析。网站日志中显现海量的谷歌蜘蛛和百度蜘蛛，说明搜索引擎蜘蛛时常来光临你的网站。
 说到分析日志文件，咱们就不得不说分析日志文件的机会了，那样在什么状况下咱们要去分析日志文件呢?首要，新网站刚创立的时候，这个时候亦是站长伴侣最急切的时候，咱们通常都会焦急的等待搜索引擎收录网站内容，经常会做的事情便是去百度或Google用命令site:下网站域名瞧瞧是不是被收录，这个时候，其实咱们不必频繁的查找网站是不是被收录，想要晓得搜索引擎是不是关顾咱们的网站。咱们就能够借助网站日志文件来查看，怎么看?看网站日志是不是有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，倘若返回200说明抓取成功，倘若返回404说明页面错误，或页面不存在，就需要做301永久重定向或302暂时重定向。通常抓取成功后被搜索引擎放出来的时间亦会晚点，通常谷歌设备人放出来的比较快，最快可秒杀，然则百度反应就慢了，最快亦要1星期上下，不外11月份百度算法调节后，放出来的速度还是火速的。其次，当网站收录反常时咱们要把正常收录的日志和反常的日志进行对比分析，找出问题所在，这般能够处理网站收录问题，亦是对完整优化大有裨益的。第三，网站被搜索引擎K掉后，咱们必须要观察网站日志文件来亡羊补牢，通常这种状况下，日志文件里仅有很少的几个蜘蛛爬行了首页和robots，咱们要找出被K的原由并改正，再提交给搜索引擎，接下来就能够经过观察日志来看蜘蛛是不是正常来临，慢慢过一段时间，倘若蜘蛛数量增多或经常来临并且返回200状态吗，那样恭喜你，你的网站又活了，倘若半年都没反应，那样意见放弃该域名重新再战了。
 非常多站长伴侣不懂得怎样利用网站日志文件，遇到网站收录问题就去提问别人，而欠好好自检，这是做为站长或seoer的悲哀。况且网上的非常多软文都说到要做好日志文件的分析，然则那只是软文罢了，说不定写文案的作者都无去看日志文件。说到底，还是期盼站长伴侣必定不要忽略了网站日志文件，恰当的利用好网站日志文件是一个站长或seoer必须的技能。再者说，看懂网站日志文件并不需要你有多么高深的编码知识，其实只要看得懂html代码和几个返回的状态码就能够了，必定不可懒，或抱着侥幸心理去对待你的网站，这种心理会引起你输得很惨。倘若你是一个小站长，或你是一个seoer，倘若你以前无认识到网站日志文件的重要性，那样从看到我写的这篇文案起始要好好对待你的网站日志了。
 集创建一组相关规则。当咱们把最小置信度设为85%，经过相关规则的形成以及对应置信度的计算，咱们能够从中得到以下有用的信息：1.置信度大于最小置信度时：咱们能够这般认为，用户群体在浏览关联网页时，所呈列的链接之间是有很大相关的，她们是用户群的一起兴趣，经过网页布局的调节，从某种道理上，能够带来更高的点击率及潜在客户;2.置信度少于最小置信度时：咱们能够这般认为，用户群体对所呈列链接之间没太多的相关，也或相关规则中的链接在争夺用户。
 网站中网站日志挖掘内容
 (1)网站的概要统计。网站的概要统计包含分析覆盖的时间、总的页面数、拜访数、会话数、惟一拜访者、以及平均拜访、最高拜访、上周拜访、昨日拜访等结果集。
 (2)内容拜访分析。内容拜访分析包含最多及最少被拜访的页面、最多拜访路径、最多拜访的资讯、最高拜访的时间等。
 (3)客户信息分析。客户信息分析包含拜访者的源自省份统计、拜访者运用的浏览器及操作系统分析、拜访来自的页面或网站、来自的IP位置以及拜访者运用的搜索引擎。
 (4)拜访者活动周期行径分析。拜访者活动周期行径分析包含1星期7天的拜访行径、一天24小时的拜访行径、每周的最多的拜访日、每日的最多拜访时段等。
 (5)重点拜访错误分析。重点拜访错误分析包含服务端错误、页面找不到错误等。
 (6)网站栏目分析。网站栏目分析包含定制的频道和栏目设定，统计出各个栏目的拜访状况，并进行分析。
 (7)商务网站扩展分析。商务网站扩展分析是专门针对专题或多媒介文件或下载等内容的拜访分析。
 (8)有4个方向能够选取:①对用户点击行径的跟踪，click stream科研;②对网页之间的相关规则的科研;③对网站中各个频道的浏览模式的科研;④按照用户浏览行径，对用户进行聚类，细分科研;(倘若你能够结合现有的互联网制品和应用提出有些自己的意见和意见，那就更有价值了。)
 (9)发掘用户拜访模式。经过分析和探究网站日志记录中的规律，能够识别电子商务的潜在客户，加强对最后用户的服务质量，并改进网站服务器系统的性能。(10)反竞争情报活动。反竞争情报是企业竞争情报活动的重要构成部分。
</div>

页: [1]

天涯论坛's Archiver

怎么样查看蜘蛛日志，利用蜘蛛分析网站