网站的站长或管理员通常都非常爱好搜索引擎的“蜘蛛”来拜访自己的网站。仅有搜索引擎的“蜘蛛”来访文案，抓取网站页面，网站才有在其搜索引擎提高排名的机会。亦因此呢，网站站长和管理员针对搜索引擎的来访是默认或欢迎的。然则此刻亦有有些违法“蜘蛛”，冒充搜索引擎“蜘蛛”在网站里留下垃圾乃至导致“破坏”。今天介绍下怎么识别以及阻止这些违法“蜘蛛”。
1、识别“蜘蛛”
在网站的服务器日志文件中，可见每次拜访的路径和相应的IP位置。倘若是“蜘蛛”来访，则user-agent会表示Googlebot或MSNBot等搜索引擎漫游器名叫作，每一个搜索引擎都有自己的user-agent，但仅有这个还不足以证明这个“蜘蛛”的合法性，由于非常多垃圾制造者可能将她们的“蜘蛛”亦命名为Googlebot，以伪装蒙混进入网站，大肆采掘内容。
2、识别阻止违法“蜘蛛”
日前，主流搜索引擎都意见网站管理员经过这种方式来辨别真实的“蜘蛛”身份：经过DNS反向查找找出搜索引擎设备人IP位置对应的主机名叫作；用主机名查询IP位置以确认该主机名与IP位置匹配。
1.运用DNS反向查找（Reverse DNS Lookup），找出“蜘蛛”IP位置对应的主机名叫作。
主流搜索引擎的主机名叫作一般状况下应是这般的：
Google ： 主机名叫作应包括于 googlebot.com 域名中；
百度的“蜘蛛”一般是baidu.com或baidu.jp的子域名；
MSN ：主机名叫作应包括于 search.live.com 域名中；
微软bing搜索引擎爬虫是search.msn.com的子域名；
搜狗蜘蛛是crawl.sogou.com的子域名；
Yahoo：主机名叫作应包括于inktomisearch.com域名中；
2.做一次DNS查找，用主机名查询IP位置（Forward DNS Lookup），以确认该主机名与IP位置匹配。由此证明该“蜘蛛”是合法的。
3.倘若发掘一个“蜘蛛”将自己伪装成合法搜索引擎漫游器，你就能够经过服务器上的设置来阻止这个违法“蜘蛛”。
郑州seo: http://www.91wangzhan.cc/
| 
发表于 2024-8-25 21:42:20