Linux/Nginx怎么样查看搜索引擎蜘蛛爬虫的行径-天涯论坛

l14107cb 发表于 2024-8-25 17:18:07

Linux/Nginx怎么样查看搜索引擎蜘蛛爬虫的行径

<div style="color: black; text-align: left; margin-bottom: 10px;">
 做好网站SEO优化的第1步便是首要让蜘蛛爬虫经常来你的网站进行光临，下面的Linux命令能够让你清楚的晓得蜘蛛的爬行状况。下面咱们针对nginx服务器进行分析，日志文件所在目录：/usr/local/nginx/logs/access.log，access.log这个文件记录的应该是近期一天的日志情况，首要请瞧瞧日志体积，倘若很大(超过50MB)意见别用这些命令分析，由于这些命令很消耗CPU，或更新下来放到分析机上执行，以避免影响网站的速度。
 Linux shell命令
 1. 百度蜘蛛爬行的次数
 cat access.log | grep Baiduspider | wc
 最左面的数值表示的便是爬行次数。
 2. 百度蜘蛛的仔细记录(Ctrl C能够终止)
 cat access.log | grep Baiduspider
 亦能够用下面的命令：
 cat access.log | grep Baiduspider | tail -n 10
 cat access.log | grep Baiduspider | head -n 10
 只看最后10条或最前10条，这用就能晓得这个日志文件的起始记录的时间和日期。
 3. 百度蜘蛛抓取首页的仔细记录
 cat access.log | grep Baiduspider | grep “GET / HTTP”
 百度蜘蛛好似对首页非常热爱每一个钟头都来光临，而谷歌和雅虎蜘蛛更喜欢内页。
 4. 百度蜘蛛派性记录时间点分布
 cat access.log | grep “Baiduspider ” | awk ‘{print $4}
 5. 百度蜘蛛爬行页面按次数降序列表
 cat access.log | grep “Baiduspider ” | awk ‘{print $7} | sort | uniq -c | sort -r
 文中的Baiduspider 改成Googlebot都能够查看谷歌的数据，鉴于大陆的特殊性，大众应该对百度的log更为关注。
 附：(Mediapartners-Google)Google adsense蜘蛛的仔细爬行记录
 cat access.log | grep Mediapartners
 Mediapartners-Google是什么呢?Google adsense宣传之因此能与内容关联，由于每一个包括着adsense的宣传被拜访后，火速就有个Mediapartners-Google蜘蛛来到这个页面，因此几分钟后再刷新就能表示关联性宣传了，真厉害啊！
 ps：linux下nginx怎样启用网站日志，查看蜘蛛爬虫
 默认的路径是你安装时候指定的
</div>

4lqedz 发表于 2024-9-30 11:07:49

交流如星光璀璨，点亮思想夜空。

j8typz 发表于 2024-10-14 01:58:23

回顾历史，我们不难发现：无数先辈用鲜血和生命铺就了中华民族复兴的康庄大道。

nykek5i 发表于 2024-10-20 07:06:58

你的见解真是独到，让我受益匪浅。

j8typz 发表于 2024-10-31 04:50:06

网站建设seio论坛http://www.fok120.com/

页: [1]

天涯论坛's Archiver

Linux/Nginx怎么样查看搜索引擎蜘蛛爬虫的行径