2844
316
9191万
论坛元老
蜘蛛抓取频率和时间,能够经过http://ziyuan.baidu.com 后台的抓取频次功能查看。
至于抓取内容和抓取时间。能够经过分析网站日志来查看。
倘若你只是简单的想分析 蜘蛛抓取了那些目录及有些抓取状态反馈。你百度下日志分析工具。都能够达成你的需求的。然则倘若你的站点蜘蛛抓取数据尤其多。况且日志文件非常大。而后网站又显现了收录问题,必须分析日志处理关联问题的话。意见手动分析日志数据。由于日前市面上的日志分析软件,没法细分准确的抓取收录数据。
你能够查看这边文案
另一倘若你的网站无做云加速和CDN加速服务的话。服务器日志就去下载站点本身的日志。
倘若有网站加速服务,网站日志去云加速商调取。例如阿里云,百度云等。
前面有回答说到经过FTP 拜访站点获取log 日志文件。这种只适用直接拜访网站的状况。 通常大型网站都有云加速。访客都是拜访近期的加速节点。源服务器是无拜访记录的。
使用道具 举报
0
1万
1
新手上路
2998
330
9919万
2992
3万
9956万
3000
9910万
本版积分规则 发表回复 回帖并转播 回帖后跳转到最后一页
站点统计|Archiver|手机版|小黑屋|天涯论坛 ( 非经营性网站 )|网站地图
GMT+8, 2024-11-25 12:18 , Processed in 0.123980 second(s), 22 queries .
Powered by Discuz! X3.4
Copyright © 2001-2023, Tencent Cloud.