百度对Robots.txt的生效周期
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">前段时间谈了下小向个人对Robots.txt的理解，其中说了两个推理，1、百度对Robots.txt 的抓取频率是一个周期右左 2、百度对Robots.txt的抓取<span style="color: black;">是由于</span>IP抓取，而不是按域名、说实话小向<span style="color: black;">亦</span>不是一个死板或钻牛角的人，我在上篇“百度对Robots.txt抓取时间分析报告”中说了，那当<span style="color: black;">第1</span>次<span style="color: black;">咱们</span><span style="color: black;">能够</span>说是偶然、第二次是运气、那第三次了、而<span style="color: black;">倘若</span>接下来的第四次更新<span style="color: black;">一样</span>是<span style="color: black;">这般</span>! <span style="color: black;">咱们</span>就不得不说这个实验得以成立，而<span style="color: black;">此刻</span>了<span style="color: black;">是不是</span>真成立了?</p>
<div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/pgc-image/880448e4c73f460fb1e84ea1a293162f~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725115329&x-signature=5l5YCuJQW603IAZDyv9fH4sbxSI%3D" style="width: 50%; margin-bottom: 20px;"></div>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 百度快照：2010-10-6号(<span style="color: black;">一样</span>的10月6号)</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">又是<span style="color: black;">一样</span>的四个站，<span style="color: black;">一样</span>的时候快照，呵!巧合吧，可能有个网站会隔天快照(http://www.lcch.cn)，但是其它三个网站是<span style="color: black;">同期</span>更新快照。小向从上篇“百度对Robots.txt抓取时间分析报告”中分析到了，百度对Robots.txt的抓取可能<span style="color: black;">是由于</span>IP来抓取，但对内容的抓取<span style="color: black;">必定</span>是域名，这点不可否认! 但在什么<span style="color: black;">状况</span>下百度会对Robots.txt抓取了，<span style="color: black;">咱们</span><span style="color: black;">亦</span>总结了：百度对Robots.txt 的抓取频率是一个周期右左。 <span style="color: black;">咱们</span><span style="color: black;">此刻</span><span style="color: black;">晓得</span>了百度是<span style="color: black;">怎样</span>对Robots.txt抓取的，<span style="color: black;">亦</span><span style="color: black;">晓得</span>了他的抓取周期是多久，<span style="color: black;">那样</span>百度对Robots.txt的生效周期是多久了? 在百度站长俱乐部俱乐部中，<span style="color: black;">始终</span>有<span style="color: black;">伴侣</span>在问“百度对Robots.txt的生效时间是多久”或“百度对301的<span style="color: black;">转</span>又是多久”，<span style="color: black;">然则</span>始终<span style="color: black;">无</span>一个很好的回复!那么这个生效周期是多久了!<span style="color: black;">咱们</span><span style="color: black;">科研</span>Robots.txt 不<span style="color: black;">便是</span>为了利用Robots.txt来屏蔽内容，让SE<span style="color: black;">不可</span>抓取，<span style="color: black;">然则</span><span style="color: black;">倘若</span>不生效<span style="color: black;">亦</span><span style="color: black;">同样</span>达不到效果。 <span style="color: black;">那样</span>百度对Robots的抓取生效周期是多久了，前段时间在写Robots分析报告中，有的<span style="color: black;">伴侣</span>说要DJ小向用IIS日志来证明<span style="color: black;">有些</span>推理，<span style="color: black;">这般</span><span style="color: black;">来讲</span>很容易让人信服，其实<span style="color: black;">非常多</span>时间小向<span style="color: black;">皆想</span>用<span style="color: black;">她们</span>来做推理证明，<span style="color: black;">然则</span><span style="color: black;">由于</span>某些<span style="color: black;">原由</span>，<span style="color: black;">倘若</span>我就摆几个IIS日志<span style="color: black;">照片</span>放那里，不做<span style="color: black;">有些</span>说明，<span style="color: black;">那样</span><span style="color: black;">非常多</span>SEO的<span style="color: black;">伴侣</span>都会看不懂，毕竟其中还有<span style="color: black;">非常多</span>东西你不<span style="color: black;">晓得</span>，只要操作者<span style="color: black;">晓得</span>，<span style="color: black;">因此</span><span style="color: black;">始终</span><span style="color: black;">败兴</span>都是用一种比较容易理解的方式来写<span style="color: black;">文案</span>。 想<span style="color: black;">认识</span>百度对Robots.txt的生效周期，<span style="color: black;">咱们</span><span style="color: black;">首要</span>需要<span style="color: black;">认识</span>“百度<span style="color: black;">是不是</span>抓取了你的Robots”、<span style="color: black;">咱们</span>撇开其它<span style="color: black;">要求</span>来<span style="color: black;">科研</span>Robots，<span style="color: black;">那样</span>你<span style="color: black;">是不是</span><span style="color: black;">晓得</span>你的网站有<span style="color: black;">无</span>被百度抓取到Robots.txt了，可能很的<span style="color: black;">伴侣</span>会说，“百度快照了，应该Robots就会被抓取吧”，还有的<span style="color: black;">伴侣</span>会说“百度对Robots的爬取周期不是一个周期”，可能有<span style="color: black;">非常多</span>种说法，但有一点DJ小向应该提醒<span style="color: black;">大众</span>“抓取”、在<span style="color: black;">非常多</span><span style="color: black;">伴侣</span>的眼里面就只为一种解释，其实“抓取”是分两种的：一种是“爬取”，更一种是“抓取”，而<span style="color: black;">常常</span>有些时候对搜索引擎<span style="color: black;">来讲</span>，可能对内容只是爬取过，但<span style="color: black;">无</span>抓取! <span style="color: black;">同样</span><span style="color: black;">无</span>用<span style="color: black;">或</span>说只爬取了内容、<span style="color: black;">无</span>上抓取，怎么会有收录了。</p>
<div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/pgc-image/af357e2d287b4d6eaa4dba76614f02f4~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725115329&x-signature=Q5NQLU0yLDpEFuSkxp4nEKlBW4I%3D" style="width: 50%; margin-bottom: 20px;"></div>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 解封Robots.txt后，百度<span style="color: black;">始终</span>不抓取</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">自<span style="color: black;">运用</span>了Robots屏蔽了网站，<span style="color: black;">而后</span>到新站上线(解封了Robots)，<span style="color: black;">已然</span>有15天<span style="color: black;">上下</span>了，百度<span style="color: black;">始终</span>不收录，而不收录的<span style="color: black;">同期</span>，从来<span style="color: black;">无</span>百度蜘蛛抓取!</p>
<div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/pgc-image/5539c6289058438f91ee9fa69daabf0a~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725115329&x-signature=%2BAyBnIIfCY9nRkkGXpGnG66ryKU%3D" style="width: 50%; margin-bottom: 20px;"></div>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 9月25号，百度蜘蛛<span style="color: black;">最终</span>对Robots进行了抓取</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">经过三个周期的变化，百度对网站Robots文件进行了抓取，<span style="color: black;">同期</span><span style="color: black;">亦</span>是从网站上线到<span style="color: black;">此刻</span>百度<span style="color: black;">第1</span>次抓取!虽然百度对Robots进行了抓取，<span style="color: black;">那样</span>百度对Robots的生效时间会是多久了，9月26号依然<span style="color: black;">同样</span>，<span style="color: black;">无</span>百度蜘蛛抓取。</p>
<div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p26-sign.toutiaoimg.com/pgc-image/b24137fdf93545909e9129722cfbe9ed~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725115329&x-signature=2Ci5AVi5G%2B7aqPz6cTGBXlH%2BhOE%3D" style="width: 50%; margin-bottom: 20px;"></div>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 9月27日，百度蜘蛛对网站内容有了抓取</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">25号的百度蜘蛛对Robots.txt进行了抓取，而27号百度对网站内容进行抓取，而疯狂的蜘蛛在<span style="color: black;">第1</span>次抓取时，真的很疯狂! (<span style="color: black;">因此</span><span style="color: black;">这儿</span>有个小细节，<span style="color: black;">必定</span><span style="color: black;">重视</span>、新站上线<span style="color: black;">始终</span>要把内容做充实，<span style="color: black;">况且</span>最好是原创的内容)</p>
<div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/pgc-image/db6c06fa4066426cab8122e6807c4da9~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725115329&x-signature=8Vc7c3l9efAgswKWtra2%2BwNxvaQ%3D" style="width: 50%; margin-bottom: 20px;"></div>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 网站从28号<span style="color: black;">起始</span>收录</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">从收录<span style="color: black;">方向</span><span style="color: black;">来讲</span>，小向还是很满意的，我记得9月29号是96篇，而当时小向总共<span style="color: black;">文案</span>发布数才130篇右左，而直接收录了96篇，这些<span style="color: black;">文案</span>都是从其它<span style="color: black;">地区</span>复制过来的! 有这种收录比例还是不错的。 我接着对Robots分析，从上面三张图中，相信<span style="color: black;">大众</span><span style="color: black;">能够</span>看到，网站从上线到24号以前是<span style="color: black;">无</span>百度蜘蛛爬取的，从25号<span style="color: black;">起始</span>百度对Robots.txt文件进行了抓取，而<span style="color: black;">咱们</span><span style="color: black;">晓得</span>虽然抓取了，<span style="color: black;">然则</span>生效<span style="color: black;">一样</span>需要一个等待期，小向比较走运，在27号百度就进行了抓取，<span style="color: black;">况且</span>隔天就放出了! <span style="color: black;">那样</span><span style="color: black;">咱们</span><span style="color: black;">能够</span>对“百度对Robots文件”做个总结： 想让Robots.txt 文件生效、必需要等网站中的Robots.txt文件被蜘蛛抓取后，Robots文件才会被生效，而“抓取”到“生效”之间<span style="color: black;">亦</span>需要时间等待、这个等待期<span style="color: black;">便是</span>蜘蛛下次在次抓取你网站内容的时候。 其它方面<span style="color: black;">亦</span>不多说了、小向写了三篇对Robots的<span style="color: black;">科研</span>分析[百度对Robots.txt抓取时间分析报告]， 每篇<span style="color: black;">文案</span>都是站在一个新的思路去理解的，<span style="color: black;">然则</span><span style="color: black;">同期</span>这三篇<span style="color: black;">文案</span><span style="color: black;">亦</span><span style="color: black;">相关</span>联，<span style="color: black;">倘若</span>你能够把三篇<span style="color: black;">文案</span>综合起来理解最好，<span style="color: black;">倘若</span>不行，一篇篇理解<span style="color: black;">亦</span>行，(可能在读解这三篇<span style="color: black;">文案</span>中，你会说<span style="color: black;">她们</span>之间有些冲突，<span style="color: black;">然则</span>我相信<span style="color: black;">倘若</span>真正理解了这几篇<span style="color: black;">文案</span>，你就不会感觉冲突)<span style="color: black;">科研</span>SE<span style="color: black;">便是</span><span style="color: black;">这般</span>，<span style="color: black;">仅有</span>大胆的想，大胆的实验，你就会成功. 不说自己的水平怎么怎么样，<span style="color: black;">然则</span>我尝试了、<span style="color: black;">奋斗</span>了、有了总结，我相信以后再次遇到<span style="color: black;">这般</span>的问题就难不倒了。</p>
这夸赞甜到心里，让我感觉温暖无比。 谢谢、感谢、感恩、辛苦了、有你真好等。 你的见解真是独到，让我受益匪浅。
页:
[1]