|
前几天，有伴侣咨询自己的网站内容被恶意抓取，展示在别人的网站上，该怎么办？今天咱们就讲一下怎样从Google中删除网址，从Google中删除网址的办法有非常多种，但无一种办法是万能的。这取决于你的当前的状况。运用错误的办法有时不仅会引起页面未按预期从索引中删除，况且可能对seo产生消极影响。
为了帮忙你快速确定哪种删除办法最适合你，咱们制作了一个流程图，以便你能够跳到你最需要的部分。
在这篇文案中，你将认识到： 怎样检测URL是不是已编入索引从Google中删除网址的五种办法怎样确定移除的优先次序要避免的平常错误怎样删除不在你网站上的内容怎样删除图像
怎样检测URL是不是已编入索引
咱们一般检测内容是不是被索引的做法是运用site:在Google中搜索。site:搜索可用于查看网站的页面，但倘若你的页面表示在搜索结果中，这亦并不可说明你的页面被索引或无被索引。site:搜索可能只是表示Google已知的页面。并不寓意着这些页面有资格在其他搜索词的SERP中参与排名。
例如，site:搜索仍然能够表示重定向或规范化到另一个页面的页面。当你请求拜访特定网站时，Google可能会表示该域名下的页面，以及其他域名下的内容、标题和说明。以moz.com为例，它以前是seomoz.org。当你查找指向moz.com上的页面时，会在SERP中表示moz.com，而查找site:seomoz.org将在SERP中表示seomoz.org。
不认识这个重要区别可能会引起SEO犯错误，例如主动阻止URL或从旧域名索引中删除URL，引起阻止诸如PageRank等信号的传递。我见过非常多域名迁移的案例，人们认为她们在迁移过程出了问题，由于这些页面仍然表示site ld-domain.com搜索，而后尝试“修复”问题导致损害了网站。
更好的检测索引的办法是运用Google Search Console中的索引覆盖率报告，或针对单个URL运用URL检测工具。这些工具会告诉你某个页面是不是已编入索引，并供给相关Google怎样处理该页面的附加信息。倘若你无权拜访此内容，只需在Google中搜索你页面的完整URL就可。
在Ahrefs，SEMrush等工具查询“热门页面”报告或自然关键字排名中找到该页面，一般寓意着咱们看到它在正常搜索查找中排名，并且很好地显示该页面已被索引。请重视，当咱们看到这些页面时，它们已被索引，但此时这个页面可能已然改变了。
倘若特定URL存在问题并且需要从索引中删除，请根据本文开头的流程图查询正确的删除办法，而后转到下面的相应部分。
删除办法1：删除内容
倘若你删除页面并供给404（未找到）或410（消失）状态代码，则在重新抓取页面后不久，该页面将从索引中删除。在删除之前，该页面可能仍会表示在搜索结果中。即使页面本身再也不可用，页面的缓存版本亦可能暂时可用。
此时你可能有以下几种选取： 我需要立即删除。 请参阅URL删除工具部分。我需要整合链接信号。 请参阅规范化部分。我需要该页面可供用户运用。 查看noindex或限制拜访部分是否适合你的状况。
下拉转到你需要部分。
删除办法2：Noindex
Noindex Robots meta标记或X-Robots-Tag标头能够告诉搜索引擎从索引中删除页面。Noindex Robots meta标记适用于页面，而X-Robots-Tag标头适用于页面和其他文件类型（例如PDF）。为了让这些标签可见，搜索引擎需要能够抓取页面，因此呢请保证它们无在robots.txt中被阻止。另请重视，从索引中删除页面可能会阻止链接等其他信号的合并。
Noindex Robots meta标记的示例： <meta name="robots" content="noindex">
Noindex X-Robots-Tag标头中的示例： HTTP/1.1 200 OK
X-Robots-Tag: noindex关于Robots meta标记或X-Robots-Tag标头的介绍和用法，请查看：
https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=zh-cn
此时你可能面临的选取： 我不期盼用户拜访这些页面。 请参阅限制拜访部分。我需要整合链接等信号。 请参阅规范化部分。
删除办法3：限制拜访
倘若你期盼某些用户能够拜访该页面，但搜索引擎不可拜访该页面，那样你可能需要以下三个方式之一： 登录系统；HTTP身份验证 （需要秘码才可拜访）；IP白名单（仅准许特定IP位置拜访页面）
这种类型的设置最适合内部网络、仅限会员的内容或暂存、测试或研发站点等内容。它准许一组用户拜访该页面，但搜索引擎没法拜访，亦不会索引这些页面。
此时你可能面临的选取：
我需要立即移除。 请参阅URL删除工具部分。在这种特殊状况下，倘若你尝试隐匿的内容已被缓存，并且你需要防止用户看到该内容，你可能需要立即删除。
删除办法4：URL删除工具
谷歌给这个工具的名字有点误导，由于它的工作方式是暂时隐匿内容。Google仍会看到并抓取这些内容，但这些页面不会向用户表示。这种临时效果在Google中连续六个月，而Bin 有一个类似的工具能够连续三个月。这些工具应该在最极端的状况下运用，例如安全问题、数据泄密、个人身份信息 (PII) 等。针对Google，请运用删除工具；针对Bing，请参阅怎样阻止URL部分。
除此之外你仍然需要运用另一种办法使实质页面删除更长期（不索引或删除）或阻止用户拜访内容（倘若她们仍然持有链接）（删除或限制拜访）。这只是为你供给了一种更快的隐匿页面的办法，同期有时间进行删除操作。
删除办法5：规范化
当你持有页面的多个版本并期盼将链接等信号合并到单个版本时，你需要做的是某种形式的规范化。这重点是为了防止重复内容 ，同期将页面的多个版本合并到单个索引URL。
你有多种选取： 规范标签。指定另一个URL做为规范版本或你想要表示的版本。倘若页面重复或非常类似，这应该没问题。当页面差异太大时，规范化标签可能会被忽略，由于它是提示而不指的是令。重定向。重定向将用户和搜索设备人从一个页面转移到另一个页面。301是SEO最常用的重定向，它告诉搜索引擎你期盼哪个URL作为搜索结果中表示的URL以及信号整合的到哪个URL。302或临时重定向告诉搜索引擎你期盼原始URL保存在索引中并在那里巩固信号。更加多阅读：Technical SEO: 怎样处理网站上的重复内容？规范化！
怎样确定URL删除的优先次序
倘若你有多个页面需要从Google索引中删除，那样应该对它们进行相应的优先级排序。
最高优先级：这些页面一般与安全关联或与机密数据关联。包含包括个人数据 (PII)、客户数据或专有信息的内容。
中等优先级：这一般触及针对特定用户组的内容。机构内部网或员工门户、仅供会员运用的内容以及暂存、测试或研发环境。
低优先级：这些页面一般触及 某种重复内容。包含从多个URL供给的页面、带有参数的URL，并且还可能包含暂存、测试或研发环境。
要避免的平常错误
我想介绍有些我一般看到的错误删除办法以及每种状况下会出现什么，以帮忙人们理解为何你的设置不起功效。
robots.txt中设置noindex
虽然Google曾经在robots.txt中非正式地支持noindex，但它从来都不是官方标准，此刻她们已然正式删除了关于这项的支持。许多网站这般做都是错误的。
阻止在robots.txt中抓取
爬网与索引区别。即使某个页面屏蔽Google抓取，只要你这个页面有任何内部或外边链接，Google仍然能够对这个页面创立索引。当然谷歌不晓得页面上有什么，由于她们不会抓取到页面里的内容，Google只是晓得这个页面存在，乃至会按照页面链接的锚文本等信号编写标题以表示在搜索结果中。
Nofollow
大众一般会把Nofollow与Noindex混淆，有些人会在页面上运用它，期盼页面不会被索引。Nofollow是一个提示，虽然它过去阻止了页面上的链接以及带有nofollow属性的单个链接的爬行，但此刻状况已再也不如此。倘若谷歌愿意的话，此刻能够抓取这些链接。
Nofollow还被用于单个链接，阻止Google对特定页面进行权重传递。一样，这再也不有效，由于Nofollow是一个提示。
请重视，你能够运用Ahrefs，SEMrush等工具进行nofollow查询。因为nofollow页面上的所有链接几乎无道理，因此呢结果数应该为零或接近于零。倘若有匹配结果，我剧烈意见你检测是不是意外添加了nofollow指令来代替noindex，并在需要时选取更合适的删除办法。
Noindex&规范化另一个URL
这俩信号是相互矛盾的。Noindex暗示从索引中删除该页面，规范化暗示另一个页面是应该索引的版本。这可能有助于整合页面，由于谷歌一般会选取忽略noindex，而是运用规范化做为重点信号。然而，这并不是一种绝对的行径。倘若是这种状况，页面将没法正确整合。
请重视，你能够运用工具找到拥有非自引用规范的无索引页面，选取更合适的删除办法。
倘若这是你的内容但不在你持有的网站上怎么办？
倘若你持有其他网站上运用的内容，你能够按照《数字千年版权法》(DMCA) 提出索赔。你能够运用Google 的版权删除工具 https://www.google.com/webmasters/tools/dmca-dashboard 执行所说的DMCA删除，即需求删除任何受版权守护的材料。
倘若内容与你相关但不在你持有的网站上怎么办？
倘若你位置于欧盟，按照法院关于被遗忘权的命令，你能够删除包括你信息的内容。你能够运用欧盟隐私删除表 https://www.google.com/webmasters/tools/legal-removal-request?complaint_type=rtbf&hl=en请求删除个人信息。
删除照片
要从Google中删除图像，最简单的办法是运用robots.txt。
针对单个照片： User-agent: Googlebot-Image
Disallow: /images/dogs.jpg针对所有照片： User-agent: Googlebot-ImageDisallow: /最后
怎样删除URL取决于详细状况。咱们已然讨论了几个办法，但倘若你仍然困惑哪个适合你，请返回到起始时的流程图。
你还能够经过 Google 供给的法律问题排查工具来删除内容。链接如下： https://support.google.com/legal/troubleshooter/1114905?hl=en
内容源自于微X公众号：SINE独立站品牌运营
| 
发表于 2024-7-30 19:55:51