Sine Xing

前几天，有朋友咨询自己的网站内容被恶意抓取，展示在别人的网站上，该怎么办？今天我们就讲一下如何从Google中删除网址，从Google中删除网址的方法有很多种，但没有一种方法是万能的。这取决于你的当前的情况。使用错误的方法有时不仅会导致页面未按预期从索引中删除，而且可能对SEO产生负面影响。为了帮助你快速确定哪种删除方法最适合你，我们制作了一个流程图，以便你可以跳到你最需要的部分。 在这篇文章中，你将了解到： 如何检查URL是否已编入索引 我们通常检查内容是否被索引的做法是使用site:在Google中搜索。site:搜索可用于查看网站的页面，但如果你的页面显示在搜索结果中，这也并不能说明你的页面被索引或没有被索引。site:搜索可能只是显示Google已知的页面。并不意味着这些页面有资格在其他搜索词的SERP中参与排名。 例如，site:搜索仍然可以显示重定向或规范化到另一个页面的页面。当你请求访问特定网站时，Google可能会显示该域名下的页面，以及其他域名下的内容、标题和说明。以moz.com为例，它以前是seomoz.org。当你查询指向moz.com上的页面时，会在SERP中显示moz.com，而查询site:seomoz.org将在SERP中显示seomoz.org。 不了解这个重要区别可能会导致SEO犯错误，例如主动阻止URL或从旧域名索引中删除URL，导致阻止诸如PageRank等信号的传递。我见过很多域名迁移的案例，人们认为他们在迁移过程出了问题，因为这些页面仍然显示site:old-domain.com搜索，然后尝试“修复”问题导致损害了网站。 更好的检查索引的方法是使用Google Search Console中的索引覆盖率报告，或针对单个URL使用URL检查工具。这些工具会告诉你某个页面是否已编入索引，并提供有关Google如何处理该页面的附加信息。如果你无权访问此内容，只需在Google中搜索你页面的完整URL即可。 在Ahrefs，SEMrush等工具查找“热门页面”报告或自然关键字排名中找到该页面，通常意味着我们看到它在正常搜索查询中排名，并且很好地表明该页面已被索引。请注意，当我们看到这些页面时，它们已被索引，但此时这个页面可能已经改变了。 如果特定URL存在问题并且需要从索引中删除，请按照本文开头的流程图查找正确的删除方法，然后跳转到下面的相应部分。 删除方法 1：删除内容 如果你删除页面并提供404（未找到）或410（消失）状态代码，则在重新抓取页面后不久，该页面将从索引中删除。在删除之前，该页面可能仍会显示在搜索结果中。即使页面本身不再可用，页面的缓存版本也可能暂时可用。 此时你可能有以下几种选择： 下拉跳转到你需要部分。 删除方法 2：Noindex Noindex Robots meta标记或X-Robots-Tag标头可以告诉搜索引擎从索引中删除页面。Noindex Robots meta标记适用于页面，而X-Robots-Tag标头适用于页面和其他文件类型（例如PDF）。为了让这些标签可见，搜索引擎需要能够抓取页面，因此请确保它们没有在robots.txt中被阻止。另请注意，从索引中删除页面可能会阻止链接等其他信号的合并。 Noindex Robots meta标记的示例： Noindex X-Robots-Tag标头中的示例： HTTP/1.1 200 OKX-Robots-Tag: noindex 关于Robots meta标记或X-Robots-Tag标头的介绍和用法，请查看此文档，此时你可能面临的选择： 删除方法 3：限制访问 如果你希望某些用户可以访问该页面，但搜索引擎不能访问该页面，那么你可能需要以下三个方式之一： 这种类型的设置最适合内部网络、仅限会员的内容或暂存、测试或开发站点等内容。它允许一组用户访问该页面，但搜索引擎无法访问，也不会索引这些页面。 此时你可能面临的选择：我需要立即移除。  请参阅URL删除工具部分。在这种特殊情况下，如果你尝试隐藏的内容已被缓存，并且你需要防止用户看到该内容，你可能需要立即删除。 删除方法 4：URL删除工具 谷歌给这个工具的名字有点误导，因为它的工作方式是暂时隐藏内容。Google仍会看到并抓取这些内容，但这些页面不会向用户显示。这种临时效果在Google中持续六个月，而Bin 有一个类似的工具可以持续三个月。这些工具应该在最极端的情况下使用，例如安全问题、数据泄露、个人身份信息 (PII) 等。对于Google，请使用删除工具；对于Bing，请参阅如何阻止URL部分。 除此之外你仍然需要使用另一种方法使实际页面删除更长时间（不索引或删除）或阻止用户访问内容（如果他们仍然拥有链接）（删除或限制访问）。这只是为你提供了一种更快的隐藏页面的方法，同时有时间进行删除操作。 删除方法 5：规范化 当你拥有页面的多个版本并希望将链接等信号合并到单个版本时，你需要做的是某种形式的规范化。这主要是为了防止重复内容 ，同时将页面的多个版本合并到单个索引URL。 你有多种选择： 如何确定URL删除的优先顺序 如果你有多个页面需要从Google索引中删除，那么应该对它们进行相应的优先级排序。 要避免的常见错误 我想介绍一些我通常看到的错误删除方法以及每种情况下会发生什么，以帮助人们理解为什么你的设置不起作用。 robots.txt中设置noindex 虽然Google曾经在robots.txt中非正式地支持noindex，但它从来都不是官方标准，现在他们已经正式删除了关于这项的支持。许多网站这样做都是错误的。 阻止在robots.txt中抓取 爬网与索引不同。即使某个页面屏蔽Google抓取，只要你这个页面有任何内部或外部链接，Google仍然可以对这个页面建立索引。当然谷歌不知道页面上有什么，因为他们不会抓取到页面里的内容，Google只是知道这个页面存在，甚至会根据页面链接的锚文本等信号编写标题以显示在搜索结果中。 Nofollow 大家通常会把Nofollow与Noindex混淆，有些人会在页面上使用它，希望页面不会被索引。Nofollow是一个提示，虽然它过去阻止了页面上的链接以及带有nofollow属性的单个链接的爬行，但现在情况已不再如此。如果谷歌愿意的话，现在可以抓取这些链接。 Nofollow还被用于单个链接，阻止Google对特定页面进行权重传递。同样，这不再有效，因为Nofollow是一个提示。 请注意，你可以使用Ahrefs，SEMrush等工具进行nofollow查找。由于nofollow页面上的所有链接几乎没有意义，因此结果数应该为零或接近于零。如果有匹配结果，我强烈建议你检查是否意外添加了nofollow指令来代替noindex，并在需要时选择更合适的删除方法。 Noindex & 规范化另一个URL 这俩信号是相互矛盾的。Noindex表示从索引中删除该页面，规范化表示另一个页面是应该索引的版本。这可能有助于整合页面，因为谷歌通常会选择忽略noindex，而是使用规范化作为主要信号。然而，这并不是一种绝对的行为。如果是这种情况，页面将无法正确整合。 请注意，你可以使用工具找到具有非自引用规范的无索引页面，选择更合适的删除方法。 如果这是你的内容但不在你拥有的网站上怎么办？ 如果你拥有其他网站上使用的内容，你可以根据《数字千年版权法》(DMCA) […]