其他

AI和对话式AI的快速发展是这两年绕不开的话题，很多敏感的人群早早就开始感受到科技快速发展带来的职业焦虑。作为SEO人的我们，更是身处最前沿，深刻感受技术的革新对我们工作的复杂影响。 焦虑是长久的，但放下焦虑认清现实，找到自己的着力点才能继续前行。 本文内容主要围绕搜索引擎这个基石展开，毕竟，我们SEO所有的工作都是在这个基石上绘制的，深刻了解当前搜索引擎的变革，才能更好的做好SEO。 搜索引擎的演变 搜索引擎的发展经历了漫长的迭代。从开始的分类目录，需要人工收录更新，到初次支持结果的相关性排序，到根据搜索算法排序；从简单的关键词搜索，到支持高级搜索指令，到语境理解，识别用户搜索意图；从搜索分散主机文件，到爬取收录巨量网页内容，到构建知识图谱，建立实体之间的联系，到个性化推荐。 这些迭代主要是因为： 从下图我们可以看出，这十几年谷歌搜索算法的迭代次数越来越频繁，力度越来越大。2023年的HCU更新更是击垮很多SEO人和依靠谷歌生态创业者的心理防线。 新型的AI驱动语义搜索引擎的出现对深处这个时期的我们来说并不一定是坏事儿。新型的搜索引擎给我们带来更多的机遇和挑战。 AI搜索引擎、生成式引擎、问答系统的深入剖析 作为新型搜索引擎AI引擎与传统的搜索引擎有很大的区别。我们可以将AI搜索引擎、生成式引擎和问答系统看作是AI在搜索领域发展的一个演进过程。三种引擎共同构成了一个完整的AI搜索体系。 AI搜索引擎 AI搜索引擎（AI Search Engines）是利用人工智能技术，特别是自然语言处理、机器学习和深度学习等技术，来提升搜索结果准确性、相关性和用户体验的新一代搜索引擎。 AI 搜索引擎会不断从你的查询中和一般搜索模式中学习。每次使用AI进行搜索时，你都是在训练它更好地搜索并返回更相关的答案。AI搜索引擎是AI搜索体系的基础，使传统的搜索引擎逐渐具备了理解自然语言的能力。 问答系统 问答系统（Question-answering system，Q&A system或QA系统）通过理解问题中的实体、关系和意图，从知识库中查找答案，并以自然语言直接回答用户提出的问题。问答系统主要分为5个类型，包括：基于信息检索、基于知识库、生成式、混合型和基于规则。 问答系统除了用于搜索引擎外，还应用于各个其他行业，包括客服、教育等。 问答系统是搜索引擎的进阶，问答系统在搜索引擎的基础上，更进一步，直接给出问题的答案，而不是返回一堆网页链接。 生成式引擎 生成式引擎（Generative Engines）利用大型语言模型，根据训练数据中的模式和规律，根据用户提供的提示或问题，生成新的、原创的文本内容。 生成式引擎强调内容的创造性，可以生成各种形式的文本（如文章、代码、诗歌等）、图像（如插画、产品设计、游戏道具场景等）、代码、音频（如语音助手、有声读物等）、视频（如特效、过渡效果等）等。 生成式引擎是新的突破，生成式引擎不仅可以回答问题，还可以生成各种形式的文本内容，代表了AI搜索技术的新方向。 新型搜索引擎的代表性产品 SEO人员在新型搜索引擎下的机遇与挑战 尽管新型搜索引擎对于优化有更高的要求，但我们可以肯定的是，新型搜索引擎优化依然要延续传统搜索引擎优化的部分实施方法。包括： 不同的是： 看过一些文章，很多人都还在搜索探索中，如果你看好这条路，可以挽起裤腿，先淌一下试试。 最后 AI搜索引擎的出现，无疑对SEO行业产生了巨大的冲击。除了技术层面的挑战，还是思维模式的转变。我们需要重新审视自己的工作，思考如何适应新的搜索环境。

基于搜索结果页做排名是我们做SEO的共识，然而随着近两年生成式AI的出现，大量基于AI的平台也在爆发式增长。我们曾经有一些文章研究AI对我们的影响，以及如何使用AI助力我们更好的产出文章，优化排名。 今天写下这篇文章的契机是看到Roger Montti在SEJ上发布的新文章《New Study On Perplexity AI Offers Good News For SEO》。Roger以他独到的见解说明了这个Good News。但在我们看来，像Perplexity这样新型的搜索平台让我们喜忧参半。 什么是Perplexity？   Perplexity 是一个自我描述的答案引擎，由来自OpenAI、Facebook、Quora、Microsoft 和 Databricks 的研究人员和工程师创建。不同于现在我们用的Google Search这样的搜索平台，Perplexity旨在通过大型语言模型生成的引文提供答案，这与传统网络索引的基于链接列表型的结果完全不同。下图为Perplexity搜索结果页面截图：     Perplexity是AI优先的搜索引擎，这类型搜索引擎正在迅速流行，Perplexity有增强的“对话体验”、针对某些查询的优质答案以及无广告响应等好处。BrightEdge介绍说，“Perplexity AI 正在以其革命性的方法重塑搜索行业，其月增长率超过 40%，令人震惊” 根据 Google 趋势，Perplexity AI在过去一年，搜索趋势总体上涨明显。BrightEdge最近的一项调查也突显了SEO专业人士对Perplexity AI日益增长的兴趣。   为什么大家开始转向Perplexity AI？   Perplexity以生成式AI在搜索中的作用为基础，为重视直接性和相关性的用户提供了量身定制的精致搜索体验。Perplexity避开广告，确保其提供的信息植根于实质内容而不是广告。 该平台的互动性质标志着与过去传统搜索体验的巨大差别。Perplexity让用户参与积极的对话，允许以对话形式提出细致入微的问题并深入探索主题。这种现代方法符合人们日益增长的对立即响应和相关响应的期望。 对于更熟练的用户，Perplexity的Pro版本扩展了这些概念。将文档和图像合并到查询中，它提供定制的摘要服务，产生更符合用户意图的响应。 Perplexity的优缺点   新鲜内容查询   Perplexity AI 将传统搜索引擎的功能与大型语言模型 (LLM) 的高级功能相结合，为查询提供直接、简洁的响应。根据 Perplexity 的说法，它通过从一组精选的信誉良好的来源中获取信息来优先考虑可信度，而不是依赖像谷歌那样广泛的索引。因此，与 Google 的综合索引相比，Perplexity AI 用于制定答案的资源池较小。这意味着对于某些查询，尤其是那些需要最新内容的查询，Google 可能会提供比 Perplexity AI 更新的答案。     Perplexity 以用户为中心的方法  

前几天，有朋友咨询自己的网站内容被恶意抓取，展示在别人的网站上，该怎么办？今天我们就讲一下如何从Google中删除网址，从Google中删除网址的方法有很多种，但没有一种方法是万能的。这取决于你的当前的情况。使用错误的方法有时不仅会导致页面未按预期从索引中删除，而且可能对SEO产生负面影响。为了帮助你快速确定哪种删除方法最适合你，我们制作了一个流程图，以便你可以跳到你最需要的部分。 在这篇文章中，你将了解到： 如何检查URL是否已编入索引 我们通常检查内容是否被索引的做法是使用site:在Google中搜索。site:搜索可用于查看网站的页面，但如果你的页面显示在搜索结果中，这也并不能说明你的页面被索引或没有被索引。site:搜索可能只是显示Google已知的页面。并不意味着这些页面有资格在其他搜索词的SERP中参与排名。 例如，site:搜索仍然可以显示重定向或规范化到另一个页面的页面。当你请求访问特定网站时，Google可能会显示该域名下的页面，以及其他域名下的内容、标题和说明。以moz.com为例，它以前是seomoz.org。当你查询指向moz.com上的页面时，会在SERP中显示moz.com，而查询site:seomoz.org将在SERP中显示seomoz.org。 不了解这个重要区别可能会导致SEO犯错误，例如主动阻止URL或从旧域名索引中删除URL，导致阻止诸如PageRank等信号的传递。我见过很多域名迁移的案例，人们认为他们在迁移过程出了问题，因为这些页面仍然显示site:old-domain.com搜索，然后尝试“修复”问题导致损害了网站。 更好的检查索引的方法是使用Google Search Console中的索引覆盖率报告，或针对单个URL使用URL检查工具。这些工具会告诉你某个页面是否已编入索引，并提供有关Google如何处理该页面的附加信息。如果你无权访问此内容，只需在Google中搜索你页面的完整URL即可。 在Ahrefs，SEMrush等工具查找“热门页面”报告或自然关键字排名中找到该页面，通常意味着我们看到它在正常搜索查询中排名，并且很好地表明该页面已被索引。请注意，当我们看到这些页面时，它们已被索引，但此时这个页面可能已经改变了。 如果特定URL存在问题并且需要从索引中删除，请按照本文开头的流程图查找正确的删除方法，然后跳转到下面的相应部分。 删除方法 1：删除内容 如果你删除页面并提供404（未找到）或410（消失）状态代码，则在重新抓取页面后不久，该页面将从索引中删除。在删除之前，该页面可能仍会显示在搜索结果中。即使页面本身不再可用，页面的缓存版本也可能暂时可用。 此时你可能有以下几种选择： 下拉跳转到你需要部分。 删除方法 2：Noindex Noindex Robots meta标记或X-Robots-Tag标头可以告诉搜索引擎从索引中删除页面。Noindex Robots meta标记适用于页面，而X-Robots-Tag标头适用于页面和其他文件类型（例如PDF）。为了让这些标签可见，搜索引擎需要能够抓取页面，因此请确保它们没有在robots.txt中被阻止。另请注意，从索引中删除页面可能会阻止链接等其他信号的合并。 Noindex Robots meta标记的示例： Noindex X-Robots-Tag标头中的示例： HTTP/1.1 200 OKX-Robots-Tag: noindex 关于Robots meta标记或X-Robots-Tag标头的介绍和用法，请查看此文档，此时你可能面临的选择： 删除方法 3：限制访问 如果你希望某些用户可以访问该页面，但搜索引擎不能访问该页面，那么你可能需要以下三个方式之一： 这种类型的设置最适合内部网络、仅限会员的内容或暂存、测试或开发站点等内容。它允许一组用户访问该页面，但搜索引擎无法访问，也不会索引这些页面。 此时你可能面临的选择：我需要立即移除。  请参阅URL删除工具部分。在这种特殊情况下，如果你尝试隐藏的内容已被缓存，并且你需要防止用户看到该内容，你可能需要立即删除。 删除方法 4：URL删除工具 谷歌给这个工具的名字有点误导，因为它的工作方式是暂时隐藏内容。Google仍会看到并抓取这些内容，但这些页面不会向用户显示。这种临时效果在Google中持续六个月，而Bin 有一个类似的工具可以持续三个月。这些工具应该在最极端的情况下使用，例如安全问题、数据泄露、个人身份信息 (PII) 等。对于Google，请使用删除工具；对于Bing，请参阅如何阻止URL部分。 除此之外你仍然需要使用另一种方法使实际页面删除更长时间（不索引或删除）或阻止用户访问内容（如果他们仍然拥有链接）（删除或限制访问）。这只是为你提供了一种更快的隐藏页面的方法，同时有时间进行删除操作。 删除方法 5：规范化 当你拥有页面的多个版本并希望将链接等信号合并到单个版本时，你需要做的是某种形式的规范化。这主要是为了防止重复内容 ，同时将页面的多个版本合并到单个索引URL。 你有多种选择： 如何确定URL删除的优先顺序 如果你有多个页面需要从Google索引中删除，那么应该对它们进行相应的优先级排序。 要避免的常见错误 我想介绍一些我通常看到的错误删除方法以及每种情况下会发生什么，以帮助人们理解为什么你的设置不起作用。 robots.txt中设置noindex 虽然Google曾经在robots.txt中非正式地支持noindex，但它从来都不是官方标准，现在他们已经正式删除了关于这项的支持。许多网站这样做都是错误的。 阻止在robots.txt中抓取 爬网与索引不同。即使某个页面屏蔽Google抓取，只要你这个页面有任何内部或外部链接，Google仍然可以对这个页面建立索引。当然谷歌不知道页面上有什么，因为他们不会抓取到页面里的内容，Google只是知道这个页面存在，甚至会根据页面链接的锚文本等信号编写标题以显示在搜索结果中。 Nofollow 大家通常会把Nofollow与Noindex混淆，有些人会在页面上使用它，希望页面不会被索引。Nofollow是一个提示，虽然它过去阻止了页面上的链接以及带有nofollow属性的单个链接的爬行，但现在情况已不再如此。如果谷歌愿意的话，现在可以抓取这些链接。 Nofollow还被用于单个链接，阻止Google对特定页面进行权重传递。同样，这不再有效，因为Nofollow是一个提示。 请注意，你可以使用Ahrefs，SEMrush等工具进行nofollow查找。由于nofollow页面上的所有链接几乎没有意义，因此结果数应该为零或接近于零。如果有匹配结果，我强烈建议你检查是否意外添加了nofollow指令来代替noindex，并在需要时选择更合适的删除方法。 Noindex & 规范化另一个URL 这俩信号是相互矛盾的。Noindex表示从索引中删除该页面，规范化表示另一个页面是应该索引的版本。这可能有助于整合页面，因为谷歌通常会选择忽略noindex，而是使用规范化作为主要信号。然而，这并不是一种绝对的行为。如果是这种情况，页面将无法正确整合。 请注意，你可以使用工具找到具有非自引用规范的无索引页面，选择更合适的删除方法。 如果这是你的内容但不在你拥有的网站上怎么办？ 如果你拥有其他网站上使用的内容，你可以根据《数字千年版权法》(DMCA)