行业新闻

在前文“Technical SEO: 如何处理Google索引网页的相关问题？”中，我们介绍了GSC中“网页未被编入索引的原因列表”中索引相关的问题及解决方法。事实上，我们都清楚，搜索引擎的工作流程并不是从索引开始的，而是从抓取网页及相关内容开始的。 本文主要介绍GoogleBot的抓取，及抓取预算等相关概念，以及掌握这些技能对我们网站SEO的好处。让我们开始吧！ 什么是Googlebot，以及Googlebot是如何抓取网页的？ Googlebot是Google用于爬取浩瀚网络中各个网页的一种程序，也叫网络爬虫。事实上，从1993年搜索引擎第一次使用网络爬虫到现在已经走过32年历程。在这30多年中，各大搜索引擎轮番进入大众视野，搜索引擎的运行机制也更加完善，但基本的工作原理却没有大的变化，主要是抓取，索引和排名。 我们所创建的页面对于Google来说是陌生的，它并不知道这些页面的存在，除非Googlebot抓取了我们的URL。Google会根据我们页面的内容、图片、视频等识别URL是新页面，还是已知页面。Google也会从页面上的URL去爬取另一个页面。但是，这样的爬取操作并不是无尽的。   网络爬虫使用算法来确定要抓取的网站、抓取频率以及要从每个网站抓取的网页数量，而Googlebot在我们网站上抓取的最大网页数和时间就叫抓取预算（Crawl Budget）。它由抓取需求（即搜索引擎希望在我们的网站上抓取多少页面）和抓取速率（即它们可以抓取的速度）组成。 懂得搜索引擎工作原理是作为一名SEO的入门课程，这里我们就不详细介绍了。想深入学习的朋友可以阅读这篇文章：In-depth guide to how Google Search works。 这里需要提一下，越多的抓取并不意味着我们排名就越好，但是如果我们的页面不被抓取，就很难索引和排名了。 我们的网站是否需要关注抓取预算？   并不是所有网站都需要关注抓取预算，如果我们是以下类型的网站，那么，我们就需要关注网站的抓取预算了： 如果我们的网站是以上情况之一、或者若干，如果你有很多页面没有按照你想要的频率被抓取或更新，那么你可能想考虑加快抓取速度。我们先看看如何查看网站的抓取预算。 如何查看自己网站的抓取预算？   GSC的“设置”->“抓取统计信息”里向我们提供了Google的抓取报告。如下图     这个报告向我们展示了过去两个月Googlebot的抓取情况，包括响应情况、文件类型、目的和Googlebot类型，点击可以查看相关链接。当然，如果你想查看更长时间和更多内容，可以通过工具访问日志文件。 Google如何为网站分配抓取预算？   抓取预算本质上是 Google 愿意花费在抓取你的网站上的时间和资源，每个网站都有不同的抓取预算。 抓取预算 = 抓取需求 + 抓取速率 尽管如此，我们还是可以有针对性地进行抓取预算优化。 如何优化抓取预算？   1、统筹整站页面情况，筛选网站中所有高价值页面。高价值页面是需要参与排名转化的页面。我们要做的是让这些高价值页面快速抓取索引、并优化排名。 2、优化外链结构。Google抓取的页面数量大致与网站权重成正比。我们网站的外链越多，越容易被抓取。 3、优化服务器性能和网站性能。  服务器响应时间和页面加载速度直接影响抓取。服务器和网站性能优化主要包括： 另外   这里需要提一下，谷歌的抓取速率设置工具已经在年初停用。 如果我们遇到Googlebot大量抓取页面导致服务器返回5xx错误，自己又无法通过技术解决此类问题，可以向Google提交特殊请求。 文中所述链接如下： Large site owner’s guide to managing your crawl budget What Crawl Budget […]

上一篇文章(Google SEO:实体及实体SEO详解指南)我们了解了实体在谷歌SEO中的重要作用，那么，什么是知识图谱？它又如何影响我们的SEO呢？ 知识图谱并不是一个新鲜的概念，早在1972年就已提出。随着科技的发展，尤其是数据科学和机器学习的进步，知识图谱在搜索引擎中的应用越来越广泛。今天，我们主要来聊聊Google的知识图谱，以及如何让我们的网站更好地融入其中，从而提升搜索排名。文章较长，可先收藏后阅读。让我们开始吧！ 什么是Google知识图谱?  Google知识图谱是一个语义知识库，它通过将实体(如，人物、地点等)及其关系建模为图数据，增强了Google搜索引擎对自然语言的理解能力。知识图谱使得搜索结果不再局限于简单的网页链接，而是能够提供更加丰富、结构化的信息，如知识面板、主题层等。而Google知识图谱里的数据信息主要来源于维基百科等各种来源。    上图是来源于Ahrefs的一张Google知识图谱解释图，知识图谱像一张巨大的网，实体是网上的节点，关系是连接节点的线。像这样存储真实世界的数据有助于Google理解搜索查询背后的含义，能够为搜索用户提供更相关的结果。 为什么SEO需要关注知识图谱  提高知名度和权威性   你有没有发现，当你搜索一个明星的名字时，谷歌会直接告诉你他的生日、出生地，甚至还有他的最新电影？这就是知识图谱在起作用。它就像一个超级聪明的助手，能快速找到问题的答案，直接呈现在你面前。谷歌以知识面板的形式显示更多与特定查询相关的信息，这反过来可以提高你网站的知名度和权威性。    增加网站流量  作为提高知名度的好处，你的网站可能会获得更多的自然访问量。此外，具有相关内容但未进入第一页排名的网站也有机会获得更多流量。 帮助Google理解网站  进入知识图谱的另一个好处是，谷歌可以更深入地理解你的页面，包括其内容和与其他实体的联系，并通过搜索结果更好地定位用户意图。 知识图谱在SERP中的展示  为了提升用户搜索体验，Google知识图谱在搜索结果页面提供了多种呈现方式，如知识面板、主题层等，让用户可以更直观地获取信息，了解不同展示类型能够帮助我们更好的优化企业线上品牌形象。 实体面板（Entity Panel）    当你在Google搜索某个实体，比如人名、地名等时，它会显示在搜索SERP的右侧，实体面板就像是一张名片。如下图， 品牌面板（Brand Panel）  品牌面板类似于实体面板，但专门针对品牌，是一个公司的形象展示窗口。当你搜索品牌时，会出现一个面板，其中包含品牌的logo、简介、官方网站、社交媒体资料等信息。如下图， 主题层（Topic Layer）  作为知识图谱的增强功能，主题层了解主题的深度和广度，并且可以随着用户深入了解特定主题而呈现更多相关内容。如下图， 本地面板（Local Panel）   显示已经注册Google My Business的商家信息。 知识面板如何展示在移动端？  值得一提的是，随着移动端流量日益健壮，谷歌从移动优先索引到不收录无移动端自适应的PC网页。为了更好地适应移动端屏幕，谷歌对搜索结果页面的布局进行了优化。原本在PC端完整的知识面板，在移动端可能会被拆分成多个部分，分散在搜索结果页面的各个位置。如下图所示： 如何优化网站进入知识图谱   对于企业网站，我们可以通过一系列步骤进入到知识图谱，从而展示在搜索用户的SERP中。 声明你的知识面板    Google提供了企业主自主声明自己品牌的入口，你可以将最新信息更新到你的知识面板，当然，前提是你的企业已经在搜索结果页面中显示了关于你的知识面板，此时你需要点击面板底部的 Claim this knowledge panel，然后进行验证。此链接是Google验证帮助。如果有不正确的信息也可以请求删除。 注册Google my business   如果你的企业有实体店面，可以注册Google商家。增加出现在Google知识面板上的机会。 获取Wikipedia页面  前面我们提到，Google 知识图谱的数据主要来源于维基百科等权威网站。因此，创建一个维基百科页面 或 从维基百科获取外链 是提升品牌在知识图谱中的曝光度的有效途径。 除了维基百科，Crunchbase、LinkedIn、CBinsights、Yahoo 等平台也是构建企业或个人形象的重要渠道。这些平台上的信息同样会被谷歌知识图谱收录。

2005年，一家位于旧金山，名叫Metaweb的公司开发了一款特殊的数据库，名字叫Freebase，该公司于2010年被Google收购，并于2016年彻底关闭。 虽然这家公司短短存在五年多，也并未真正作为商业产品在市场中盈利，但其研发的Freebase，帮助Google从基于关键词的搜索引擎逐步转变为基于实体的搜索引擎。 传统SEO与现代SEO   由于Google搜索性质的转变，SEO的工作方向也产生了很大变化，导致了现代SEO与传统SEO有很大的差别，传统SEO侧重于针对特定关键词和用户意图进行内容优化，而现代SEO，通常以实体为中心，考虑实体之间的关系和背景，搜索引擎基于对实体的理解，提供更相关更有意义的搜索结果。现代SEO的最大好处是，你能够更多的关注整站内容，而不是某个关键词。那么到底什么是实体SEO呢？ 实体SEO（Entity SEO）   Google将实体定义为“单一、独特、定义明确和可区分的事物或概念”,可以链接到知识图谱。实体可以是特定的人、地点、事物或者概念，它们是唯一可识别的，并具有独特的特征和关系。我们都知道，关键词是特定语言的字母组合。不同于关键词，实体是有意义的，并且可以独立于语言之外。更准确的说，Google SEO中，实体涉及任何可以链接到搜索引擎知识图谱的主题，比如Google知识图谱。    常见的实体包括： 假如，你在Google搜索“trump”，如下图，Google就会向你返回这样一个板块，这类型的板块就是我们之前文章提到的富媒体板块。但这里的“trump”算一个实体嘛？ 答案：“trump”并不是一个实体，事实上，它是实体“Donald trump”的同义词。而“Donald trump”属于我们前面提到的名人实体分类里。 事实上，维基百科是Google知识图谱的主要可信种子集。为简单起见，我们一般可以将维基百科文章页面的主题称为实体（消除歧义或类别页面除外）。 注意，有一些类型的实体虽然并没有维基百科页面，但是可以链接到其他的知识图谱（比如LinkedIn等），例如，你的创新产品，你的品牌等，这些实体的优化对你品牌声量的提升很有帮助。 实体SEO（Entity-based SEO，Entity SEO），也称为实体优化或以实体为中心的SEO，是一种SEO方法，侧重于围绕实体来优化网站内容，而不仅仅是关键词。为了优化网站页面，我们应该关注使用哪些底层实体能够帮助Google更加理解你的页面内容。 使用实体对SEO有什么好处？  Google如何使用实体？  有多款Google服务使用了实体： 谷歌知识图谱  Google 知识图谱是一个包含有关人物、地点、想法等信息的庞大数据库。这些实体并不是孤立的。Google 记录了不同实体之间的联系。例如前文中你搜索“trump”，Google就会知道你在搜索“Donald trump”,并展示相关的实体。 Google 使用知识图谱来理解搜索查询并提供准确的搜索引擎结果。 Google Suggest  当你在Google搜索框中输入内容时，Google会显示一些搜索建议，这些建议通常来自Google对实体的理解。     这些自动生成的搜索建议不仅能够预测文字，还能够预测意图。Google 利用其对实体及其之间关系的了解来提供搜索建议。 Google Trends  Google 趋势上使用的按“主题”搜索，即按实体搜索，里边的相关主题即相关实体。 Google Search  Google搜索多个算法中提到实体，包括Google Hummingbird，Google Rankbrain，Google BERT等，这些算法的更新使得Google能够对用户的搜索提供更个性化的搜索结果。 如何针对你的网站进行实体SEO优化  1、建立品牌实体   通过为内部知识图谱创建实体来开始构建您的品牌实体，构建相关的内部链接结构，将内容连接到高EEAT的知识图谱，如Wikipedia，LinkedIn等高权重网站。在相关的企业目录中展示你的业务，并创建高权重外链。 2、做好网站结构化数据标记和语义HTML   结构化数据是向搜索引擎提供有关网页信息的标准化方式。就本身而言，结构标记不会创建实体。但是它可以帮助我们将网页对象定义为不同的实体，这些实体具有自己的属性以及与其他实体的关系。一旦定义了这些实体，您就可以将它们链接到搜索引擎的知识图谱。 语义 HTML 为代码增加了意义，因此机器可以识别导航块、标题、页脚、表格或视频。     3、内容策略和实体基础保持一致   使你的内容策略与你的实体基础保持一致是新网站必不可少的页面SEO策略，它对于捕捉全方位的搜索机会至关重要。这个过程包括在关键词研究和用户意图分析的指导下，调整你的网站内容，来包含更广泛的实体和页面类型。

熟悉搜索引擎工作原理的都知道，索引页面是排名的必要条件，你的页面只有被搜索引擎索引以后，才有可能进一步参与排名。在搜索引擎索引的过程中会遇到很多问题，本篇文章将以Google为例，介绍搜索引擎索引的相关问题及解决方法。文章较长，建议收藏一下。 背景   本文主要是基于已经添加GSC验证的网站的“编制索引”板块的相关索引问题进行展开。 如上图，在我们查看GSC的“网页”板块时，会发现很多网页未被编入索引的原因，这些原因以表格的形式展示，当你点击某个原因时，会跳转到相关问题url列表。 我们首先要说一下，这里只是列出了我们页面未被索引的原因，并不是说我们要处理列表里的所有原因，例如： 1，已经处理过，但是Google还没来得及再次索引的页面； 2，根据网站或者公司发展，经过技术特意排除索引的页面； 3，由于安装某些插件而产生的Noindex页面，而这些页面是否index不是基于设置，而是基于其他原因的； 以上这些问题实际上已经不是技术SEO所涉及的范畴，我们需要做的只能是按部就班的工作以及等待。 此外，原因列表里的“来源”字段标记了产生问题的来源，作为技术，我们主要需要解决的是“网站”来源导致的noindex问题。 下面我们开始一个个讲解各个问题及解决方法，如果大家想找特定问题的解决方法，可以快速滑到相关问题。 被“noindex”标记排除了   如果你的“网页未被索引的原因”类别里有这个条目，那么谷歌会给你提供一个帮助文档指导你如何操作。如下图，点击“了解详情”可以查看谷歌帮助文档。 另外，GSC为每个url提供了测试的入口，以及不被编入索引的原因。你可以在位于GSC上方的网址检查里直接输入网址进行查看，如下图， 也可以点击示例列表里的单个url，点击“检查网址”就会出现如下图结果， 一旦你确定了问题原因并付诸解决，就可以点击“验证修正情况”进行验证。 事实上，出现noindex标记的原因有很多，谷歌帮助文档里只是指导我们找到了页面的noindex标记，但需要我们进一步去查验具体原因。包括： 1，公司出于某种特定原因故意noindex掉的，这种是不需要我们处理的； 2，由于插件的使用不当而产生的，这里就需要你去寻踪，看到底是哪里设置的问题； 3，Robots.txt的错误配置使得页面被noindex掉，检查robots.txt页面进行修正； 4，JS实施不当，检查JS文件     未找到 (404)   404页面通常是由于之前的页面被删除而产生的，但也可能是你建站时存在的url设置或者拼写错误，还有可能是用户在访问时产生的错误url导致的。如下图，我们可以去谷歌文档查看原因。 解决方法： 1，对于删除页面而产生的404页面，需要我们去查找一下是否有来到这个页面的内链和外链，如果有的话，可以修改这些链接到新页面，或者将404页面做301跳转； 2，如果是url设置或者拼写错误的原因，需要找到具体的页面，进行修改； 3，对于用户访问时产生的404页面，建议在建站时尽量制作一个用户友好的页面，使这些用户可以去到想去的页面，而不是流失掉。 服务器错误 (5xx)   HTTP 500错误很多时候是服务器有问题，而不是网站、网络等有问题，这种情况下，你需要和服务商联系询问某个时段的网络情况。 如何确定这个时段呢？ 你可以点击url列表里的某个url，进行“检查网址”查看上次抓取时间，如下图，   你需要询问谷歌抓取时间的前后几分钟是否出现过服务器问题。另外，并不是所有500错误页面都是由于服务器问题产生的，以下几个原因也可能网页导致500错误： 1，.htaccess文件损坏或者某些特定配置也会导致网页访问发生500错误； 2，权限问题，有可能网站管理员设置了页面访问权限，你被排除在外； 3，PHP响应超时，数据库无法正常连接，导致500错误页面产生； 4，如果你使用的是Wordpress这类的CMS系统，也可能是你的主题或者插件出了问题，可以尝试更换升级主题或者停用插件来解决这个问题； 5，网站流量高并发，流量高峰期服务器无法即时响应也会导致500错误，这时就需要你考虑扩容升级服务器，或者更换服务器了。     网页会自动重定向和备用网页（有适当的规范标记）   “网页会自动重定向”和“备用网页”这两个导致未被索引的原因我归到了一类中，是因为如果是这两种原因导致的不被索引，你只需要查看是否有声明规范网址，如果谷歌给你的结果是已经有规范网址。并且“检查”已经收录规范网址，那么这里就不需要对网站本身进行修改了。 比如我这里的url有规范网址，并且“检查”显示已经编入索引，那么就可以了。 另外， 要记得定期检查是否有重复页面，如果存在重复页面，一定要做好规范化，以防时间太久，出现太多相似页面导致关键词蚕食以及无法做好权重分配和集中。 这里需要说一下备用网页和重复网页的区别： 如果谷歌发现同一个网站上有多个网址显示的内容基本相同，就会将这些网址视为重复内容，比如一些toC站通过不同的筛选方式会出现相同结果列表的页面，这些页面就属于重复页面。对于这些重复页面，你需要设置规范网址，非规范网址一般不会参与排名，除非这个非规范页面是备用页面。 当谷歌发现某个页面适配特定设备（比如手机等移动设备）时，或者被标记为同一网页的其他语言版本的类似网址时，可能会将这些网址标记为针对相应设备类型或语言的备用网址。系统会根据用户使用的语言或设备视情况提供备用网址。当然，备用网址也可以进行标记。备用网址是重复网址的一部分。 软404   不同于404页面直接返回404状态码，软404虽然向用户返回的页面显示是“不存在”，但是返回的状态码是200状态码，这种情况下，软404页面实际上向用户展示的是一个空页面。之前有转载过SEOTEA的一篇软404文章，介绍比较全面，不懂的可以点击这里查看。导致Google索引结果显示软404的原因有很多，包括 虽然页面返回的是200状态码，但这类型页面实际上单薄而无物，是我们需要修正的页面。

ToB行业如何进行客户研究一直是个难题。不同于ToC行业，ToB行业的订单多面向企业以及企业决策者，在做客户研究时，我们不能单纯的去研究企业，而忽略了企业中的决策者在决策过程中起着举足轻重的重要性；也不能只研究决策者，而忽视了企业才是我们的客户群。 那么ToB行业的客户研究到底该如何进行呢？ 本文我们将引入一个概念–Ideal Client Profile，即理想客户档案，简称ICP。建立ICP能够帮助ToB企业更好地进行差异化定位、推广和转化，建立强大的品牌形象。文章较长，建议先收藏，记得返回阅读！ 本文的主要目录包括： 让我们开始吧！ 什么是 ICP?   ICP是Ideal Client Profile的简称，即理想客户档案，是对企业理想客户的特征、行为和偏好的详细文档，帮助ToB企业识别和定位和转化高价值客户。ICP包括一系列以销售为导向的客户数据和信息。建立和迭代ICP有助于企业更好地了解客户，从而更有效的定位、推广和转化。此外，ICP的数据是我们根据最佳客户列表整理统计的数据，是虚拟数据，并不是某个特定客户的数据。     不同于以往的捕鱼般的营销方式，B2B行业更适合ABM(Account-based marketing的简称)策略。从服务的众多企业中寻找获益最大的企业，创建ICP定位最佳客户，通过ICP的特征、行为和偏好去定制你网站的页面和内容，从而更深入的与目标客户产品共鸣，最终转化业务订单和实现品牌强健。   创建ICP的优势   ICP可以是销售团队用于研究目标客户的工具，还可以是推动SEO转化的利刃。创建ICP有利于： 1.加快业务销售周期 一旦业务对目标客户足够了解，他们在与客户沟通时会更加的有的放矢，而这样的了解需要我们提前建立好ICP。好的ICP可以让业务们更加从容不迫、掌握订单的成交时间，也可以即时丢弃不合格的客户。有利于加快整个销售周期。 2.更好的GTM 在我们目标客户定位不清的情况下，那些发出去的冷启动邮件、无关的冷启动电话和昂贵的营销费用都让我们离订单越来越远。而我们充分研究的详尽的ICP能够提前定位目标客户，从而减少后续无关时间和财力的投入。 3.更好的个性化营销 一旦你深入研究你的ICP，你对理想市场的特征、动机、痛点等内容会有深刻的体会，这些体会和认识会给客户带来更加个性化好的购买体验。相关的活动、内容和对话大大有助于我们和潜在客户建立深入的关系，也有助于更积极的品牌形象的建立。 4.公司内部目标和行动更明确    统一明确的ICP目标将提高营销、销售、产品和客服各个部门的运营效率。同类型的客户让我们的服务和定价更专注。而原本的人员构建也可以变得更加专精化。 5.有助于ABM营销策略实施 当我们确切的了解了理想客户的痛点，挑战和目标以后，我们提供的个性化客户体验能够解决ABM营销中的最大挑战。 6.更统一的营销渠道 不同的客户可能需要我们尝试不同的社媒平台，不同的播客，不同的展会等，但一旦你确定了ICP，你的营销渠道会更集中在某些平台。将原本播撒于多平台的时间和财力聚焦于这些少量平台，会更快更多的获得结果和转化。 你可以围绕潜在客户制定策略，而不是要求潜在客户满足你的销售和营销流程。一旦你知道你的理想客户群是谁，销售和营销就可以同步他们的策略，以确保这些潜在客户收到更专业的内容和沟通信息。 7.更简单的上下游服务商 一旦你确定了理想客户档案，你的上下游服务商将变得更简单，更容易合作。 8.有利于SEO和关键词研究 结合意图和行为数据，可以将你的理想客户正在搜索的特定关键词和短语整合到发布的内容中。 如何创建ICP   这一步我们主要整理理想客户的基本信息，包括：     创建ICP并不复杂，主要有以下几个步骤： 步骤1 列出你最好的客户。并进行客户分析 你的ICP是你的最佳客户，在创建你的ICP之前，你需要先列一份当前优秀客户名单，这些客户是你未来想要合作的对象。分析这个名单里的客户为什么是你的理想客户，为什么购买你的产品，为什么多次下单等，通过这些问题了解客户的主要痛点等信息。你可以去访谈客户、从公司数据库获取信息、查看竞争对手评论等获取信息。 步骤2 用excel列出你觉得应该注意的理想客户属性列表 以你现在对这些客户的了解，以及你希望理想客户资料的样子，可以大概确定理想客户的某些属性特点，将这些属性列表记录到excel中。这些属性包括但不限于：企业收入、企业规模、行业、地理位置、部门架构、业务增长情况。 步骤3 确定客户的痛点和挑战 可以直接和客户沟通，确定他们的痛点和期望。 步骤4 你的独特销售主张 简单介绍你产品或者服务的独特销售主张，这些主张不同于竞争对手，是客户选择你的原因。 步骤6 记录你的ICP 最后将所有的数据和信息汇总在一起，创建正式的ICP文档。 步骤7

什么是索引膨胀(Index Bloat)？  索引膨胀(Index Bloat)是指你的网站上有大量低质量页面，这些页面会占用Google的抓取预算，且对潜在用户来说没有任何价值，也就是说，当Google将你网站上不应该被索引的页面收录时，就会发生索引膨胀。 索引膨胀会产生哪些负面SEO影响？   索引膨胀对SEO及网站用户有很大的负面影响，除了减慢网站速度外，索引膨胀也会产生很多SEO问题。 浪费抓取预算   索引膨胀使得搜索机器人浪费有限的抓取预算，占用你想要排名页面的时间和资源，抓取预算使用效率低。 排名更加困难   搜索机器人需要了解你的网站，将内容和用户搜索意图进行匹配，并进行有效排名，没有明确，合乎逻辑目的的页面会使Google更难理解和检索信息。 排名下降   相似或者重复内容页面存在重叠的关键词定位，导致相互竞争，另外，低质内容无法获得排名，这可能影响你网站的整体权威性。导致排名下降。 如何识别索引膨胀？   识别你的网站是否存在索引膨胀的唯一方法是评估你网站的索引页面总数。 评估网站收录页面数量的方法有很多种，包括： 1.使用谷歌高级搜索命令“site:https://yourdomain.com”，查看搜索结果数 2.使用Google Search Console (GSC) ，查看编制索引>网页数 3.使用例如Screaming Frog这样的爬网工具，这些工具会香搜索引擎一样抓取你的网站，并提供详细的索引报告。 作为SEO或者说网站负责人，你应该知道你的网站收录的大概数量，如果GSC显示的数量比你预估的大很多，那么说明你的网站可能存在索引膨胀的问题。 此时，你需要深入研究网站报告，Screaming Frog这样的爬网工具可以精确的为你提供导致索引膨胀的页面。 常见导致索引膨胀的原因   索引膨胀是一些大型网站，例如电商站，旅游站等比较常见的SEO问题，但并不是说小站不存在这个问题。事实上，有很多导致网站索引膨胀的原因，包括但不限于以下几种： 整理索引页面列表   通过sitemap、GSC、GA4等工具查找和整理你的所有索引页面，合并，排重以及删除带有参数的网址，整理一个最终网址索引列表。 使用Screaming Frog将其与GA,GSC等可以统计页面效果的工具链接，通过流量、点击、外链等数据来分析你的网站，判断哪些网址效果不好，会导致索引膨胀。 如何修复索引膨胀？   当你一旦确定了导致索引膨胀的原因，并基本确定了相关页面，下一步，我们该考虑如何修复索引问题。     删除内部链接   查看你网站的内部链接结构，确定低质量、冗余或不再需要的页面。删除指向此类页面的内部链接，阻止搜索引擎机器人抓取和索引它们。确保重要页面获得更多的内部链接，以加强索引和排名。在指向你希望命令搜索引擎不要进行索引的页面的链接上使用“nofollow”标签。 更新或者修正robots.txt   检查你网站的robots.txt文件，确保配置正确，排除不相关或重复的页面。更新文件并包含不应编入索引的目录或页面。使用Google Search Console的robots.txt测试器测试robots.txt文件验证有效性。 使用Meta Robots标签和X Robots   利用元机器人标签或 X-Robots-Tag HTTP 标头来指示搜索引擎不要索引特定页面。在搜索引擎不应索引的特定页面上使用“noindex”标签。使用“noarchive”可防止搜索引擎显示页面的缓存版本。 使用代码指定抓取工具不应为这些网页编制索引，但可以跟踪这些网页上的链接。这样可以确保Google可以通过这些链接将其他网页编入索引，但不能将网页本身编入索引。     301重定向   如果你的网站有多个内容相同或者相似的望着我，可以使用301重定向到该页面的首选规范页面。这样可以保留反向链接价值并最大限度地减少错误。如果不再需要内容或与网站现有页面无关，可以使用 HTTP状态代码410。404也可以，但410可以更快地将网站从搜索引擎的索引中剔除。 使用Canonical标签   使用rel=”canonical” 告知Google重复页面的首选规范版本。 使用Noindex标签