Sine Xing

当安装了GSC跟踪代码一段时间以后，你会发现你的品牌独立站后台出现一些索引问题，那么该如何解决这些问题呢？ 熟悉搜索引擎工作原理的都知道，索引页面是排名的必要条件，你的页面只有被搜索引擎索引以后，才有可能进一步参与排名。在搜索引擎索引的过程中会遇到很多问题，本篇文章将以Google为例，介绍搜索引擎索引的相关问题及解决方法。文章较长，建议收藏一下。 背景   本文主要是基于已经添加GSC验证的网站的“编制索引”板块的相关索引问题进行展开。 如上图，在我们查看GSC的“网页”板块时，会发现很多网页未被编入索引的原因，这些原因以表格的形式展示，当你点击某个原因时，会跳转到相关问题url列表。 我们首先要说一下，这里只是列出了我们页面未被索引的原因，并不是说我们要处理列表里的所有原因，例如： 1，已经处理过，但是Google还没来得及再次索引的页面； 2，根据网站或者公司发展，经过技术特意排除索引的页面； 3，由于安装某些插件而产生的Noindex页面，而这些页面是否index不是基于设置，而是基于其他原因的； 以上这些问题实际上已经不是技术SEO所涉及的范畴，我们需要做的只能是按部就班的工作以及等待。 此外，原因列表里的“来源”字段标记了产生问题的来源，作为技术，我们主要需要解决的是“网站”来源导致的noindex问题。 下面我们开始一个个讲解各个问题及解决方法，如果大家想找特定问题的解决方法，可以快速滑到相关问题。 被“noindex”标记排除了   如果你的“网页未被索引的原因”类别里有这个条目，那么谷歌会给你提供一个帮助文档指导你如何操作。如下图，点击“了解详情”可以查看谷歌帮助文档。 另外，GSC为每个url提供了测试的入口，以及不被编入索引的原因。你可以在位于GSC上方的网址检查里直接输入网址进行查看，如下图， 也可以点击示例列表里的单个url，点击“检查网址”就会出现如下图结果， 一旦你确定了问题原因并付诸解决，就可以点击“验证修正情况”进行验证。 事实上，出现noindex标记的原因有很多，谷歌帮助文档里只是指导我们找到了页面的noindex标记，但需要我们进一步去查验具体原因。包括： 1，公司出于某种特定原因故意noindex掉的，这种是不需要我们处理的； 2，由于插件的使用不当而产生的，这里就需要你去寻踪，看到底是哪里设置的问题； 3，Robots.txt的错误配置使得页面被noindex掉，检查robots.txt页面进行修正； 4，JS实施不当，检查JS文件  阅读更多：如何查看和优化抓取预算？ 未找到 (404)   404页面通常是由于之前的页面被删除而产生的，但也可能是你建站时存在的url设置或者拼写错误，还有可能是用户在访问时产生的错误url导致的。如下图，我们可以去谷歌文档查看原因。 解决方法： 1，对于删除页面而产生的404页面，需要我们去查找一下是否有来到这个页面的内链和外链，如果有的话，可以修改这些链接到新页面，或者将404页面做301跳转； 2，如果是url设置或者拼写错误的原因，需要找到具体的页面，进行修改； 3，对于用户访问时产生的404页面，建议在建站时尽量制作一个用户友好的页面，使这些用户可以去到想去的页面，而不是流失掉。 服务器错误 (5xx)   HTTP 500错误很多时候是服务器有问题，而不是网站、网络等有问题，这种情况下，你需要和服务商联系询问某个时段的网络情况。 如何确定这个时段呢？ 你可以点击url列表里的某个url，进行“检查网址”查看上次抓取时间，如下图，   你需要询问谷歌抓取时间的前后几分钟是否出现过服务器问题。另外，并不是所有500错误页面都是由于服务器问题产生的，以下几个原因也可能网页导致500错误： 1，.htaccess文件损坏或者某些特定配置也会导致网页访问发生500错误； 2，权限问题，有可能网站管理员设置了页面访问权限，你被排除在外； 3，PHP响应超时，数据库无法正常连接，导致500错误页面产生； 4，如果你使用的是Wordpress这类的CMS系统，也可能是你的主题或者插件出了问题，可以尝试更换升级主题或者停用插件来解决这个问题； 5，网站流量高并发，流量高峰期服务器无法即时响应也会导致500错误，这时就需要你考虑扩容升级服务器，或者更换服务器了。     网页会自动重定向和备用网页（有适当的规范标记）   “网页会自动重定向”和“备用网页”这两个导致未被索引的原因我归到了一类中，是因为如果是这两种原因导致的不被索引，你只需要查看是否有声明规范网址，如果谷歌给你的结果是已经有规范网址。并且“检查”已经收录规范网址，那么这里就不需要对网站本身进行修改了。 比如我这里的url有规范网址，并且“检查”显示已经编入索引，那么就可以了。 另外， 要记得定期检查是否有重复页面，如果存在重复页面，一定要做好规范化，以防时间太久，出现太多相似页面导致关键词蚕食以及无法做好权重分配和集中。 这里需要说一下备用网页和重复网页的区别： 如果谷歌发现同一个网站上有多个网址显示的内容基本相同，就会将这些网址视为重复内容，比如一些DTC电商站通过不同的筛选方式会出现相同结果列表的页面，这些页面就属于重复页面。对于这些重复页面，你需要设置规范网址，非规范网址一般不会参与排名，除非这个非规范页面是备用页面。 当谷歌发现某个页面适配特定设备（比如手机等移动设备）时，或者被标记为同一网页的其他语言版本的类似网址时，可能会将这些网址标记为针对相应设备类型或语言的备用网址。系统会根据用户使用的语言或设备视情况提供备用网址。当然，备用网址也可以进行标记。备用网址是重复网址的一部分。 阅读更多：如何处理网站上的重复内容？规范化！ 软404 […]

你是否突然发现自己的电商品牌站有大量低质内容却无计可施？可能是索引膨胀了。 什么是索引膨胀(Index Bloat)？  索引膨胀(Index Bloat)是指你的网站上有大量低质量页面，这些页面会占用Google的抓取预算，且对潜在用户来说没有任何价值，也就是说，当Google将你网站上不应该被索引的页面收录时，就会发生索引膨胀。 索引膨胀会产生哪些负面SEO影响？   索引膨胀对SEO及网站用户有很大的负面影响，除了减慢网站速度外，索引膨胀也会产生很多SEO问题。 浪费抓取预算   索引膨胀使得搜索机器人浪费有限的抓取预算，占用你想要排名页面的时间和资源，抓取预算使用效率低。 阅读更多：如何查看和优化抓取预算？ 排名更加困难   搜索机器人需要了解你的网站，将内容和用户搜索意图进行匹配，并进行有效排名，没有明确，合乎逻辑目的的页面会使Google更难理解和检索信息。 排名下降   相似或者重复内容页面存在重叠的关键词定位，导致相互竞争，另外，低质内容无法获得排名，这可能影响你网站的整体权威性。导致排名下降。 如何识别索引膨胀？   识别你的网站是否存在索引膨胀的唯一方法是评估你网站的索引页面总数。 评估网站收录页面数量的方法有很多种，包括： 1.使用谷歌高级搜索命令“site:https://yourdomain.com”，查看搜索结果数 2.使用Google Search Console (GSC) ，查看编制索引>网页数 3.使用例如Screaming Frog这样的爬网工具，这些工具会香搜索引擎一样抓取你的网站，并提供详细的索引报告。 作为SEO或者说网站负责人，你应该知道你的网站收录的大概数量，如果GSC显示的数量比你预估的大很多，那么说明你的网站可能存在索引膨胀的问题。 此时，你需要深入研究网站报告，Screaming Frog这样的爬网工具可以精确的为你提供导致索引膨胀的页面。 常见导致索引膨胀的原因   索引膨胀是一些大型网站，例如电商站，旅游站等比较常见的SEO问题，但并不是说小站不存在这个问题。事实上，有很多导致网站索引膨胀的原因，包括但不限于以下几种： 整理索引页面列表   通过sitemap、GSC、GA4等工具查找和整理你的所有索引页面，合并，排重以及删除带有参数的网址，整理一个最终网址索引列表。 使用Screaming Frog将其与GA,GSC等可以统计页面效果的工具链接，通过流量、点击、外链等数据来分析你的网站，判断哪些网址效果不好，会导致索引膨胀。 如何修复索引膨胀？   当你一旦确定了导致索引膨胀的原因，并基本确定了相关页面，下一步，我们该考虑如何修复索引问题。     删除内部链接   查看你网站的内部链接结构，确定低质量、冗余或不再需要的页面。删除指向此类页面的内部链接，阻止搜索引擎机器人抓取和索引它们。确保重要页面获得更多的内部链接，以加强索引和排名。在指向你希望命令搜索引擎不要进行索引的页面的链接上使用“nofollow”标签。 更新或者修正robots.txt   检查你网站的robots.txt文件，确保配置正确，排除不相关或重复的页面。更新文件并包含不应编入索引的目录或页面。使用Google Search Console的robots.txt测试器测试robots.txt文件验证有效性。 使用Meta Robots标签和X Robots   利用元机器人标签或 X-Robots-Tag HTTP 标头来指示搜索引擎不要索引特定页面。在搜索引擎不应索引的特定页面上使用“noindex”标签。使用“noarchive”可防止搜索引擎显示页面的缓存版本。 使用代码指定抓取工具不应为这些网页编制索引，但可以跟踪这些网页上的链接。这样可以确保Google可以通过这些链接将其他网页编入索引，但不能将网页本身编入索引。     301重定向   如果你的网站有多个内容相同或者相似的望着我，可以使用301重定向到该页面的首选规范页面。这样可以保留反向链接价值并最大限度地减少错误。如果不再需要内容或与网站现有页面无关，可以使用 HTTP状态代码410。404也可以，但410可以更快地将网站从搜索引擎的索引中剔除。 使用Canonical标签