Blog

在建设各种品牌站时，不管是B2B外贸站，还是DTC品牌站，我们都被要求用静态化URL，我们都知道这样有利于搜索引擎蜘蛛抓取，那么所有URL都能静态化吗？ 虽然SEO优化建议我们将URL静态化，但是不可避免的，我们会在很多网站上看到动态链接，这种动态链接经常是SEO的噩梦，糟糕的URL参数可能给你的网站带来灾难性的后果。 在本指南中，我们将详细了解URL参数以及如何对我们网站上的动态URL进行审查和管理。 什么是URL参数？ 不同于静态URL, 动态链接会在静态URL后加一个“?”表示参数的开始，后边添加若干参数，每一个参数由一个键值对（key-value pair）组成，每一个键值对用“=”连接，多个参数用“&”连接。 如上图所示， 如果你不太懂，可以在平时浏览网页时多关注一下URL。  常见URL参数有哪些?   在我们的工作中，经常会遇到各种类型的URL参数，不同的参数有着不同的功能。包括： 活动参数：会以某种方式修改页面的内容 1.搜索：将查询字符串传递到页面。比如，?query=sine、?q=sine、?search=drop-down-option 2.翻译：将所选语言传递给页面。比如，?lang=de、?language=fr 3.分页：加载特定的编号页面或项目范围。比如，?page=2、?p=2、viewItems=10-30 4.标识码：特定商品或分类。比如， ?product=small-purple-widget、categoryid=124、itemid=24AU 5.筛选：按颜色、日期范围、价格范围或尺寸等。比如，?type=widget、colour=blue、price-range=10-50、?category=shoes 6.排序：按日期、按价格、按相关性等。比如， ?sort=lowest-price、 ?order=highest-rated、 ?so=latest 被动参数：通常用于追踪，不会修改页面内容 1.Affiliate IDs：传递用于跟踪销售和注册来源的标识符。  如，?id=ahrefs 2.广告标签：追踪广告活动。如，?utm_source=newsletter 3.会话ID：标记特定用户。如，?sessionid=12345   4.视频时间戳：跳转到视频中指定的时间戳。  如，?t=95 5.跟踪和分析收集有关用户行为和 Web 流量来源的数据 如，?source=facebook 其中很多操作会显著改变页面内容，比如翻译。但很多URL参数的改变返回的却是相同和相似的内容。这也导致了很多的SEO问题。   URL参数导致的SEO问题有哪些？   1.参数导致重复内容，浪费抓取预算 当网址参数提供相同的内容但略有不同（例如，排序选项、分页或过滤）时，搜索引擎可能会将每个包含参数的网址视为一个单独的网页。可能会导致内容重复问题，稀释页面的排名潜力。 2.参数降低搜索引擎爬虫抓取效率 抓取冗余参数网页会分散Googlebot的注意力，从而降低你的网站将SEO相关网页编入索引的能力，并增加服务器负载。 3.参数稀释排名信号 如果你对同一页面内容有多种参数化URL，则链接和社交分享可能会出现在不同的版本。这会稀释你的排名信号。当你混淆爬虫时，它就无法确定要为搜索查询索引哪些竞争页面。 阅读更多：2026年生成式AI会影响Google排名因素吗？ 4.参数降低可抓取性 如果你的网站生成许多参数化URL，Googlebot可能难以扫描和索引你的内容，从而可能会影响你的抓取预算。这可能会导致索引编制不完整，并降低在搜索结果中的可见性。 5.参数导致规范化问题 规范标签表示搜索引擎首选的页面版本。URL 参数可能会使在规范页面上正确设置规范标签变得具有挑战性。不正确的规范化可能会导致搜索引擎将错误版本的内容编入索引。 阅读更多：如何处理网站上的重复内容？规范化！ 6.参数导致关键词稀释 在某些情况下，URL参数会将不相关或未优化的关键词引入你的URL。这可能会稀释对主要关键词的关注，并对你的SEO工作产生负面影响。 7.参数降低易用性和用户体验 具有众多参数的长而复杂的URL可能使用户难以理解和共享。对用户不友好的URL可能会阻止访问者并影响用户体验。 8.参数导致URL追踪问题

我们都知道Google蜘蛛不会无限度的抓取我们的品牌独立站，那么GoogleBot是如何抓取各个网站的呢？ 本文主要介绍GoogleBot的抓取，及抓取预算等相关概念，以及掌握这些技能对我们网站SEO的好处。让我们开始吧！ 什么是GoogleBot，以及GoogleBot是如何抓取网页的？ GoogleBot是Google用于爬取浩瀚网络中各个网页的一种程序，也叫网络爬虫。事实上，从1993年搜索引擎第一次使用网络爬虫到现在已经走过32年历程。在这30多年中，各大搜索引擎轮番进入大众视野，搜索引擎的运行机制也更加完善，但基本的工作原理却没有大的变化，主要是抓取，索引和排名。 我们所创建的页面对于Google来说是陌生的，它并不知道这些页面的存在，除非Googlebot抓取了我们的URL。Google会根据我们页面的内容、图片、视频等识别URL是新页面，还是已知页面。Google也会从页面上的URL去爬取另一个页面。但是，这样的爬取操作并不是无尽的。   网络爬虫使用算法来确定要抓取的网站、抓取频率以及要从每个网站抓取的网页数量，而Googlebot在我们网站上抓取的最大网页数和时间就叫抓取预算（Crawl Budget）。它由抓取需求（即搜索引擎希望在我们的网站上抓取多少页面）和抓取速率（即它们可以抓取的速度）组成。 懂得搜索引擎工作原理是作为一名SEO的入门课程，这里我们就不详细介绍了。想深入学习的朋友可以阅读这篇文章：In-depth guide to how Google Search works。 这里需要提一下，越多的抓取并不意味着我们排名就越好，但是如果我们的页面不被抓取，就很难索引和排名了。 我们的网站是否需要关注抓取预算？   并不是所有网站都需要关注抓取预算，如果我们是以下类型的网站，那么，我们就需要关注网站的抓取预算了： 如果我们的网站是以上情况之一、或者若干，如果你有很多页面没有按照你想要的频率被抓取或更新，那么你可能想考虑加快抓取速度。我们先看看如何查看网站的抓取预算。 如何查看自己网站的抓取预算？   GSC的“设置”->“抓取统计信息”里向我们提供了Google的抓取报告。如下图     这个报告向我们展示了过去两个月Googlebot的抓取情况，包括响应情况、文件类型、目的和Googlebot类型，点击可以查看相关链接。当然，如果你想查看更长时间和更多内容，可以通过工具访问日志文件。 Google如何为网站分配抓取预算？   抓取预算本质上是 Google 愿意花费在抓取你的网站上的时间和资源，每个网站都有不同的抓取预算。 抓取预算 = 抓取需求 + 抓取速率 尽管如此，我们还是可以有针对性地进行抓取预算优化。 如何优化抓取预算？   1、统筹整站页面情况，筛选网站中所有高价值页面。高价值页面是需要参与排名转化的页面。我们要做的是让这些高价值页面快速抓取索引、并优化排名。 2、优化外链结构。Google抓取的页面数量大致与网站权重成正比。我们网站的外链越多，越容易被抓取。 3、优化服务器性能和网站性能。  服务器响应时间和页面加载速度直接影响抓取。服务器和网站性能优化主要包括： 阅读更多：Google PageSpeed Insights 网站性能检查工具 另外   这里需要提一下，谷歌的抓取速率设置工具已经在年初停用。 如果我们遇到Googlebot大量抓取页面导致服务器返回5xx错误，自己又无法通过技术解决此类问题，可以向Google提交特殊请求。 文中所述链接如下： Large site owner’s guide to managing your crawl budget What

当安装了GSC跟踪代码一段时间以后，你会发现你的品牌独立站后台出现一些索引问题，那么该如何解决这些问题呢？ 熟悉搜索引擎工作原理的都知道，索引页面是排名的必要条件，你的页面只有被搜索引擎索引以后，才有可能进一步参与排名。在搜索引擎索引的过程中会遇到很多问题，本篇文章将以Google为例，介绍搜索引擎索引的相关问题及解决方法。文章较长，建议收藏一下。 背景   本文主要是基于已经添加GSC验证的网站的“编制索引”板块的相关索引问题进行展开。 如上图，在我们查看GSC的“网页”板块时，会发现很多网页未被编入索引的原因，这些原因以表格的形式展示，当你点击某个原因时，会跳转到相关问题url列表。 我们首先要说一下，这里只是列出了我们页面未被索引的原因，并不是说我们要处理列表里的所有原因，例如： 1，已经处理过，但是Google还没来得及再次索引的页面； 2，根据网站或者公司发展，经过技术特意排除索引的页面； 3，由于安装某些插件而产生的Noindex页面，而这些页面是否index不是基于设置，而是基于其他原因的； 以上这些问题实际上已经不是技术SEO所涉及的范畴，我们需要做的只能是按部就班的工作以及等待。 此外，原因列表里的“来源”字段标记了产生问题的来源，作为技术，我们主要需要解决的是“网站”来源导致的noindex问题。 下面我们开始一个个讲解各个问题及解决方法，如果大家想找特定问题的解决方法，可以快速滑到相关问题。 被“noindex”标记排除了   如果你的“网页未被索引的原因”类别里有这个条目，那么谷歌会给你提供一个帮助文档指导你如何操作。如下图，点击“了解详情”可以查看谷歌帮助文档。 另外，GSC为每个url提供了测试的入口，以及不被编入索引的原因。你可以在位于GSC上方的网址检查里直接输入网址进行查看，如下图， 也可以点击示例列表里的单个url，点击“检查网址”就会出现如下图结果， 一旦你确定了问题原因并付诸解决，就可以点击“验证修正情况”进行验证。 事实上，出现noindex标记的原因有很多，谷歌帮助文档里只是指导我们找到了页面的noindex标记，但需要我们进一步去查验具体原因。包括： 1，公司出于某种特定原因故意noindex掉的，这种是不需要我们处理的； 2，由于插件的使用不当而产生的，这里就需要你去寻踪，看到底是哪里设置的问题； 3，Robots.txt的错误配置使得页面被noindex掉，检查robots.txt页面进行修正； 4，JS实施不当，检查JS文件  阅读更多：如何查看和优化抓取预算？ 未找到 (404)   404页面通常是由于之前的页面被删除而产生的，但也可能是你建站时存在的url设置或者拼写错误，还有可能是用户在访问时产生的错误url导致的。如下图，我们可以去谷歌文档查看原因。 解决方法： 1，对于删除页面而产生的404页面，需要我们去查找一下是否有来到这个页面的内链和外链，如果有的话，可以修改这些链接到新页面，或者将404页面做301跳转； 2，如果是url设置或者拼写错误的原因，需要找到具体的页面，进行修改； 3，对于用户访问时产生的404页面，建议在建站时尽量制作一个用户友好的页面，使这些用户可以去到想去的页面，而不是流失掉。 服务器错误 (5xx)   HTTP 500错误很多时候是服务器有问题，而不是网站、网络等有问题，这种情况下，你需要和服务商联系询问某个时段的网络情况。 如何确定这个时段呢？ 你可以点击url列表里的某个url，进行“检查网址”查看上次抓取时间，如下图，   你需要询问谷歌抓取时间的前后几分钟是否出现过服务器问题。另外，并不是所有500错误页面都是由于服务器问题产生的，以下几个原因也可能网页导致500错误： 1，.htaccess文件损坏或者某些特定配置也会导致网页访问发生500错误； 2，权限问题，有可能网站管理员设置了页面访问权限，你被排除在外； 3，PHP响应超时，数据库无法正常连接，导致500错误页面产生； 4，如果你使用的是Wordpress这类的CMS系统，也可能是你的主题或者插件出了问题，可以尝试更换升级主题或者停用插件来解决这个问题； 5，网站流量高并发，流量高峰期服务器无法即时响应也会导致500错误，这时就需要你考虑扩容升级服务器，或者更换服务器了。     网页会自动重定向和备用网页（有适当的规范标记）   “网页会自动重定向”和“备用网页”这两个导致未被索引的原因我归到了一类中，是因为如果是这两种原因导致的不被索引，你只需要查看是否有声明规范网址，如果谷歌给你的结果是已经有规范网址。并且“检查”已经收录规范网址，那么这里就不需要对网站本身进行修改了。 比如我这里的url有规范网址，并且“检查”显示已经编入索引，那么就可以了。 另外， 要记得定期检查是否有重复页面，如果存在重复页面，一定要做好规范化，以防时间太久，出现太多相似页面导致关键词蚕食以及无法做好权重分配和集中。 这里需要说一下备用网页和重复网页的区别： 如果谷歌发现同一个网站上有多个网址显示的内容基本相同，就会将这些网址视为重复内容，比如一些DTC电商站通过不同的筛选方式会出现相同结果列表的页面，这些页面就属于重复页面。对于这些重复页面，你需要设置规范网址，非规范网址一般不会参与排名，除非这个非规范页面是备用页面。 当谷歌发现某个页面适配特定设备（比如手机等移动设备）时，或者被标记为同一网页的其他语言版本的类似网址时，可能会将这些网址标记为针对相应设备类型或语言的备用网址。系统会根据用户使用的语言或设备视情况提供备用网址。当然，备用网址也可以进行标记。备用网址是重复网址的一部分。 阅读更多：如何处理网站上的重复内容？规范化！ 软404