Sine Xing

虽然SEO优化建议我们将URL静态化，但是不可避免的，我们会在很多网站上看到动态链接，这种动态链接经常是SEO的噩梦，糟糕的URL参数可能给你的网站带来灾难性的后果。 在本指南中，我们将详细了解URL参数以及如何对我们网站上的动态URL进行审查和管理。 什么是URL参数？ 不同于静态URL, 动态URL会在静态URL后加一个“?”表示参数的开始，后边添加若干参数，每一个参数由一个键值对（key-value pair）组成，每一个键值对用“=”连接，多个参数用“&”连接。 如上图所示，红色”?”问号表示URL参数的开始，绿色字符串分别是两个键值对，category和sort是key（参数名），electronics和price_low_to_high是value（参数值）。如果你不太懂，可以在平时浏览网页时多关注一下URL。  常见URL参数有哪些?   在我们的工作中，经常会遇到各种类型的URL参数，不同的参数有着不同的功能。包括： 活动参数：会以某种方式修改页面的内容。 1.搜索：将查询字符串传递到页面。比如，?query=sine、?q=sine、?search=drop-down-option 2.翻译：将所选语言传递给页面。比如，?lang=de、?language=fr 3.分页：加载特定的编号页面或项目范围。比如，?page=2、?p=2、viewItems=10-30 4.标识码：特定商品或分类。比如， ?product=small-purple-widget、categoryid=124、itemid=24AU 5.筛选：按颜色、日期范围、价格范围或尺寸等。比如，?type=widget、colour=blue、price-range=10-50、?category=shoes 6.排序：按日期、按价格、按相关性等。比如， ?sort=lowest-price、 ?order=highest-rated、 ?so=latest 被动参数：通常用于追踪，不会修改页面内容。 1.Affiliate IDs：传递用于跟踪销售和注册来源的标识符。  如，?id=ahrefs 2.广告标签：追踪广告活动。如，?utm_source=newsletter 3.会话ID：标记特定用户。如，?sessionid=12345   4.视频时间戳：跳转到视频中指定的时间戳。  如，?t=95 5.跟踪和分析收集有关用户行为和 Web 流量来源的数据 如，?source=facebook 其中很多操作会显著改变页面内容，比如翻译。但很多URL参数的改变返回的却是相同和相似的内容。这也导致了很多的SEO问题。   UR参数导致的SEO问题有哪些？   1.参数导致重复内容，浪费抓取预算 当网址参数提供相同的内容但略有不同（例如，排序选项、分页或过滤）时，搜索引擎可能会将每个包含参数的网址视为一个单独的网页。可能会导致内容重复问题，稀释页面的排名潜力。 2.参数降低搜索引擎爬虫抓取效率 抓取冗余参数网页会分散Googlebot的注意力，从而降低你的网站将SEO相关网页编入索引的能力，并增加服务器负载。 3.参数稀释排名信号 如果你对同一页面内容有多种参数化URL，则链接和社交分享可能会出现在不同的版本。这会稀释你的排名信号。当你混淆爬虫时，它就无法确定要为搜索查询索引哪些竞争页面。 4.参数降低可抓取性 如果你的网站生成许多参数化URL，Googlebot可能难以扫描和索引你的内容，从而可能会影响你的抓取预算。这可能会导致索引编制不完整，并降低在搜索结果中的可见性。 5.参数导致规范化问题 规范标签表示搜索引擎首选的页面版本。URL 参数可能会使在规范页面上正确设置规范标签变得具有挑战性。不正确的规范化可能会导致搜索引擎将错误版本的内容编入索引。 6.参数导致关键词稀释 在某些情况下，URL参数会将不相关或未优化的关键词引入你的URL。这可能会稀释对主要关键词的关注，并对你的SEO工作产生负面影响。 7.参数降低易用性和用户体验 具有众多参数的长而复杂的URL可能使用户难以理解和共享。对用户不友好的URL可能会阻止访问者并影响用户体验。 8.参数导致URL追踪问题 如果你使用像Google Analytics这样的跟踪工具，许多报告都基于确切的URL。如果同一页面有很多不同版本使用参数，则每个版本都将单独显示在你的报告中（除非你设置了特殊配置来解决此问题）。 9.国际化URL参数带来更多复杂性 虽然上文我们提到可以使用参数化的url来实现国际化，但这却不是Google首推的方法，Google也不建议这样做。它增加了更多的复杂性，容易产生更多错误。

在前文“Technical SEO: 如何处理Google索引网页的相关问题？”中，我们介绍了GSC中“网页未被编入索引的原因列表”中索引相关的问题及解决方法。事实上，我们都清楚，搜索引擎的工作流程并不是从索引开始的，而是从抓取网页及相关内容开始的。 本文主要介绍GoogleBot的抓取，及抓取预算等相关概念，以及掌握这些技能对我们网站SEO的好处。让我们开始吧！ 什么是Googlebot，以及Googlebot是如何抓取网页的？ Googlebot是Google用于爬取浩瀚网络中各个网页的一种程序，也叫网络爬虫。事实上，从1993年搜索引擎第一次使用网络爬虫到现在已经走过32年历程。在这30多年中，各大搜索引擎轮番进入大众视野，搜索引擎的运行机制也更加完善，但基本的工作原理却没有大的变化，主要是抓取，索引和排名。 我们所创建的页面对于Google来说是陌生的，它并不知道这些页面的存在，除非Googlebot抓取了我们的URL。Google会根据我们页面的内容、图片、视频等识别URL是新页面，还是已知页面。Google也会从页面上的URL去爬取另一个页面。但是，这样的爬取操作并不是无尽的。   网络爬虫使用算法来确定要抓取的网站、抓取频率以及要从每个网站抓取的网页数量，而Googlebot在我们网站上抓取的最大网页数和时间就叫抓取预算（Crawl Budget）。它由抓取需求（即搜索引擎希望在我们的网站上抓取多少页面）和抓取速率（即它们可以抓取的速度）组成。 懂得搜索引擎工作原理是作为一名SEO的入门课程，这里我们就不详细介绍了。想深入学习的朋友可以阅读这篇文章：In-depth guide to how Google Search works。 这里需要提一下，越多的抓取并不意味着我们排名就越好，但是如果我们的页面不被抓取，就很难索引和排名了。 我们的网站是否需要关注抓取预算？   并不是所有网站都需要关注抓取预算，如果我们是以下类型的网站，那么，我们就需要关注网站的抓取预算了： 如果我们的网站是以上情况之一、或者若干，如果你有很多页面没有按照你想要的频率被抓取或更新，那么你可能想考虑加快抓取速度。我们先看看如何查看网站的抓取预算。 如何查看自己网站的抓取预算？   GSC的“设置”->“抓取统计信息”里向我们提供了Google的抓取报告。如下图     这个报告向我们展示了过去两个月Googlebot的抓取情况，包括响应情况、文件类型、目的和Googlebot类型，点击可以查看相关链接。当然，如果你想查看更长时间和更多内容，可以通过工具访问日志文件。 Google如何为网站分配抓取预算？   抓取预算本质上是 Google 愿意花费在抓取你的网站上的时间和资源，每个网站都有不同的抓取预算。 抓取预算 = 抓取需求 + 抓取速率 尽管如此，我们还是可以有针对性地进行抓取预算优化。 如何优化抓取预算？   1、统筹整站页面情况，筛选网站中所有高价值页面。高价值页面是需要参与排名转化的页面。我们要做的是让这些高价值页面快速抓取索引、并优化排名。 2、优化外链结构。Google抓取的页面数量大致与网站权重成正比。我们网站的外链越多，越容易被抓取。 3、优化服务器性能和网站性能。  服务器响应时间和页面加载速度直接影响抓取。服务器和网站性能优化主要包括： 另外   这里需要提一下，谷歌的抓取速率设置工具已经在年初停用。 如果我们遇到Googlebot大量抓取页面导致服务器返回5xx错误，自己又无法通过技术解决此类问题，可以向Google提交特殊请求。 文中所述链接如下： Large site owner’s guide to managing your crawl budget What Crawl Budget