什么是抓取预算以及如何针对SEO对其进行优化

作者:丁晓峰  发布时间:2020-05-17 23:00:19

  如果您想完全控制网站的运行状况,那么了解抓取预算的含义以及如何针对SEO对其进行优化非常重要。

蜘蛛抓取预算

  在本文中,您将以简单的语言学习什么是抓取预算(以及抓取率,抓取统计信息等相关术语),它如何影响SEO以及您可以采取哪些措施对其进行优化。

  什么是抓取预算?

  抓取预算不是一个单一的数字,而是一个通用术语,用于描述搜索引擎在给定的时间段内从特定网站抓取和抓取页面的频率和数量。

  影响抓取预算的因素包括网站和导航结构,重复内容(网站内),404错误,低价值页面,网站速度和黑客问题。

  为什么抓取预算对SEO很重要?

  从一开始就应该强调抓取不是排名因素。这意味着抓取预算不会直接影响页面在自然搜索结果中出现的位置。但是抓取和抓取预算对于SEO很重要,因为:

  如果搜索引擎未将页面编入索引,则任何搜索都不会显示该页面。

  如果网站上有很多页面,则搜索引擎可能不会将所有页面都编入索引(这就是为什么需要优化抓取预算的原因)。

  对页面所做的更改可能没有在搜索结果中显示的那样快。

  什么是抓取预算优化?

  抓取预算优化是检查并确保搜索引擎可以及时抓取网站的所有重要页面并为其编制索引的过程。

  对于小型网站,抓取预算优化通常不是问题,但对于具有数千个URL的大型网站而言,抓取预算更重要。

  不过,正如您将在下面阅读的那样,优化抓取预算的方法是遵循SEO最佳做法,这也对您的排名产生积极影响。

  如何优化您的SEO抓取预算

  请按照以下10条提示优化SEO的抓取预算,提供分层的网站结构、优化内部链接、提高网站速度、解决重复的内容问题、低质量页面、修复软404错误、修复抓取错误、避免重定向过多、确保网站没有被黑、外部链接。

  1.提供分级的网站结构

  当搜索引擎爬网程序访问站点时,它们从首页开始,然后单击任何链接以发现,抓取和索引所有网站页面。

  具有不超过3个级别的层次化站点结构是任何类型的网站的理想结构。这意味着只需单击三下鼠标就可以从主页访问任何URL。这种简单的结构使抓取变得更加轻松和快捷,对用户也很有利。

  2.优化内部链接

  对于任何类型的网站,搜索引擎都希望为网站的最重要页面提供更高的优先级(涉及抓取和建立索引时)。

  他们用来标识网站重要页面的方法之一是该页面具有的外部链接和内部链接的数量。外部链接更重要,但更难获得,而任何网站管理员都可以轻松地优化其内部链接。

  以有助于抓取预算的方式优化内部链接意味着:确保您网站上最有价值的页面具有最多数量的内部链接。

  您所有重要的页面都从主页链接到,您网站的所有页面至少都有一个指向它们的内部链接。

  网站上没有内部或外部链接的页面(也称为“孤立页面”)会使搜索引擎机器人的工作更加困难,并且浪费您的抓取预算。

  3.提高网站速度

  速度是重要的排名因素,很大的可用性因素以及影响爬网预算的因素。

  简而言之,当网站加载速度很快时,搜索引擎的蜘蛛可以在更少的时间内抓取同一网站的更多页面。这表明网站基础设施良好,并鼓励爬网程序从特定网站获取更多内容。

  这就是搜索引擎提到的网站速度和抓取预算。

  作为网站管理员,您的工作就是尽一切努力确保您的网页在所有设备上尽快加载。

  4.解决重复的内容问题

  可能对抓取预算产生负面影响的因素之一是重复内容。

  在这种情况下,重复内容是相同或非常相似的内容,它们出现在您网站上的多个URL中。

  这是电子商务类别页面中的一个非常常见的问题,在该页面中,相似的产品在多个类别中列出。

  除了电子商务网站外,博客还可能存在重复内容的问题。例如,如果您有多个针对相同关键字的页面,并且这些页面上的内容相似,则Google可能会将其视为重复内容。

  重复内容如何影响检索预算?

  这使搜索引擎的工作更加困难,因为它必须决定要索引的页面。抓取资源会浪费在搜索引擎最终将其标记为重复内容的页面上。

  对站点更有价值的页面可能无法建立索引,因为可能已达到对爬行的速度限制并为重复的内容页面建立索引。

  解决重复内容问题的最佳方法是:

  使用规范URL为网站上的每个页面指定首选URL。

  使用robots.txt和noindex指令阻止搜索引擎爬虫访问重复内容页面并将其编入索引。

  优化您的XML站点地图,以指定其以帮助搜索引擎从站点中识别哪些页面应给予优先级。

  5.低质量页面

  与重复内容相似,另一个可能影响抓取预算的因素是内容较少的页面。

  稀疏内容是您网站上的页面内容很少或根本没有,也没有为用户增加价值。它们也称为低质量页面或低价值页面。

  例如,没有文本内容的页面,空白页面或旧发布的页面都不再与搜索引擎和用户相关。

  要优化您的抓取预算,您应该通过以下方法查找和修复精简内容页面:

  移除它们

  增强其内容以为用户增加价值并重新发布

  阻止它们进入搜索引擎(不对它们进行索引)

  将它们重定向到您网站上另一个更有价值的页面

  通过执行上述任何操作,将在对您的网站很重要的页面上分配抓取时间。

  6.修复软404错误

  出现404错误的原因有很多,要找出确切原因并不总是那么容易。

  最常见的是HTTP服务器的配置错误,网站加载缓慢以及网站上有很多精简内容页面。

  软404错误(与普通404错误相比)的问题在于,软404错误会浪费您的抓取预算,因为搜索引擎抓取工具会将这些页面保留在其索引中并尝试重新抓取它们。

  处理软404错误并优化抓取预算的最佳方法是登录Google搜索控制台并查看Coverage错误报告。

  单击“提交的URL似乎是一个软404”以查看受影响的页面列表并进行修复。

  7.修正抓取错误

  增加抓取预算的另一种方法是减少抓取错误的数量。将时间花在最初不应该存在的错误上是浪费时间。

  8.避免重定向过多

  另一个可能减慢搜索引擎抓取网站频率的问题是重定向过多。

  重定向是解决重复内容问题和软404错误的好方法,但应注意不要创建重定向链。

  当搜索引擎爬虫发现301重定向时,它可能不会立即抓取重定向的URL,但会添加到要从特定站点抓取的URL列表中。如果将URL重定向到URL,然后将该URL重定向到新URL,则这会使过程复杂化,并且会降低爬网速度。

  检查您的.htaccess,并确保您没有任何不必要的重定向,并且任何301重定向都仅指向最终目标(避免使用同一URL的中间目标)。

  9.确保网站被黑

  被黑客入侵的网站比抓取预算要担心的事情要多得多,但是您应该知道被黑客入侵的网页如何影响抓取预算。

  如果您的网站在不知情的情况下被黑客入侵了一段时间,这将大大减少抓取预算。搜索引擎将失去对该网站的信任,并减少对该网站的索引。

  为避免这种不愉快的情况,您可以使用安全服务来监视您的网站,并定期检查。

  10.外部链接

  流行的URL往往会被搜索引擎更频繁地抓取,因为它们希望保持其内容在索引中保持新鲜。在SEO世界中,区分受欢迎页面和最不受欢迎页面的最大因素是反向链接的数量和类型。反向链接有助于建立与搜索引擎的信任度,改善页面的PageRank和权限,最终导致更高的排名。这是多年未变的基本SEO概念之一。

  因此,拥有包含来自其他网站的链接的页面将鼓励搜索引擎更频繁地访问这些页面,从而导致抓取预算增加。

  从其他网站获取链接并不容易,实际上,这是SEO的最困难的方面之一,但是这样做可以使您的域名更强大,并改善您的整体SEO。

  在以下情况下,抓取速度可能会突然下降:

  添加了一条规则,以阻止大部分网页被搜索引擎索引

  网站和服务器比平常慢

  有很多服务器错误需要引起注意

  网站被黑了

  在以下情况下,爬网率可能会飙升:

  在网站上添加了一堆新内容

  内容成为竞争对手,并且您获得了新链接,从而增加了您的域权限

  垃圾邮件发送者向您的网站添加了可生成数百个新页面的代码

  优化SEO的抓取预算与优化技术SEO的网站的过程相同。您可以做的任何改善网站可用性和可访问性的工作都对您的抓取预算,用户和SEO都有好处。

  但是,每一个小步骤都可以帮助SEO,而在进行抓取预算优化时,最重要的步骤就是摆脱抓取和编制索引错误。这些错误会浪费您不断攀升的预算,修复这些错误将有助于您网站的整体健康。

  网站速度,重复内容和外部链接等其他因素可以提高搜索引擎中的网站可见性 ,这意味着更高的排名和更多的自然流量。

  最后,不时查看爬网统计信息报告以发现并调查抓取速率的任何突然下降或上升是一个好习惯。



转载请注明来自:http://www.dingxiaofeng.com/promotions/146.html

相关文章阅读

竞价的一大坑,你犯了没

非技术人员如何轻松解决虚拟主机新旧

搜索引擎优化之选择关键词

4个网站优化的重要技巧

图片SEO:如何优化网站图片

Top