如何(我认为)抓取预算工作(排序) 2017-03-03 11:20:32

$888.88
所属分类 :奇闻

抓取预算 - 搜索引擎每次访问您的网站时将抓取的网页数量 - 是搜索引擎优化成功的一个重要因素虽然许多因素用于确定抓取的网页数量,但其中一个相当强大的因素是网站的整体抓取预算(爬行效率也是一个关键组成部分)当然,更大的抓取预算几乎总是更好(呃)但爬行预算和有机SEO之间的关系不是100%直截了当所以,我将首先谈谈如何Google确定抓取预算,然后了解抓取预算如何影响搜索流量,以及如何充分利用现有抓取预算全部关于PageRank Google主要根据您网站的权限设置抓取预算这意味着各个网页的PageRank他们的网页平均PR越高,抓取预算就会越大;谷歌将在这些网站上抓取更多网址<-Nerd alert! - >如果你没有沉迷于日志文件和真正的Pagerank之类的东西,请忽略接下来的两个段落它们只会让你翻白眼为了证实这一点,我采样了40个网站的日志文件,检查Googlebot在单次抓取过程中下载的网址数量我将“抓取”定义为Googlebot的一组访问次数,Googlebot之间不超过30秒点击数据免责声明:是的,我知道,我应该比较成千上万的网站,而不是40个如果有人想要收集一个集合,这样我就可以把所有时间花在挖掘日志文件上,而不是为了谋生,让我知道我不能完全依赖于Toolbar PageRank,因为它是通常过时所以我使用了工具栏PR,MozRank,Majestic SEO工具集中的累积链接以及一些直肠检查统计数据的组合,所以我很尴尬地把它们包括在这里我也看了谷歌网站管理员工具确保我的日志文件分析是道具ortional无论你如何分割数据,结果都很有说服力:抓取预算随着PR的增加而增加,是的但是在网站通过5-6的PR后,每次抓取的网址大幅增加我没有这么好如果你这样做,并且愿意给我发一两个日志文件,那么我可以拍摄那些数据,所以是的,在我看来,PR非常重要,与其他因素在一起发挥但在我看来,通过链接和社交媒体建立权威(对于个人页面)是一个比你想象的更大的交易,是吧

不直接只是因为你有一个大而胖的爬行预算并不意味着你会得到大量的自然搜索流量我比较了相同的40个站点​​的爬行预算和有机搜索的流量百分比,并得到了这个:嗯好吧那不是确切强大的相关性然后我将爬网预算与原始有机流量(不是一个百分比)进行了比较并得到了:这可能意味着爬行预算和有机流量之间的相关性但它也可能仅仅意味着具有更高权限的站点获得更多有机流量,这提示抓取预算和流量之间的关系,但几乎没有确认它显然,更高的抓取预算甚至不等于Google索引中的更多页面:再次,有一些相关性,但考虑到抓取预算的速度有多快我会期待更多更高的PageRank如果你仔细考虑它,它是有道理的:抓取预算不等于大量的有机流量它不等于很多索引页面它只等于Googlebot访问许多U您网站上的RL(提醒一句:如果高爬行率是由于爬行效率低下,更多爬行不一定更好;例如,规范化问题可能导致高爬行,但索引编制很低)如果您希望将其转换为更高的排名和更多的自然流量,您需要明智地使用爬网预算这不是您的抓取预算的大小这是您使用它的方式我实际上写了这整篇文章,所以我可以使用那条线Punny,但是如果Googlebot抓取您网站的数千页,但发现其中90%的网页内容不足,重复或者速度太慢,那么您的抓取预算就是搜索引擎优化相当于垄断资金为了充分利用您的抓取预算,请执行您应该做的所有事情:您的抓取预算是货币您可以使用它来“购买”Googlebot可以用来访问您的网站,抓取网址和尝试的时间将它们添加到索引中您如何使用该货币取决于您最大限度地利用Google每页抓取的价值所花费的时间肯定会得到回报 我希望我能提供有关Bing设置抓取预算的算法的信息,但我不能有来自Google员工的一些直接引用,包括Eric Enge对Matt Cutts的精彩访谈而且,我有很多日志文件数据可以查看Bing虽然可以安全地假设Bing使用类似的预算系统,但Bing也表示他们试图摆脱域名评分作为其排名算法的一部分

可以肯定地说Bing使用了类似的预算概念,但是我不能保证最坏的情况,但是,本文中的建议对爬行预算没有影响Bing指定您的站点本文中表达的观点是来宾作者的观点,而不一定是搜索引擎土地职员作者列在这里