谷歌翻译索引的教训:阻止搜索结果中的搜索结果 2016-10-05 10:28:23

$888.88
所属分类 :奇闻

去年,谷歌发布了100个Google物业的SEO报告卡

在其中,他们评估了网站针对搜索进行优化的程度

Google的Matt Cutts以Ignite格式在SMX West 2010上展示了结果

他指出,并非每个Google员工都是搜索和搜索引擎优化方面的专家

不在搜索领域工作的Google员工不会从那些做过互联网上任何网站的人那里得到优惠待遇,有时候事情没有得到正确执行

仅仅因为一个网站归谷歌所有并不意味着它是SEO的最佳例子

今天早上,Rishi Lakhani在推文中发布了谷歌搜索结果中出现的谷歌翻译页面

正如您在下面的示例中所看到的,已对具有单个翻译请求的页面编制索引

包含参数的所有URL似乎都是单独的翻译

例如,http://translate.google.com/

q = AV#显示如下:在搜索引擎中索引这些类型的网页的问题有两个:网站所有者可能还希望阻止这些类型的网页被抓取并编入索引以提高抓取效率,并确保对网站上最有价值的网页进行抓取和编制索引

我向谷歌询问了这一点,他们确认这确实只是谷歌翻译团队没有意识到这个问题,并说他们会解决它

对于Google翻译,理想情况是主页和任何辅助页面(例如此工具页面)都要编制索引,但翻译请求中的任何页面都不会编入索引

执行此操作的最佳方法是在robots.txt文件中为基于URL查询参数的模式匹配阻止索引的站点添加禁止行

例如:此模式会阻止搜索引擎索引包含q =的任何URL

(q =之前的*表示q =可以出现在网址的任何位置

)对于translate.google.com(以及所有相关的顶级域名),子域名中存在的robots.txt文件似乎已被复制来自www.google.com

请记住,搜索引擎分别遵守每个子域的robots.txt文件

对于用于域名的www变体的子域使用相同的robots.txt文件可能会产生意想不到的后果,因为子域可能具有完全不同的文件夹和URL结构

(您始终可以使用Google网站站长工具检查robots.txt文件的行为

)将上面显示的禁止模式添加到www.google.com/robots.txt文件中将无法正常工作,因为搜索引擎无法检查该文件抓取翻译子域名会导致搜索引擎不对与www.google.com上的模式匹配的网址编制索引

translate.google.com(以及所有google.com子域名都应该有自己的robots.txt文件,该文件是针对该子域名自定义的

如果Google无法为翻译子域名创建单独的robots.txt文件,则应首先删除那里的文件(以及来自其他子域的文件,因为它可能导致这些子域的意外索引结果)

然后,他们应该在他们想要阻止的各个页面上使用元机器人标签

由于所讨论的页面是动态生成的,这样做的方法是向生成这些页面的代码添加逻辑,这些页面将机器人元标记写入页面中

该标记属于页面的部分,如下所示:意见表示本文是客座作者的文章,不一定是搜索引擎土地

这里列出了工作人员作者