有针对性的屏蔽蜘蛛

 东莞网站推广   2010-12-21 16:54   239 人阅读  0 条评论

蜘蛛是搜索引擎爬虫的另一个名字,它能够通过网站不断的索引页面,帮助收录,但并不是所有蜘蛛都需要,因此:有针对性的屏蔽蜘蛛是有必要的。屏蔽蜘蛛的方法最常用的就是通过写robots.txt,例如:

User-agent:ALL

Disallow:/

意思就是屏蔽所有蜘蛛。我们今天来聊一下如何有针对性的屏蔽蜘蛛。

现在的搜索引擎很多,有Google、百度、bing、yahoo、youdao、soso等等,这么多的搜索引擎当中,对我们贡献流量最大的无疑是应该保留的。但是有些搜索引擎,我们因为某种理由不希望出现在当中(例如某些蜘蛛会产生大量的流量,加重服务器负担,而贡献出来的流量又非常有限),那么就应该适当的屏蔽它。

再例如某网站是做外贸的英文站,面向的是欧美客户,那么它就没有必要使用让百度、soso等搜索引擎的爬行了,那么我们就这么写:

User-agent:baidusipder

Disallow:/

User-agent:sososipder

Disallow:/

##如果蜘蛛太过于频繁的访问你的网站,加上这么一句(表示延迟多少秒)##

User-agent:蜘蛛名字,也可以是所有蜘蛛

Crawl-delay: 600

当然,我们有针对性的屏蔽蜘蛛只是为了更好的用户体验,至于蜘蛛是否还会来,我们没办法阻止。

本文地址:http://www.adamseo.com/views/241.html
版权声明:本文为原创文章,版权归 东莞网站推广 所有,欢迎分享本文,转载请保留出处!

 发表评论


表情

还没有留言,还不快点抢沙发?