WordPress 中文文档

Ia archiver

From WordPress Chinese

Jump to: navigation, search


ia_archiveralexa.com的一个爬虫程序,用于检测网站是否做了alexa排名的作弊。



ia_archiver程序会自动在互联网上爬行,刺探每个Web页面的流量信息。尤其是当某个网站的流量超过Alexa设定的阈值时,IA_Archiver就会马上爬到该网站的服务器上,分析此网站的流量是否正常,有没有作弊行为。


邀请ia_arhiver来访

如果对alexa排名感兴趣,到这个网址登录一下即可:http://www.alexa.com/site/help/webmasters"



想要更好的排名,可以安装alexa工具条


禁止ia_archiver访问

ia_archiver是一个中等强度的爬虫。如果你觉得它占用了过多的服务器资源,同时不关心网站alexa排名的话,可以屏蔽这个爬虫。方法为在服务器上的网站根目录建立robots.txt,包含以下内容:




User-agent: ia_archiver Disallow: / </pre>


上面在全站之内禁止ia_archiver爬行。或者禁止爬行某个目录:




User-agent: ia_archiver Disallow: /somedir/ </pre>

相关资料

官方页面
http://www.alexa.com/site/help/webmasters" (ia_archiver的介绍和邀请访问页面)
相关条目
alexa - 网站排名 - alexa工具条
网络爬虫 - 搜索引擎爬虫程序一览表 - robots.txt
外部链接
alexa专题介绍
爬虫程序一览表 GoogleBot Mediapartners Yahoo! Slurp Yahoo! Slurp China YodaoBot
爬虫程序 ia_archiver iask iearthworm DigExt Indy Library
爬虫程序的屏蔽 .htaccess robots.txt 更多爬虫
用户