木公的互联网观察

一、基础概念 
    最简单的方法就是通过程序代码，程序代码构造的程序，简单的抓取 wget 程序，比如要抓取天空软件站的创新英语单词通，直接在命令行：
wget ‘http://jlbc.skycn.com/down/recite.rar’ –referer=’http://www.skycn.com/soft/31870.html’这样就能抓取到天空软件站的这个软件。很多的程序构造起来，给定了一定的名称，富有更多的功能，这样升级成爬虫或者蜘蛛，又称机器人，像Yahoo! Slurp China，baiduspider，Google bot等等。

二、解决之道
方案一，环境变量
根据系统环境变量，我们可以指定蜘蛛该收录一些什么不收录一些什么，提高需采集的技术难度。
使用 HTTP_USER_AGENT 指定蜘蛛类型以及识别蜘蛛和非蜘蛛抓取，根据其类型反应出不同的内容；
使用 HTTP_ACCEPT_LANGUAGE 可以识别基本的套接字类抓取以及蜘蛛和非蜘蛛，毕竟采集机器人能识别语种的占少数，像本人的主站点使用的就是这个参数；
使用 HTTP_REFERER 可以侦测盗链状况，如果referer来源不是本站或者指定的站点，跳转或者指向其他页面，本人站点的处理防止图片盗链的方法就是一种高级的利用referer反盗链方法，然后引导到一个字节很小的页面；
使用 REMOTE_PORT 记录蜘蛛的地址，缓存起来，可以直接屏蔽该地址，杜绝采集或者针对搜索引擎进行优化；
使用 HTTP认证 来屏蔽匿名蜘蛛的抓取；
方案二，程序本身控制
深究网站频繁访问以及大量被采集，主要还是自身网站程序原因导致。
更改目录 是一种比较土的办法，但是非常使用有效，编写程序拥有自动在一段时间某个ip频繁访问的情况下，自动更换目录路径，这样减少外界机器人的频繁访问；
提升网站本身的权限 ，比如需要注册ID访问，每个ID对应于不同的权限；或是根据IP加时间结合的方法进行访问控制等；
使用隐藏文字 方式进行干扰，比如用CSS的DIsplay:none，或者直接把字体颜色和背景颜色一致，这样采集者要分离文章需要大量的时间处理，比如我的BBS论坛使用的就是此方式；
Javascript 的干扰，目前一般很少有人使用此方式来做站，估计大部分站长考虑到搜索引擎解析Javascript差，担心不会被收录的问题；(该方法是没方法后的办法,万不得以勿用)
XML 化的页面是比较难被蜘蛛所识别，特别是Javascript+Xml化后，使用了ajax技术，即保证了速度，又保护了有效的数据，这种类型的网站还没有蜘蛛能够完全的解析，像澳门官方体彩网站；(同JS)
方案三，网站结构
网站结构可以很大的影响采集以及搜索引擎收录。
网站图片化 早些年，一些很精美的韩国模板都是图片拼成的，像IKdiary；
Flash 结构的网站，一些高超的闪客把一些动态页面全部用flash绘制而成，简直就是蜘蛛的克星；
使用非80端口的更安全协议 比如HTTPS协议，虽然成本比较高，但是也是防止匿名蜘蛛抓取的好办法；

雅虎搜索引擎蜘蛛的抓取频率是很高的,为了节省流量空间,可以参考”如何控制Yahoo! Slurp蜘蛛的抓取频度“应该是目前最为有效的控制雅虎蜘蛛的一种方式

作者：木公 的互联网观察 => Blank
备注：未经许可 谢绝任何形势转载...

Tags: Yahoo! Slurp China, 搜索引擎蜘蛛, 采集