|
|
|
猎兔网络爬虫成功案例
·
网站:中国机电贸易网 www.chinamet.com
·
网站概况:
由中国机电产品进出口商会推出的国内首家机电国际贸易领域专业B 2 B电子商务网站。网站设有面向全球机电厂商的中英文两个版本,并建有在线资讯、在线交易和在线服务三大平台,拥有国内最大的中国机电产品和企业数据库,可以为用户提供方便、及时、准确、安全的服务。
·
项目特点:
1.
对国内外知名商务网站的中英文供求信息进行采集;
2. 每天定时采集数据;
3.
对采集数据的自动分类;
4.
抓取信息量大,对网页或数据的分析与过滤;
5. 预先给定的初始抓取种子样本;
·
应对功能:
1.
Server端程序执行定时采集,可以实时修改定时采集的时间。
2.
3. 实现数据的增量采集功能,增量采集的时候只采集那些最新出现的数据,避免了重复采集相同的数据,节约了资源。
·
实际效果:
1.
信息抓取速度提升;
2.
采用定时.批量处理,方便用户操作;
3.
信息抓取更准确。