java 实现网络爬虫用哪个爬虫框架比较好_百度知道
最佳答案: 有些人问,开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的?这里按照我的经验随便扯淡一下: 上面说的爬虫,基本可以分3类:...更多关于现在 实现爬虫 用什么技术?的问题>>
如何实现一个高效率的爬虫? - V2EX
2016年6月3日 - 现在有200w左右的ip,任务是把这写ip对应的web服务的首页抓取下来(大概有1/3的ip没有web服务)我用gevent和urllib2简单写了个爬虫,在开发机用40wip做测试,耗时...
网络爬虫用什么语言什么方式实现好_百度知道
最佳答案: 首先取决于目的 如果是一个站点,单一目的,用习惯的语言写吧,学别的语言用的时间都够重构两遍的了。 如果是有100左右的站点,做个框架,把你的爬虫管理...更多关于现在 实现爬虫 用什么技术?的问题>>