heritrix抓到死链停止

请问heritrix抓到死链就停止抓取了,该怎么跳过死链?比如抓这个死链http://www.wutnews.net/campus/thumbnail.aspx?width=260&path=http://www.mendui.com/h_book...

tsgzuixin tsgguanyou tsgjingxuan tsgpinglun tsgsoucang 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 ...

你的位置: 问答吧 heritrix抓到死链停止 请问heritrix抓到死链就停止抓取了,该怎么跳过死链?比如抓这个死链http://www.wutnews.net/campus/thumbnail.aspx?width=...

2011年9月7日 - heritrix不是一开始就能设置seeds初始链吗,比如我就设置了一个,那么heritrix在沿着这个url爬的时候遇到死链会怎么样? 如果我seeds在一开始设置了多个u...

最佳答案: 不论数据存在哪,抓的只能是页面。 heritrix应该不适合这个工作。 你应该是只想抓取某个网站,建议看看htmlunit,这个应该比较适合你的需求。更多关于heritrix抓到死链停止的问题>>

这些天看了其它小组的博客,发现大家用Heritrix抓取所花的时间都比较长,基本都要花上数天的时间才能抓完,名副其实的爬虫…之所以这么慢,一个重要的原因是heritrix在...

2009年12月20日 - 1.Heritrix可以以任何URL作为种子,只要你这个种子URL里包含其他URL,就可以一直不停的抓取下去,直到所有URL抓取完毕。 2.垂直搜索需要特殊控制,如抓取...

2013年8月15日 - 1. 下载:到www.sourceforge.net网站搜索heritrix,然后下载下来heritrix-1.14.4-...第一个晚上抓到了90%,剩下的将近三天只抓取到95%,实在等不到,就将其...