2 w77603422 w77603422 于 2013.09.01 19:57 提问

larbin 关于存储空间的设置以及重启动的疑问

1.最近用larbin爬网页,不需要保存网页内容,运行了一段时间,发现fifo和fifowait开头的文件越来越多,最后把硬盘撑死了
上网查了查发现感觉fifo开头的可以删,但是删了过后没过多长时间就挂了
Big Problem while reading (persistentFifo.h)
reason: Bad file descriptor
larbin: PersistentFifo.cc:209: char
PersistentFifo::readLine(): Assertion `false' failed.
Aborted (core dumped)* ” // 这是为什么
有没有设置可以控制fifo的大小

2.我设置了reload而且hashSize 64000000,但是在linux上用ctrl+c停止后,再启动larbin并没用上次截止的地方继续爬, 需要如何设置和操作才能达到再启动继续的目的

请指教,先谢谢各位!

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!