1.最近用larbin爬网页,不需要保存网页内容,运行了一段时间,发现fifo和fifowait开头的文件越来越多,最后把硬盘撑死了
上网查了查发现感觉fifo开头的可以删,但是删了过后没过多长时间就挂了
“ Big Problem while reading (persistentFifo.h)
reason: Bad file descriptor
larbin: PersistentFifo.cc:209: char PersistentFifo::readLine(): Assertion `false' failed.
Aborted (core dumped)* ” // 这是为什么
有没有设置可以控制fifo的大小
2.我设置了reload而且hashSize 64000000,但是在linux上用ctrl+c停止后,再启动larbin并没用上次截止的地方继续爬, 需要如何设置和操作才能达到再启动继续的目的
请指教,先谢谢各位!