RafaBot

描述

RafaBot 是一种高速、多线程、大规模的网络爬虫机器人。批量网站下载的理想工具。它可以从起始 URL、搜索引擎结果或网络目录下载网站，并能够跟踪外部链接。它可以在一个会话中处理单个网站或数千个网站。

RafaBot 将所有下载的文件以本机格式保存在用户硬盘中，用户可以离线查看/研究/提取它们而无需连接到 Internet。它有许多过滤器来限制下载，如 URL 过滤器、修改日期、文本、文件类型、文件大小等。它允许用户选择递归级别、检索线程、超时、代理支持和访问受密码保护的站点。