sCrawler

描述

个人或公司想要使用网络爬虫软件的原因有很多。这种类型的程序以指定的方式浏览网页，这种方式可以是自动化的、有条不紊的或有序的。如果您不熟悉网络爬虫软件这个术语，也许您听说过蜘蛛、机器人、蚂蚁、自动索引、机器人或爬虫？它们基本上都是一样的！

网络爬虫软件的目的

当您想到网络爬虫软件时，您可能会想到谷歌、必应和雅虎等大牌搜索引擎。他们的机器人爬取网页以确定内容、相关性和索引。通过创建访问页面的副本，他们可以提供更快、更准确的搜索。 SqrBox 会告诉你，你当然不需要成为搜索引擎也需要网络爬虫软件。您只需成为需要收集大量或极其复杂信息的人。

网络爬虫软件的类型

如果您打算使用诸如 SqrBox 之类的专业公司的服务，您实际上并不需要关心有关网络爬虫软件的所有复杂术语。尽管如此，了解一些关于它的事情还是有帮助的。

Focused Crawling - 这种类型的网络爬虫软件的目的是下载似乎包含类似信息的页面。但是，这种方法通常存在一些缺陷，爬虫的实际性能和结果取决于正在搜索的特定主题上的链接有多丰富。这种类型的网络爬虫软件通常被用作缩小搜索范围以进行进一步爬网的起点。

URL 规范化——网络爬虫软件通常会执行某种程度的 URL 规范化，这有助于减少对同一来源的多次重复爬取。

限制后续链接 - 在某些情况下，网络爬虫软件可能希望避开某些网络内容，只寻找 .html 页面。为此，通常会检查 URL，然后仅当 URL 中有某些字符（例如 .html、.asp、.htm、.php、.aspx、.jspx 或 .jsp）时才会请求资源。网络爬虫软件通常会忽略带有“？”的资源。以避免蜘蛛陷阱。