WebLight

描述

WebLight 是一种网络爬虫，可让您有效地维护 xml 站点地图并查找标记、CSS 和链接问题，因此您可以在不牺牲生产力的情况下维护无错误、完全索引的站点。 WebLight 的核心是其快速的网络爬虫，它可以轻松验证和映射整个站点，甚至是非常大的站点。您只需告诉 WebLight 从哪里开始并使用 robots.txt 之类的规则来控制它验证的资源和它遵循的链接。您可以根据需要使用尽可能多的起始 URL 和规则来扫描您想要的所有资源，而不是您不想要的资源。与大多数只扫描公共 html 页面的网络爬虫不同，WebLight 可以扫描本地磁盘、公共和私人网站上最常用的网络资源 - CSS、(x) html、atom、RSS 和 xml 站点地图。如果你能浏览它，WebLight 可以分析它。

WebLight 就像一个链接检查器，它在抓取时验证 CSS、html、新闻提要和站点地图。但是，WebLight 不仅像其他验证器那样查找非标准代码和损坏的链接，它还可以让您对验证问题的类别进行分类，以便您可以找到真正的问题，而不会被您故意使用的非标准代码引起的噪音分心作为浏览器特定的 CSS 属性和 WAI-ARIA 属性，或您选择不修复的其他问题。使用 WebLight 可以轻松维护有助于搜索引擎有效索引您的网站的 xml 站点地图。它的扫描仪可以找到与新闻提要、站点地图和其他文档链接的所有文档。然后您可以自定义您的站点地图，使用 WebLight 的类似电子表格的界面设置 URL 的优先级、更改频率和最后修改日期。最后，当您的站点地图准备就绪时，WebLight 将 ping 搜索引擎，以便他们尽快索引您的新页面。