Robots.txt Editor

描述

Robots.txt 是机器人排除文件的可视化编辑器和日志分析软件。它允许用户快速轻松地创建指示搜索引擎蜘蛛所需的 robots.txt 文件，这些文件是网站的一部分，不会被普通 Web 公众索引和搜索，然后识别蜘蛛，它们不会遵守这些指示。该程序为用户提供了一种登录到他的 FTP 或本地网络服务器的方法，然后选择不可搜索的文档和目录。通过这个程序，您将能够直观地生成行业标准 robots.txt 文件；识别恶意和不需要的蜘蛛并将它们从您的站点中禁止；将搜索引擎爬虫引导至多语言网站的相应页面；让蜘蛛远离您网站的敏感和私密区域；跟踪蜘蛛访问等。免费程序的更新和升级不受时间限制；无限数量的网站可供使用。