爬虫记录

此页面用于记录搜索引擎的爬虫请求，可以非常及时的知道是否有爬虫访问过网站的页面。

设置

• 启用爬虫记录：取消勾选之后将不会再进行记录。
• 记录保留时间：超过这个时间将自动删除旧数据。
• 保留最近多少条记录：超过设置的值后，将自动删除旧数据。

创建重定向

此页面可以非常方便的检查出无法访问或者访问有异常的页面，建议根据实际情况为这些链接创建重定向请求，避免死链。

图表视图

此外，此页面也提供了另外的图表视图，可以更加直观的看到各个搜索引擎的爬虫请求数量。