cPanel面板网站监控抓取

cPanel面板的网站质量监控界面提供了多个选项卡，用户可以对该功能进行配置并监控网站和URL的常见问题。其中， "抓取 "选项卡允许用户设置如何定期监控网站和URL，以便及时检测并解决任何问题。通过 "抓取"选项卡，可以查看网站抓取的历史记录、设置抓取频率和监控深度等。

注意：本教程适用于 110 至最新版本。

一、概述

抓取选项卡包含可以自行运行的监控检查。这些检查都是对为受监控网站添加的每个受监控 URL 进行的抓取或系统测试。

抓取选项卡包含以下选项卡：

1、死链接 ：此选项卡允许运行抓取，测试受监控网站前 500 页的链接是否返回数据。

2、丢失的图像和文件 ：该选项卡可让运行抓取，检查受监控网站的前 500 页是否有丢失或损坏的 JavaScript、CSS 或图像文件。

3、文件过大 ：此选项卡允许运行抓取，检查受监控网站前 500 个页面上的 JavaScript、CSS 和图像文件是否都小于 1 兆字节（）。

二、死链接

死链接选项卡包含一个爬虫，用于检查监控网站前 500 个页面中遇到的链接是否返回数据。例如，如果在受监控网站上添加了一个链接，该链接指向一个已从互联网上删除的网站，则该链接不会返回数据，爬虫会将该链接注册为死链接。

单击 URL 编号开始抓取受监控的网站，查找丢失的图片和文件，其中表示该功能将抓取的页面数。

注意：此操作不会重置倒计时条。

首次开始手动抓取时，此选项卡将更新为包含 "过去的检查 "表。该表将包含在受监控网站上执行的所有死链接抓取的以下列：

1、日期 ：手动抓取的日期；

2、发现的页面 ：网站质量监控功能在受监控网站上发现的页面数量。如果该数字大于 ，可以点击它来打开过去的检查结果报告。结果报告将打开；

3、搜索的页面 ：网站质量监控功能在受监控网站上抓取的页面数；

4、状态 ：监控抓取的状态。

单击停止当前正在运行的所有抓取。

完成抓取后，网站质量监控功能会向添加到 "配置警报电子邮件 "选项卡的地址发送电子邮件。

三、丢失的图像和文件

缺失图像和文件选项卡包含一个爬网程序，该程序会测试其遇到的受监控网站的前 500 个页面，以确保加载 JavaScript、CSS 和图像文件。例如，如果尝试在受监控网站的某个页面上显示已删除的图像文件，该页面将向爬虫返回一个失败代码。

单击 URL 编号开始抓取受监控的网站，查找丢失的图片和文件，其中表示该功能将抓取的页面数。

注意：此操作不会重置倒计时条。

首次开始手动抓取时，此选项卡将更新为包含 "过去的检查 "表。该表将包含以下列，显示在受监控网站上执行过的所有缺失图像和文件抓取：

1、日期 ：手动抓取的日期；

2、发现的页面 ：网站质量监控功能在受监控网站上发现的页面数量。如果该数字大于 ，可以点击它来打开过去检查的结果报告，结果报告将打开；

3、搜索的页面 ：网站质量监控功能在受监控网站上抓取的页面数；

4、状态 ：监控抓取的状态。

单击停止当前正在运行的所有抓取。

完成抓取后，网站质量监控功能会向添加到 "配置警报电子邮件 "选项卡的地址发送电子邮件。

四、超大文件

超大文件 "选项卡包含一个爬虫，该爬虫会测试其遇到的受监控网站的前 500 个页面，以确保所有 JavaScript、CSS 和图像文件的大小均小于 1 MB。例如，如果添加了一个 3 MB 的 CSS 文件，就会导致抓取失败。

单击 500 URLs 开始抓取受监控网站的前 500 个页面，查找超大文件。

注意：此操作不会重置倒计时条。

首次开始手动抓取时，此选项卡将更新为包含 "过去的检查 "表。该表将包含在受监控网站上执行过的所有超大文件抓取的以下列：

1、日期 ：手动抓取的日期；

2、发现的页面 ：网站质量监控功能在受监控网站上发现的页面数量。如果该数字大于 ，可以点击它来打开过去检查的结果报告。结果报告将打开；

3、搜索的页面 ：网站质量监控功能在受监控网站上抓取的页面数；

4、状态 ：监控抓取的状态。

单击停止当前正在运行的所有抓取。

完成抓取后，网站质量监控功能会向添加到 "配置警报电子邮件 "选项卡的地址发送电子邮件。

五、结果报告

结果报告显示过去抓取的信息。该报告分为两个部分，分别指每个类别中的页面数量：

1、找到的页面：此部分包含爬虫搜索失败的每个页面的列表。列表显示受影响的域、导致搜索失败的 URL 以及页面返回的 HTTP 代码（如果有）。

2、已检查页面：本部分包含爬虫未搜索失败的每个页面的列表。列表中显示了爬虫检查过的每个页面的 URL。