最近通过百度站长平台的网页抓取--抓取异常查看,发现连接超时次数/抓取总次数波动比较频繁。即网站总是出现连接超时。如下截图蓝色曲线。
用的是阿里的虚拟主机独享高级版CPU1核、内存1.0G、独享带宽1M.对于小站是足够用的。换了多次机房,观察还是这样。两个站用阿里的虚拟主机都出现网站连接超时。而换其他服务商的主机就没页面连接超时。
另外通过Xenu死链接检查有的时候出现很多连接超时,但链接能打开。有时候检测没超时的红色出现。如下图所示:
通过服务器后台查看CPU、内存、带宽没什么异常(下图)。相关网站日志,没有返回码是5XX的状态。返回码404有。
抓取异常对网站有哪些影响
对于大量内容无法正常抓取的网站,搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、权重上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。
从个人分析得出可能有两点:1、可能阿里服务器屏蔽了部分蜘蛛IP。2、有的电信线路访问阿里云服务器不是很稳定。
另外阿里的服务器总是出现问题的。如:在服务器控制面板重启服务器时,会时不时出现“操作异常887 timed out” 。提交工单处理时,工程师说:“是服务器负载异常,建议你升级或购买高配置的服务器”
但换了高配置的服务器还是出现这个问题。这个是很可能是阿里云虚拟空间存在问题,还时不时的cpu、带宽跑满,根本就不是攻击和程序的问题 。工程师的回答多数都是忽悠人的。
对于上面这种情况,如果对你的网站影响很大的,只能换其他服务商的服务器主机了。