登录

百度站长平台网站抓取异常连接超时问题解析

网站建设 maolai 1087次浏览 0个评论

最近通过百度站长平台的网页抓取--抓取异常查看,发现连接超时次数/抓取总次数波动比较频繁。即网站总是出现连接超时。如下截图蓝色曲线。

用的是阿里的虚拟主机独享高级版CPU1核、内存1.0G、独享带宽1M.对于小站是足够用的。换了多次机房,观察还是这样。两个站用阿里的虚拟主机都出现网站连接超时。而换其他服务商的主机就没页面连接超时。

网页连接超时

网页连接超时、异常

另外通过Xenu死链接检查有的时候出现很多连接超时,但链接能打开。有时候检测没超时的红色出现。如下图所示:

死链检测连接超时
通过服务器后台查看CPU、内存、带宽没什么异常(下图)。相关网站日志,没有返回码是5XX的状态。返回码404有。

服务器cpu、内存使用率

服务器带宽使用率

抓取异常对网站有哪些影响

对于大量内容无法正常抓取的网站,搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、权重上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。

网站异常原因

从个人分析得出可能有两点:1、可能阿里服务器屏蔽了部分蜘蛛IP。2、有的电信线路访问阿里云服务器不是很稳定。

另外阿里的服务器总是出现问题的。如:在服务器控制面板重启服务器时,会时不时出现“操作异常887 timed out” 。提交工单处理时,工程师说:“是服务器负载异常,建议你升级或购买高配置的服务器”

操作异常887 timed out

但换了高配置的服务器还是出现这个问题。这个是很可能是阿里云虚拟空间存在问题,还时不时的cpu、带宽跑满,根本就不是攻击和程序的问题 。工程师的回答多数都是忽悠人的。

对于上面这种情况,如果对你的网站影响很大的,只能换其他服务商的服务器主机了。


本文由maolai编辑整理发布,转载请注明百度站长平台网站抓取异常连接超时问题解析
喜欢 (0)
[maolai]
分享 (0)
maolai
关于作者:
无折腾,不生活。一个爱折腾,爱分享的90后,欢迎你认识我,我是MAOLAI。
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址