神马搜索蜘蛛抓取失败怎么解决，站长后台提示抓取封禁

神马搜索也是能带来一些自然流量的那么神马搜索收录降低怎么办？实战解决神马搜索蜘蛛抓取失败问题。昨天晚上，痴痴资源网站长在群里询问神马蜘蛛抓取失败，一直显示抓取封禁，然后再寻求可以帮他解决问题的站长，并且可以赠送红牛，当我听见这个红牛，我赶紧冲着多年的友谊就去了（其实冲着红牛去的），然后咱们再先看一下他的情况吧。

这是目前他神马站长平台的抓取情况，全部显示抓取封禁，这里呢我第一眼想到的是可能是他robot封禁神马搜索抓取了，然后就查询了一下他的robot

通过观察可以发现，他的robot并没有什么问题，有没有把神马蜘蛛封禁，然后又询问了一下痴痴，得到信息他以前是可以正常抓取的，就是最近发现出现了这么一个问题，他的robot也没做过任何修改，把robot问题排除掉。

既然robot没问题，那就有点奇怪了，显示封禁，说明蜘蛛已经抓了，但是被禁止了，最有可能的就是robot封禁了，既然不是这个问题咱们就找一下下一个问题。

我这里呢，认为应该是宝塔防火墙的问题，这个宝塔的防火墙默认是放通蜘蛛ip的，不过好像是因为这个神马搜索太小众，宝塔并没有添加神马蜘蛛ip为白名单，以前也有人反馈过这个问题，现在我也不知道解决了没有，然后我先使用模拟蜘蛛抓取工具抓取一下痴痴资源网。

抓取的时候显示403，最后抓取失败，这时候我就更加坚信，肯定是防火墙拦截了，403报错一般就是防火墙拦截，或者是dns问题，但是如果是DNS问题那么他网站应该无法正常访问的，而且他使用大厂dns，应该不会出现这种问题，然后排除dns问题去看防火墙问题。

然后我让痴痴关闭防火墙再试试，结果抓取还是显示403，这就很疑惑了，我这有点摸不到头脑，明明红牛就在我眼前，我就喝不到，不过我觉得这种问题多半是防火墙拦截之类的，然后我就问痴痴那里有没有使用类似于防火墙的一些东西，然后痴痴检查了检查，好巧不巧，问题找到了。

注意看这个图，你们发现了什么没有？这个是原来别人分享的封禁垃圾爬虫和恶意采集ua头代码，使用之后可以封禁那些恶意爬虫，痴痴使用了这个代码，然后大家看一下下面这个图。

红线部分，注意这个红线，指的这个地方，这个ua头就是神马搜索的蜘蛛ua头，这个拦截垃圾蜘蛛代码，把神马的搜索当成垃圾蜘蛛拦截掉了，然后痴痴把这个关闭，接下来再次使用模拟蜘蛛抓取来看。

可以看到，模拟神马蜘蛛抓取抓取成功了，到这里问题差不多就是解决了。

原来，痴痴一直以为神马收录排名降低是正常波动，结果连续往下降，这才发现有这么一个问题，现在解决之后，从神马站长平台立马就看见效果，蜘蛛成功抓取。

最后呢，总结一下，到最后我也没有喝上红牛，真没想到问题出在这里，我还一直觉得是防火墙问题，有一些站长认为，除了百度蜘蛛，其他的就都不用管，这里其实我并不这样认为，现在有一些手机游览器都是默认搜狗搜索，uc，夸克等游览器默认都是神马搜索，这里其实也是有一些庞大的用户团体，像痴痴这样的大佬，都是注重所有搜索的排名，我这怎么能说除了百度其他的就没用呢？

神马搜索收录降低怎么办？实战解决神马搜索抓取失败问题到这里已经完美解决了，我还是比较建议这些屏蔽垃圾蜘蛛的代码，防火墙之类的可以稍微完善一下，好歹神马也是大厂，也不能这样当成垃圾蜘蛛拦截呀。