7天前,我还在彻夜难眠的思考,撒网式查阅资料来解决我们网站遇到的问题:上线一直0爬取+只收录主页,而7天后,我们网站被全部收录(文章+标签)
有图有真相,不是标题党,下图显示,网站收录1970,文章数量1500+
我们的网站是315当天上线的,没错 当时确实有点那啥,但确实是这样,准确来说是在315当天将robots放开。
确实,我犯了一个站长不该犯的大问题,我没有进行本地运行填充,而是将robots封禁了(团队填充,本地运行很不方便),你应该也知道我想的的啥了:内容填充完再上线肯定会被秒收录……
事实证明,确实被收录了,隔天收录的;与此同时我们也遇到了一个大问题,百度只收录了主页,并没有爬取任何文章页面,如下图,我们的网站在3.20号之前并没有任何蜘蛛爬取
问题就是经过分析、排除、解决的,那么怎么……
解决网站0爬取
正如上图显示,网站就像自己的孩子一样,看着他没有办法正常的成长起来,心里真的很难受;于是我就带着问题,撒网式的寻找解决方案,大致从以下几个方面来优化蜘蛛爬取
- 提高文章质量
- 制作Sitemap地图/提交Sitemap地图
- 网站整体排版简介明了
- 主动提交
找到了问题的答案,那么接下来就只剩下抄作业了,正如这场疫情,中国已经做出了很好的示范,剩下的就是全球抄作业了;当然能不能抄的好还是要看个人
提高文章质量
因为不是一个人在操作,我一直以为我们文章内容很好,质量很高,直到我真正去筛查之后才发现,文章质量不是一般的糟糕,有一片文章让我记得很清楚,大概就5张图片,然后盖个标题发布了,这让我很奇怪,团队创业难道是为了应付工作吗?
如果有团队工作的话,千万要避免这一点
因此,我就开启了大面积的文章审查工作,该删的删,该改的改,一共修改了300篇左右,百度有抓取了,只不过,这次仅仅只有2,但好在有效果……
制作Sitemap地图/提交Sitemap地图
这个在建站的时候就有生成,所以这个就没有进行太多的改动,只是从之前的不更新,改成了每天去更新
主动提交
这个在开放初期并没有太多的在意,所以想做网站的一定要在这方面下功夫,我们怎么解决的呢?
首先,提交旧文章,将上线前发布的文章的URL全部给提交一遍,期间不断的更新sitemap
其次,新发布的文章即可做百度提交,昨天我专门做了一个测试,看下图,提交之后,10分钟以内就被抓取走了
蜘蛛抓取不一定代表蜘蛛活跃,这就是典型的蜘蛛比较活跃,按照百度官方的说法,抓取之后7-10天放出页面
最后,每天进行提交,不间断的提交,我们文章数量1500多一点,但每天提交都在2500+
很显然,这样做之后,我们的网站从每天的0爬取,在一周内到了每天100+的爬取,再到现在的全站收录,
这些都做完之后
就是网站的一个后期生产维护了,我发现很多人都在说定时定量,经过测试我发现并不全是这么回事儿,我发现一天频繁的更新文章能让蜘蛛变的更活跃,这个频繁可以是10分钟,也可以是半小时,当然……
如果做不到一天频繁发文章的话,那就老老实实定时定量吧,规律才是养蜘蛛的最好方法嘛
大强说
做网站的这段时间,其实我发现,真正能做成功的并不是那些花里胡哨的小细节,而是需要高质量的 有规律的更新文章
要多呈现用户想要的内容,换句话说就是想办法增加用户的留存率,在百度统计后台能看到一个平均访问时长,可以以此来参考用户的留存
再一个就是分析百度热力图,通过热力图来呈现浏览网站的都对什么内容(标题)更感兴趣
好了,到这里就结束了,以上就是我们经过一周的时间,将1收录做到全站收录的全过程,欢迎找我交流,我很乐意与你交流