干货分享
思维碰撞

7天 从蜘蛛0爬取做到1970条收录(随笔分享)

7天前,我还在彻夜难眠的思考,撒网式查阅资料来解决我们网站遇到的问题:上线一直0爬取+只收录主页,而7天后,我们网站被全部收录(文章+标签)

有图有真相,不是标题党,下图显示,网站收录1970,文章数量1500+


我们的网站是315当天上线的,没错 当时确实有点那啥,但确实是这样,准确来说是在315当天将robots放开。

确实,我犯了一个站长不该犯的大问题,我没有进行本地运行填充,而是将robots封禁了(团队填充,本地运行很不方便),你应该也知道我想的的啥了:内容填充完再上线肯定会被秒收录……

事实证明,确实被收录了,隔天收录的;与此同时我们也遇到了一个大问题,百度只收录了主页,并没有爬取任何文章页面,如下图,我们的网站在3.20号之前并没有任何蜘蛛爬取

问题就是经过分析、排除、解决的,那么怎么……

解决网站0爬取

正如上图显示,网站就像自己的孩子一样,看着他没有办法正常的成长起来,心里真的很难受;于是我就带着问题,撒网式的寻找解决方案,大致从以下几个方面来优化蜘蛛爬取

  • 提高文章质量
  • 制作Sitemap地图/提交Sitemap地图
  • 网站整体排版简介明了
  • 主动提交

找到了问题的答案,那么接下来就只剩下抄作业了,正如这场疫情,中国已经做出了很好的示范,剩下的就是全球抄作业了;当然能不能抄的好还是要看个人

提高文章质量

因为不是一个人在操作,我一直以为我们文章内容很好,质量很高,直到我真正去筛查之后才发现,文章质量不是一般的糟糕,有一片文章让我记得很清楚,大概就5张图片,然后盖个标题发布了,这让我很奇怪,团队创业难道是为了应付工作吗?

如果有团队工作的话,千万要避免这一点

因此,我就开启了大面积的文章审查工作,该删的删,该改的改,一共修改了300篇左右,百度有抓取了,只不过,这次仅仅只有2,但好在有效果……

制作Sitemap地图/提交Sitemap地图

这个在建站的时候就有生成,所以这个就没有进行太多的改动,只是从之前的不更新,改成了每天去更新

主动提交

这个在开放初期并没有太多的在意,所以想做网站的一定要在这方面下功夫,我们怎么解决的呢?

首先,提交旧文章,将上线前发布的文章的URL全部给提交一遍,期间不断的更新sitemap

其次,新发布的文章即可做百度提交,昨天我专门做了一个测试,看下图,提交之后,10分钟以内就被抓取走了

蜘蛛抓取不一定代表蜘蛛活跃,这就是典型的蜘蛛比较活跃,按照百度官方的说法,抓取之后7-10天放出页面

最后,每天进行提交,不间断的提交,我们文章数量1500多一点,但每天提交都在2500+

很显然,这样做之后,我们的网站从每天的0爬取,在一周内到了每天100+的爬取,再到现在的全站收录,

这些都做完之后

就是网站的一个后期生产维护了,我发现很多人都在说定时定量,经过测试我发现并不全是这么回事儿,我发现一天频繁的更新文章能让蜘蛛变的更活跃,这个频繁可以是10分钟,也可以是半小时,当然……

如果做不到一天频繁发文章的话,那就老老实实定时定量吧,规律才是养蜘蛛的最好方法嘛

大强说

做网站的这段时间,其实我发现,真正能做成功的并不是那些花里胡哨的小细节,而是需要高质量的 有规律的更新文章

要多呈现用户想要的内容,换句话说就是想办法增加用户的留存率,在百度统计后台能看到一个平均访问时长,可以以此来参考用户的留存

再一个就是分析百度热力图,通过热力图来呈现浏览网站的都对什么内容(标题)更感兴趣

好了,到这里就结束了,以上就是我们经过一周的时间,将1收录做到全站收录的全过程,欢迎找我交流,我很乐意与你交流

赞(0) 点我
声明:本站文章<如未标明,均为原创> 百度搜索:大强博客
转载请保留本声明并附带文章链接:https://daqiangblog.com/1806.html

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

前进了吗 OR 躺平了吗

VIP专题大强博客

滴!恭喜你找到一个隐藏入口!

此公众号为日更;微信前100名会送一本网创秘稿,我有信心能让你看完之后为之赞叹!网络是虚拟的,朋友圈是有温度的,我在微信等你!

公众号:大强说

大强 | 二维码