最近更新
阅读排行
读过本文章的之前读了
关注本站

初步了解百度蜘蛛-Baiduspider

阅读:2874 次   编辑日期:2013-11-11

目录:

概述:

网站做完了之后第一件事是干嘛?没错,是提交网站,百度蜘蛛-Baiduspider引来,那么百度蜘蛛-Baiduspider到底是什么呢?我们今天来小聊一下。

什么是百度蜘蛛:

百度蜘蛛就是在互联网上,抓取新内容的一个程序,详细的不在说了,大家都懂的。

如何“引来”百度蜘蛛:

首先需要在百度提交自己网站的URL(http://www.baidu.com/search/url_submit.html ),当然不提交也是可以被收录的,但是主动提交会快一些。

如何知道百度蜘蛛来过自己的网站:

这需要看自己网站的爬行日志,ctrl+f 搜索 spider,你会看到很多,这就是搜索引擎的蜘蛛,找到Baiduspider。记录里面会有蜘蛛来的时间等等信息。
上面就是一段百度蜘蛛来过的日志,一段日志以“ --”开始,以“ --”结尾,日志中包括了访问的日期时间“2013年11月22日”,包括了返回状态“200”等内容。

百度蜘蛛来过之后就是被收录了?:

当然不是,百度收录是有一段考核期的,这期间范的错误越多这个期限就越长。

如何屏蔽百度蜘蛛:

如果我的某些页面不想让百度蜘蛛抓取到怎么办?当然后办法,需要创建robots.txt文件,并将文件放置在网站根目录:‘
    文件的内容如下:
	禁止所有搜索引擎访问网站
	User-agent: *
	禁止某个搜索引擎的访问
	User-agent: BadBot

百度蜘蛛多久来一趟:

这样看网站的权重,权重越高来的越频繁(每天会来多次),所以刚开始来的不会很频繁(多天会来一次)。

如何让百度蜘蛛尽快收录:

方法很多,最简单的办法——花钱。但是这样又有什么意思呢? 首先,当然是提交网站(刚刚已经说了), 提交完网站之后需要勤更新,并且要规律性,最好是原创文章,因为百度蜘蛛会把从网站上获取的内容到数据库里面比对,如果有类似的就很难被收录了。 去权重高的一些网站去发布一些软文,所谓软文就是发布一些文章在文章中写入自己网站的链接。但是很多网站已经不允许这么做了,我本打算在CSDN发布一篇软文,刚发布博客就被封了。 不要对网站的关键词,结构大幅度的修改,也不要重复提交网址。

百度蜘蛛爬行的原理:

百度蜘蛛是顺着URL爬进来,然后看站内的结构,看看是不是安全,如果安全的话会对站内信息进行收录,看看有没有什么新东西,有的话就被蜘蛛带走了。

应该以什么频率更新文章:

如过我总共有20篇原创文章,是应该一天1篇,连着20天每天放一篇,还是应该一次性都放进去?
根据我自己的经验(不一定正确): 我刚开始只放了3片文章,然后打算每天更新1篇,百度蜘蛛3天来1回,之后我1天更新3片文章,百度蜘蛛大概每天都会来,但是这样对于白天上班的我来说压力很大,百度蜘蛛喜欢原创文章大家都知道, 但是如果每天保持3片的原创文章的力度的话那真的有点吃不消,我的做法是把原来的一篇文章拆成若干个部分,就好比《关于百度蜘蛛(一)》,《关于百度蜘蛛(二)》,《关于百度蜘蛛(三)》。 这样原来的一篇可以变为3篇文章,但是文章内容不要过于简单,不要只有两三行。
将本篇文章分享到:
top