最近更新
阅读排行
读过本文章的之前读了
关注本站
初步了解百度蜘蛛-Baiduspider
阅读：3292 次 编辑日期：2013-11-11
目录：
概述：
网站做完了之后第一件事是干嘛？没错，是提交网站，百度蜘蛛-Baiduspider引来，那么百度蜘蛛-Baiduspider到底是什么呢？我们今天来小聊一下。
什么是百度蜘蛛：
百度蜘蛛就是在互联网上，抓取新内容的一个程序，详细的不在说了，大家都懂的。
如何“引来”百度蜘蛛：
首先需要在百度提交自己网站的URL（http://www.baidu.com/search/url_submit.html ），当然不提交也是可以被收录的，但是主动提交会快一些。
如何知道百度蜘蛛来过自己的网站：
这需要看自己网站的爬行日志，ctrl+f 搜索 spider，你会看到很多，这就是搜索引擎的蜘蛛，找到Baiduspider。记录里面会有蜘蛛来的时间等等信息。
上面就是一段百度蜘蛛来过的日志，一段日志以“ --”开始，以“ --”结尾，日志中包括了访问的日期时间“2013年11月22日”，包括了返回状态“200”等内容。
百度蜘蛛来过之后就是被收录了？：
当然不是，百度收录是有一段考核期的，这期间范的错误越多这个期限就越长。
如何屏蔽百度蜘蛛：
如果我的某些页面不想让百度蜘蛛抓取到怎么办？当然后办法，需要创建robots.txt文件，并将文件放置在网站根目录：‘
文件的内容如下：
禁止所有搜索引擎访问网站
User-agent: *
禁止某个搜索引擎的访问
User-agent: BadBot
百度蜘蛛多久来一趟：
这样看网站的权重，权重越高来的越频繁（每天会来多次），所以刚开始来的不会很频繁（多天会来一次）。
如何让百度蜘蛛尽快收录：
方法很多，最简单的办法——花钱。但是这样又有什么意思呢？
首先，当然是提交网站（刚刚已经说了），
提交完网站之后需要勤更新，并且要规律性，最好是原创文章，因为百度蜘蛛会把从网站上获取的内容到数据库里面比对，如果有类似的就很难被收录了。
去权重高的一些网站去发布一些软文，所谓软文就是发布一些文章在文章中写入自己网站的链接。但是很多网站已经不允许这么做了，我本打算在CSDN发布一篇软文，刚发布博客就被封了。
不要对网站的关键词，结构大幅度的修改，也不要重复提交网址。
百度蜘蛛爬行的原理：
百度蜘蛛是顺着URL爬进来，然后看站内的结构，看看是不是安全，如果安全的话会对站内信息进行收录，看看有没有什么新东西，有的话就被蜘蛛带走了。
应该以什么频率更新文章：
如过我总共有20篇原创文章，是应该一天1篇，连着20天每天放一篇，还是应该一次性都放进去？
根据我自己的经验（不一定正确）：
我刚开始只放了3片文章，然后打算每天更新1篇，百度蜘蛛3天来1回，之后我1天更新3片文章，百度蜘蛛大概每天都会来，但是这样对于白天上班的我来说压力很大，百度蜘蛛喜欢原创文章大家都知道，
但是如果每天保持3片的原创文章的力度的话那真的有点吃不消，我的做法是把原来的一篇文章拆成若干个部分，就好比《关于百度蜘蛛（一）》，《关于百度蜘蛛（二）》，《关于百度蜘蛛（三）》。
这样原来的一篇可以变为3篇文章，但是文章内容不要过于简单，不要只有两三行。
