有些站长在优化网站的过程中，会遇到这样一个问题：我网站的关键词布局没问题、内容质量没问题，并且规律性的更新网站内容，同时也有持续在一些高权重平台发布外链，为什么百度蜘蛛就是不收录的的网页？对于这样的问题，笔者认为首先要知道网站是否有屏蔽了百度蜘蛛的抓取，因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛，这也是比较常见的。下面笔者来教大家怎样查看网站有没有屏蔽百度蜘蛛的抓取。
想知道网站有没有屏蔽百度蜘蛛的抓取，有两种方法
第一种：查看网站的robots.txt文件，此文件一般在网站的根目录下，显示如下：
User-agent:*
Disallow: /
这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。
User-agent: Baiduspider
Disallow: /
这样就表示屏蔽了百度蜘蛛抓取。
那要怎样才能让百度蜘蛛抓取呢？笔者举个例子，如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
上述的例子中，把Disallow: /改成指定的屏蔽目录就可以了，通常情况下，网站的后台目录是需要屏蔽的，只要指定的要屏蔽的目录，其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow: /改成Allow: /，Allow的意思是指允许抓取的目录或页面。
第二种：查看网站的页面代码中是否设置屏蔽
在网站页面代码与之间，有没有follow">或者follow">的代码，如果有，把这段代码删除即可。
通过以上两种方法都可以查看一个网站是否有屏蔽了百度蜘蛛的抓取。
