如果网站内容好，但是页面却收录却寥寥无几时，多数是因为页面根本没有被蜘蛛爬取。这时就应该对网站进行全面检测，主要包括Robots文件、页面层级、代码结构、网站链接等方面。
1、Robots文件，全称“网络爬虫排除标准”（Robots Exclusion Protocol）。网站通过Robots协议可以告诉蜘蛛哪些页面可以抓取，哪些页面不能抓取。
2、页面层级，表现在网站物理层级结构、逻辑层级结构等多方面。以逻辑层级结构URL结构为例，方便记忆、层级简短、长度适中的静态URL是被搜索引擎蜘蛛所喜爱的。URL结构（以“/”为划分标志），一般不宜超过4层，结构太复杂不利于搜索引擎收录，也会影响到用户体验度。
3、网站代码类别、结构也会影响网页是否被蜘蛛抓取。如：IFRAME、Java Script等代码，目前还不能被百度搜索引擎蜘蛛有效的理解、抓取，所以需要尽量减少这类代码的使用。另外，过大的代码量也会导致蜘蛛抓取不完全。
4、网站链接是网页间权重传递的“入口”，链接的数量和质量，直接影响到页面能否被蜘蛛抓取和收录。低质量链接堆砌只会给网站带来毁灭性的灾害，且还要及时排除错误链接和死链接，减少蜘蛛对死链接的抓取时间。尽量多从正规和相关站点获得反向链接，这样才可以提高网站的权重。
另外，网站也可以给蜘蛛提供一些快捷通道，比如sitemap。一个结构清晰的网站地图能让搜索引擎蜘蛛清楚的了解网站结构从而顺利的抓取整个网站页面。
通过高质量内容更新、优质的链接交换、以及合理网站结构，可以让蜘蛛更好的了解网站，抓取网站页面。但是不能为了吸引蜘蛛抓取而发布一些和网站内容无关的页面，或是过度优化网站。因为只有真正用心去做，并且能给用户带来价值的网站，才能被搜索引擎和用户喜欢。
作者：涨粉公举
