另外关于robots.txt文件导致网站没收录的原因还有一个，那就是网站上线前期，许多小伙伴认为网站内容还不够完善，还需要作调整，于是就在robots.txt文件里面写下禁止所有搜索引擎蜘蛛来抓取，想着等网站完善好了，再更改规则让搜索引擎蜘蛛来抓取。小编只想说每个人都是有脾气的，搜索引擎蜘蛛虽然是机器，但脾气绝对不小，你网址能正常打开，一次来你拒之门外，二次三次也还是拒之门外，然后搜索引擎蜘蛛就启用它的记忆功能了，这家伙给我的第一印象极差，多次上门都不请我进去坐坐，后果可想而知。所以就算过一段时间再把禁止规则去掉，蜘蛛已经长时间不来光顾，网站没有收录也是再正常不过。