一、网络爬虫简介
网络爬虫，在搜索引擎系统中又被称之为“蜘蛛”或“机器人”，是用来爬行和访问页面的程序。 ① 爬行原理 网络爬虫访问网页的过程，就好比用户使用的浏览器。 网络爬虫向页面发出访问请求，该页面的服务器则返回该页面的HTML代码。 网络爬虫将收到的HTML代码存入搜索引擎的原始页面数据库中。 ② 如何爬行 为了提高网络爬虫的工作效率，通常采用多个蜘蛛并发分布爬行。 同时，分布爬行还分为两种模式：深度优先和广度优先。 深度优先：沿着发现的链接一直爬行，直到没有任何链接。 广度优先：先这一页面上的所有链接爬行完毕之后，才会沿着第二层页面继续这样爬行。 ③ 蜘蛛必遵守的协议 网络爬虫在访问网站之前，都会先访问网站根目录下的robots.txt文件。 网络爬虫不会去抓取robots.txt文件中禁止爬行的文件或目录。 ④ 常见搜索引擎蜘蛛 百度蜘蛛：Baiduspider 谷歌蜘蛛：Googlebot 360蜘蛛：360Spider SOSO蜘蛛：Sosospider 有道蜘蛛：YoudaoBot，YodaoBot 搜狗蜘蛛：Sogou News Spider 必应蜘蛛：bingbot Alexa蜘蛛：ia_archiver二、如何吸引更多网络爬虫
互联网信息爆炸，网络爬虫不可能将所有网站的所有链接全部爬行到，那么如何吸引更多的网络爬虫到我们网站上来爬行变得非常重要。 ① 导入链接 无论是外部链接，还是内部链接，只有有导入，才能被网络爬虫知道该页面的存在。所以，多多做外链建设有助于吸引更多蜘蛛来访。 ② 页面更新频率 页面更新频率越高，网络爬虫来访的次数也会越多。 ③ 网站和页面权重 整个网站的权重以及某一页面的权重（包括首页也是页面）影响着蜘蛛的来访频率，权重高、权威性强的网站一般都会增加网络爬虫的好感。 ④ 与首页的距离 首页>一级目录>二级目录>三级目录>四级目录…很显然，目录越深蜘蛛来访的几率和次数就会越少，因为一般外链都是指向首页的，首页再向下爬行，只会越来越少。 这里给大家的建议是，做外链的时候，不要只做首页外链，偶尔做一做栏目和聚合页面的外链也还是不错的哦~ 有些时候，URL短，蜘蛛可能也会觉得这个链接的权重哦，所以，最好只做一级栏目，然后就是文章页面。三、网络爬虫地址库
网络爬虫有一个专门的地址库，用来存放已经被发现的URL（已被抓取和未被抓取的都算，只要是被发现的URL都算），这样就不会出现重复爬行和抓取页面的情况了。 ① 地址库URL来源 蜘蛛抓取的页面中发现的新的URL； 站长后台自主提交的URL； 站长后台提交的XML地图中的URL； 站长后台提交的网站URL； ② 对于未被抓取的URL 对于未被抓取的URL，不管是以什么方式获取的，哪怕是网络爬虫自己发现的，也会先放入地址库中，然后在做统一抓取。四、页面数据存储
网络爬虫将抓取的页面数据会存入搜索引擎的原始页面数据库中，其实，就可以理解为快照中看到的页面数据，和用户看到的是一样的，每一个页面的URL地址都有一个唯一的编号。五、复制内容检测
网络爬虫在爬行的过程中，会进行一定程度的复制内容检测。如果是权重低的网站上，发现了大量的转载或抄袭内容时，可能会停止爬行，这些页面可能也会不抓取与收录。 但并不是说网站就不能转载，像一些权重很高的平台，哪怕是转载了一篇旧闻排名也可以很好，因为网络爬虫可能会觉得，就算是旧闻可能也是高质量的吧。相关搜索
| 搜索引擎网站制作 | 搜索引擎 广告 | 客户搜索引擎 | ||
|---|---|---|---|---|
| 搜索引擎营销 | 百度网盘搜索引擎盘多多 | 搜索引擎营销主要方法 |
