网络爬虫：搜索引擎蜘蛛是什么
搜索引擎蜘蛛是网络爬虫（又被称为网页蜘蛛，网络机器人）是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
构成互联网最根本的元素是网站的页面，而连接各个页面的是链接。百度等搜索引擎为了抓取这些页面，开发了一套程序。这套程序能通过互联网的链接，不断的抓取你的网站页面。这套程序就是搜索引擎蜘蛛。如果你有编程基础，可以用python等编程语言，编写一些网站采集程序，其实这样的程序也是小型的蜘蛛爬虫。当然它的原理和实现都很简单。而搜索引擎蜘蛛的实现就比较复杂了。
怎么识别不同的搜索引擎蜘蛛？
百度，搜孤，360和移动端的神马都有各自的搜索引擎蜘蛛。识别他们比较简单，可以根据User-Agent字段来识别。
1.百度
移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）
新增渲染UA:
移动UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
2.搜狗
PC端UA为：
Sogou web spider
Sogou inst spider
Sogou spider
无线端UA为：
Sogou wap spider
3.360
百度和搜狗没有公开搜索引擎蜘蛛的具体IP,而360有公布部分搜索引擎蜘蛛IP。那怎么知道访问IP是否是搜索引擎蜘蛛呢?
可以通过反查，来确定是否是搜索引擎的蜘蛛
1.百度：
1）、在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
2)、在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
3）、 在mac os平台下，您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
2.搜狗：
搜狗暂不对外提供搜狗spider IP列表，但您可以通过DNS反查IP的方式判断某只spider是否来自搜狗搜索引擎。根据不同平台有不同的验证方法。
linux平台：
命令为host ip,如下图。搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均为冒充。
在windows平台或者IBM OS/2平台：
命令为nslookup ip，搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均为冒充。
mac os平台：
命令为dig ip，搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均为冒充。
3.360蜘蛛IP:
180.153.234.* 180.153.236.* 42.236.101.* 42.236.102.* 42.236.103.* 42.236.12.*
42.236.13.* 42.236.14.* 42.236.15.* 42.236.16.* 42.236.17.* 42.236.46.*
42.236.48.* 42.236.49.* 42.236.50.* 42.236.51.* 42.236.52.* 42.236.53.*
42.236.54.* 42.236.55.* 42.236.99.* 180.153.232.*
搜索引擎蜘蛛的抓取频次是怎样的？
搜索引擎蜘蛛会根据网页的重要性和历史变化情况来动态调整更新时间，更新已经抓取过的页面。一般来说新站搜索引擎蜘蛛来的少，而有一定权重的网站搜索引擎蜘蛛来的快。
怎么加快搜索引擎蜘蛛访问？
引蜘蛛，这是相当经典的SEO术语。比如问到网站不收录怎么办？引蜘蛛呗。呵呵，引擎蜘蛛就是给网站发外链啦。
加大文章更新频率，每天更新量的加大，蜘蛛就来的勤快。你可以理解为，用网站文章喂养蜘蛛，有东西吃，蜘蛛当然来的勤快了。
放入蜘蛛池，非常高端的说法，其实本质也是外链引蜘蛛啦，不过蜘蛛词的外链系统非常的庞大。
百度站长工具提交，百度站长工具有各种提交工具，用上。
网站地图更新，网站地图当然是要做的。
网站换空间怎么通知搜索引擎蜘蛛？
百度站长工具有蜘蛛抓取检测，可以通过抓取网站，通知百度蜘蛛已经更换了服务器IP，同时旧服务器不能直接关闭，最少要开一周左右。
网站换空间怎么通知搜索引擎蜘蛛？
百度站长工具有蜘蛛抓取检测，可以通过抓取网站，通知百度蜘蛛已经更换了服务器IP，同时旧服务器不能直接关闭，最少要开一周左右。
搜索引擎蜘蛛日志如何分析？
1.什么是蜘蛛日志？
蜘蛛日志是网站的服务器日志文件，这个日志记录了网站被搜索引擎爬取的痕迹，比如一天之内，什么蜘蛛抓取了哪些页面，页面抓取是否成功之类的。
2. 分析网站日志有什么作用?
a、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数，可以屏蔽伪蜘蛛(此类蜘蛛多以采集为主，会增加我们服务器的开销
b、通过分析网站日志，我们可以准确定位搜索引擎蜘蛛爬行的页面以及时间长短，我们可以依次有针对性的对我们的网站进行微调。
c、http返回状态码，搜索引擎蜘蛛以及用户每访问我们的网站一次，服务器端都会产生类似301，404，200的状态吗，我们可以参照此类信息，对我们出现问题的网站进行简单的诊断，及时处理问题。
3.如何分析蜘蛛日志
分析工具比较多，有经典的光年蜘蛛日志分析工具，还有loghao.com在线蜘蛛日志分析等。当然你公司有程序员的话，可以自己写一个蜘蛛日志分析工具。如果不用这些蜘蛛日志分析工具也是可以的。可以通过excel表格进行查看。蜘蛛日志本身很简单，没什么分析的难度。只是用工具分析会更快一些。
哪些网站设计是蜘蛛陷阱？
“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。
下面这些结构有可能导致蜘蛛陷阱：
1.FLASH 这个不用说是典型的蜘蛛陷阱。
2.Session ID
3.各种跳转
4.各种框架结构
5.动态URL
6.JavaScript链接
7.强制使用Cookies
搜索蜘蛛爬取，页面一定会被收录吗？
这是不一定的，蜘蛛爬取过后，是否放出页面收录还要看页面的质量如何。
如何屏蔽搜索蜘蛛抓取？
可以用robots.txt文件禁止页面被收录。具体的robots.txt写法，智宇会写另一篇文章介绍。
如何调整搜索蜘蛛的抓取频率？
可以通过百度站长工具后台调整:
1. 抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次
2. Baiduspider会根据网站服务器压力自动进行抓取频次调整
3. 建议您慎重调节抓取频次上限值，如果抓取频次过小则会影响Baiduspider对网站的收录
搜索引擎蜘蛛 喜欢收录什么样的页面
内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 百度搜索引擎蜘蛛 收录。
链接层次较浅的页面。过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。
如果是动态网页，请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面，越有可能被搜索引擎蜘蛛丢弃。
构成互联网最根本的元素是网站的页面，而连接各个页面的是链接。百度等搜索引擎为了抓取这些页面，开发了一套程序。这套程序能通过互联网的链接，不断的抓取你的网站页面。这套程序就是搜索引擎蜘蛛。如果你有编程基础，可以用python等编程语言，编写一些网站采集程序，其实这样的程序也是小型的蜘蛛爬虫。当然它的原理和实现都很简单。而搜索引擎蜘蛛的实现就比较复杂了。
怎么识别不同的搜索引擎蜘蛛？
百度，搜孤，360和移动端的神马都有各自的搜索引擎蜘蛛。识别他们比较简单，可以根据User-Agent字段来识别。
1.百度
移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）
新增渲染UA:
移动UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
2.搜狗
PC端UA为：
Sogou web spider
Sogou inst spider
Sogou spider
无线端UA为：
Sogou wap spider
3.360
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gcko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
百度和搜狗没有公开搜索引擎蜘蛛的具体IP,而360有公布部分搜索引擎蜘蛛IP。那怎么知道访问IP是否是搜索引擎蜘蛛呢?
可以通过反查，来确定是否是搜索引擎的蜘蛛
1.百度：
1）、在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
2)、在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
3）、 在mac os平台下，您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
2.搜狗：
搜狗暂不对外提供搜狗spider IP列表，但您可以通过DNS反查IP的方式判断某只spider是否来自搜狗搜索引擎。根据不同平台有不同的验证方法。
linux平台：
命令为host ip,如下图。搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均为冒充。
在windows平台或者IBM OS/2平台：
命令为nslookup ip，搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均为冒充。
mac os平台：
命令为dig ip，搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均为冒充。
3.360蜘蛛IP:
180.153.234.* 180.153.236.* 42.236.101.* 42.236.102.* 42.236.103.* 42.236.12.*
42.236.13.* 42.236.14.* 42.236.15.* 42.236.16.* 42.236.17.* 42.236.46.*
42.236.48.* 42.236.49.* 42.236.50.* 42.236.51.* 42.236.52.* 42.236.53.*
42.236.54.* 42.236.55.* 42.236.99.* 180.153.232.*
搜索引擎蜘蛛的抓取频次是怎样的？
搜索引擎蜘蛛会根据网页的重要性和历史变化情况来动态调整更新时间，更新已经抓取过的页面。一般来说新站搜索引擎蜘蛛来的少，而有一定权重的网站搜索引擎蜘蛛来的快。
怎么加快搜索引擎蜘蛛访问？
引蜘蛛，这是相当经典的SEO术语。比如问到网站不收录怎么办？引蜘蛛呗。呵呵，引擎蜘蛛就是给网站发外链啦。
加大文章更新频率，每天更新量的加大，蜘蛛就来的勤快。你可以理解为，用网站文章喂养蜘蛛，有东西吃，蜘蛛当然来的勤快了。
放入蜘蛛池，非常高端的说法，其实本质也是外链引蜘蛛啦，不过蜘蛛词的外链系统非常的庞大。
百度站长工具提交，百度站长工具有各种提交工具，用上。
网站地图更新，网站地图当然是要做的。
网站换空间怎么通知搜索引擎蜘蛛？
百度站长工具有蜘蛛抓取检测，可以通过抓取网站，通知百度蜘蛛已经更换了服务器IP，同时旧服务器不能直接关闭，最少要开一周左右。
网站换空间怎么通知搜索引擎蜘蛛？
百度站长工具有蜘蛛抓取检测，可以通过抓取网站，通知百度蜘蛛已经更换了服务器IP，同时旧服务器不能直接关闭，最少要开一周左右。
搜索引擎蜘蛛日志如何分析？
1.什么是蜘蛛日志？
蜘蛛日志是网站的服务器日志文件，这个日志记录了网站被搜索引擎爬取的痕迹，比如一天之内，什么蜘蛛抓取了哪些页面，页面抓取是否成功之类的。
2. 分析网站日志有什么作用?
a、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数，可以屏蔽伪蜘蛛(此类蜘蛛多以采集为主，会增加我们服务器的开销
b、通过分析网站日志，我们可以准确定位搜索引擎蜘蛛爬行的页面以及时间长短，我们可以依次有针对性的对我们的网站进行微调。
c、http返回状态码，搜索引擎蜘蛛以及用户每访问我们的网站一次，服务器端都会产生类似301，404，200的状态吗，我们可以参照此类信息，对我们出现问题的网站进行简单的诊断，及时处理问题。
3.如何分析蜘蛛日志
分析工具比较多，有经典的光年蜘蛛日志分析工具，还有loghao.com在线蜘蛛日志分析等。当然你公司有程序员的话，可以自己写一个蜘蛛日志分析工具。如果不用这些蜘蛛日志分析工具也是可以的。可以通过excel表格进行查看。蜘蛛日志本身很简单，没什么分析的难度。只是用工具分析会更快一些。
哪些网站设计是蜘蛛陷阱？
“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。
下面这些结构有可能导致蜘蛛陷阱：
1.FLASH 这个不用说是典型的蜘蛛陷阱。
2.Session ID
3.各种跳转
4.各种框架结构
5.动态URL
6.JavaScript链接
7.强制使用Cookies
搜索蜘蛛爬取，页面一定会被收录吗？
这是不一定的，蜘蛛爬取过后，是否放出页面收录还要看页面的质量如何。
如何屏蔽搜索蜘蛛抓取？
可以用robots.txt文件禁止页面被收录。具体的robots.txt写法，智宇会写另一篇文章介绍。
如何调整搜索蜘蛛的抓取频率？
可以通过百度站长工具后台调整:
1. 抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次
2. Baiduspider会根据网站服务器压力自动进行抓取频次调整
3. 建议您慎重调节抓取频次上限值，如果抓取频次过小则会影响Baiduspider对网站的收录
搜索引擎蜘蛛 喜欢收录什么样的页面
内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 百度搜索引擎蜘蛛 收录。
链接层次较浅的页面。过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。
如果是动态网页，请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面，越有可能被搜索引擎蜘蛛丢弃。