模拟百度蜘蛛尽然有这样的用法小盆友都惊呆了

	作用：听说作用最重要，特别说一下作用，这种模拟百度蜘蛛访问一些有限制的网站可以达到不被拦截，狂发帖，狂模拟，超级访问权限，并且达到不封的效果，当然这只是针对不拦截百度蜘蛛的效果有用的。 这个是是原理了：小菜飞过。 function imitateSpider($url){ $ci = curl_init();   //初始化一个CURL的会话 $user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";//这里模拟的是百度蜘蛛 //curl_setopt($ci,CURLOPT_PROXY,'74.125.71.99'); curl_setopt($ci, CURLOPT_URL, $url); curl_setopt($ci, CURLOPT_HEADER, false); curl_setopt($ci, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ci, CURLOPT_REFERER, 'http://www.baidu.com');//这里写一个来源地址，可以写要抓的页面的首页 curl_setopt($ci, CURLOPT_USERAGENT, $user_agent); $temp=curl_exec($ci);//执行CURL会话 curl_close($ci); return $temp; } $url='www.google.com.hk'; $data=imitateSpider($url); print_r($data); 用YYPOST的模拟百度蜘蛛访问一些有限制的网站，有时可以做到神奇效果，比如一些网站，不让一般人打开的网站，或是会被封IP，下次我们讲讲如何模拟百度IP去访问那些网站限制的哈，这个我们先说一下模拟百度蜘蛛访问网站的步骤，如下图所示： 遇到这种网站往往他们这些网站不会限制百度蜘蛛访问的，所以才会还存在网络中，除非像腾讯，阿里巴巴，淘宝那些大牛就省略过了，人家根本不在乎百度蜘蛛好吧。 用YY怎么做呢？这是一个问题： 首先你得有YYPOST的软件，步骤很简单，我们就用YYPOST的超级访问更改权限吧。看下面录像就懂了哈， 这个是录像，加载有点慢的： 代码就是这段：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) 然而我们再脑补一下什么是百度蜘蛛吧： baiduspider在爬取网页时，发送请求的User-Agent字段内容将更新。 目前的字段内容是 Baiduspider+(+http://www.baidu.com/search/spider.htm) 更换后的字段内容是 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) 模拟蜘蛛的原理其实很简单，就是修改User-Agent 当然也可以修改成不同浏览器或者移动设备。对于蜘蛛模拟还可以做一样事情，那就是当蜘蛛过来的时候，呈现的内容是符合蜘蛛口味，比如一些关键词的堆砌（SEO优化），对于浏览器或移动设备访问（人），呈现的内容是另外一种正常的文章，为的是用户体验。 比如我用IE来模拟火狐访问，就是修改为火狐的信息 使用这个：navigator.userAgent 查看 Mozilla/5.0 (Windows NT 5.1; rv:14.0) Gecko/20100101 Firefox/14.0.1 不但如此，还有一些很多常用的User-Agent放送给大家哈 [td] 蜘蛛与爬虫名称 搜索引擎蜘蛛与网络爬虫记录 360搜索 360Spider Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider 360搜索 360Spider Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30; 360Spider 360 搜索 360Spider Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider 360搜索 360Spider Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider 360 搜索 360Spider Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.2.2661.102 Safari/537.36; 360Spider 360搜索 360Spider Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.2.2661.102 Safari/537.36; 360Spider 360搜索 360Spider Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.4.2661.102 Safari/537.36; 360Spider 百度搜索 Baiduspider Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html 百度搜索 Baiduspider Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) 百度搜索 Baiduspider Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html￡© 百度搜索 Baiduspider Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) Bing 必应 bingbot Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Google 谷歌 Googlebot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Google 谷歌 Googlebot Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 搜狗搜索 Sogou web spider Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) Yahoo 雅虎 Yahoo! Slurp Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Yandex YandexBot Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) 神马搜索 YisouSpider YisouSpider 蜘蛛或爬虫 _unknow spider Mozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot) 蜘蛛或爬虫 _unknow spider Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php) 蜘蛛或爬虫 _unknow spider Mozilla/5.0 (compatible; linkdexbot/2.2; +http://www.linkdex.com/bots/) 蜘蛛或爬虫 _unknow spider Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/) 蜘蛛或爬虫 _unknow spider Mozilla/5.0 (compatible; proximic; +http://www.proximic.com/info/spider.php) 蜘蛛或爬虫 _unknow spider Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html) 蜘蛛或爬虫 _unknow spider Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0 蜘蛛或爬虫 _unknow spider TurnitinBot (https://turnitin.com/robot/crawlerinfo.html) 蜘蛛或爬虫 _unknow spider Twitterbot/1.0 蜘蛛或爬虫 _unknow spider Wotbox/2.01 (+http://www.wotbox.com/bot/)

	速度极快…

	底不错，经过沟通后达到了我要求的效果，虽然时间长了一点，但是值得。慢工出细活。满分，态度也很好。

	模板问题，联系客服客服跟**不说话果断追加差评

	很好，客服和技术都很有耐心，尤其是技术人员，技术好而且又问必答，很让人放心的平台。价格也比其他平台合理很多。全五分。

	有水平，客服小妹很有耐心，虽然反复修改了很多次，但是依然十分热情。价钱也不贵。

	另外一家，没想到没能满足我的要求，退货了。然后再找到这家，开始有点担心，但做后就放心了，技术可以，尤其是技术员07和077组合，非常有耐心，对我提出的要求都能一一实现，给赞一个。

	，很给力，赞！

	好，很全

	沙发！沙发!