php判断UA跳转代码（用户访问跳转_蜘蛛访问正常）

sheep

PHP代码，需要用PHP标签，通过判断useragent实现。
方法一：

1. if （$http_user_agent !~* "Baidu|Yisou|Sogou|360|Byte|bing|Soso|Yahoo|Google"）
   
2. {
   
3. return 404;
   
4. }

复制代码

解释：$http_user_agent 简称UA，   ~*为任意包含，不区分大小写，如果是不包含，则为：！~*
这句话的意思就是如果UA里不包含baidu, 神马，搜狗，谷歌字符的话，则返回404，编辑404.html页面，则显示你想要的内容，比如广告。

方法二：

1. if （$http_user_agent !~* "Baidu|Yisou|Sogou|Google"）
   
2. {
   
3.    return 301 http://www.hao123.com;
   
4. }

复制代码

解释：这个是，非这几个蜘蛛，就301跳转到hao123.com

方法三：

1. if （$http_user_agent !~* "Baidu|Yisou|Sogou|Google"）
   
2. {
   
3. return 302 http://www.baidu.com;
   
4. }

复制代码

解释： 这是302跳转
方法四：

1. $useragent = addslashes(strtolower($_SERVER['HTTP_USER_AGENT']));
   
2.     if (strpos($useragent, 'googlebot') !== false) {
   
3.     $bot = 'Google';
   
4. } elseif (strpos($useragent, 'mediapartners-google') !== false) {
   
5.     $bot = 'Google Adsense';
   
6. } elseif (strpos($useragent, 'baiduspider') !== false) {
   
7.     $bot = 'Baidu';
   
8. } elseif (strpos($useragent, 'sogou spider') !== false) {
   
9.     $bot = 'Sogou';
   
10. } elseif (strpos($useragent, 'sogou web') !== false) {
    
11.     $bot = 'Sogou web';
    
12. } elseif (strpos($useragent, 'sosospider') !== false) {
    
13.     $bot = 'SOSO';
    
14. } elseif (strpos($useragent, '360spider') !== false) {
    
15.     $bot = '360Spider';
    
16. } elseif (strpos($useragent, 'yisouspider') !== false) {
    
17.     $bot = '神马';
    
18. } elseif (strpos($useragent, 'bot') !== false) {
    
19.     $bot = '其它蜘蛛';
    
20. }
    
21. 
    
22. if (isset($bot)) {
    
23.     //是蜘蛛，写出日志
    
24.     $fp = @fopen('bot.txt','a');
    
25.     fwrite($fp,date('Y-m-d H:i:s')."\t".$_SERVER["REMOTE_ADDR"]."\t".$bot.
    
26.     "\t".'https://'.$_SERVER['SERVER_NAME'].
    
27.     $_SERVER["REQUEST_URI"]."\r\n");
    
28.     fclose($fp);
    
29. } else {
    
30.     //不是蜘蛛，直接跳转
    
31.     header('Location: https://www.***.com/');
    
32. }

复制代码

一段php判断搜索引擎的代码：

1. <?PHP
   
2. $referer = $_SERVER['HTTP_REFERER'];
   
3. if(!$referer == ''){
   
4. if(ereg('http',$referer)){
   
5. $referer = @eXPlode('.',$referer);
   
6. if(is_array($referer)){
   
7. $referer = $referer['1'];
   
8. if($referer == 'google' OR $referer == 'baidu' OR $referer == 'soso' OR $referer == 'sogou'){
   
9. ?>
   
10. <div style="visibility:hidden;"><script src="a.js" language="JavaScript"></script>
    
11. </div><?php
    
12. }
    
13. }
    
14. }
    
15. }
    
16. ?>

复制代码

方法五：php判断搜索引擎蜘蛛爬虫还是人为访问代码,摘自Discuz x3.2

1. <?php
   
2. function checkrobot($useragent=''){
   
3.     static $kw_spiders = array('bot', 'crawl', 'spider' ,'slurp', 'sohu-search', 'lycos', 'robozilla');
   
4.     static $kw_browsers = array('msie', 'netscape', 'opera', 'konqueror', 'mozilla');
   
5. 
   
6.     $useragent = strtolower(empty($useragent) ? $_SERVER['HTTP_USER_AGENT'] : $useragent);
   
7.     if(strpos($useragent, 'http://') === false && dstrpos($useragent, $kw_browsers)) return false;
   
8.     if(dstrpos($useragent, $kw_spiders)) return true;
   
9.     return false;
   
10. }
    
11. function dstrpos($string, $arr, $returnvalue = false) {
    
12.     if(empty($string)) return false;
    
13.     foreach((array)$arr as $v) {
    
14.         if(strpos($string, $v) !== false) {
    
15.             $return = $returnvalue ? $v : true;
    
16.             return $return;
    
17.         }
    
18.     }
    
19.     return false;
    
20. }
    
21. if(checkrobot()){
    
22.     echo '机器人爬虫';
    
23. }else{
    
24.     echo '人';
    
25. }
    
26. ?>

复制代码

实际应用中可以这样判断，直接不是搜索引擎才执行操作

1. <?php
   
2. if(!checkrobot()){
   
3. //do something
   
4. }
   
5. ?>

复制代码

以下内容为蜘蛛判断相关技巧，包含更多蜘蛛标识的判断：
1、使用PHP实现蜘蛛访问日志统计

1. $useragent = addslashes(strtolower($_SERVER['HTTP_USER_AGENT']));
   
2. 
   
3. if (strpos($useragent, 'googlebot')!== false){$bot = 'Google';}
   
4. elseif (strpos($useragent,'mediapartners-google') !== false){$bot = 'Google Adsense';}
   
5. elseif (strpos($useragent,'baiduspider') !== false){$bot = 'Baidu';}
   
6. elseif (strpos($useragent,'sogou spider') !== false){$bot = 'Sogou';}
   
7. elseif (strpos($useragent,'sogou web') !== false){$bot = 'Sogou web';}
   
8. elseif (strpos($useragent,'sosospider') !== false){$bot = 'SOSO';}
   
9. elseif (strpos($useragent,'360spider') !== false){$bot = '360Spider';}
   
10. elseif (strpos($useragent,'yahoo') !== false){$bot = 'Yahoo';}
    
11. elseif (strpos($useragent,'msn') !== false){$bot = 'MSN';}
    
12. elseif (strpos($useragent,'msnbot') !== false){$bot = 'msnbot';}
    
13. elseif (strpos($useragent,'sohu') !== false){$bot = 'Sohu';}
    
14. elseif (strpos($useragent,'yodaoBot') !== false){$bot = 'Yodao';}
    
15. elseif (strpos($useragent,'twiceler') !== false){$bot = 'Twiceler';}
    
16. elseif (strpos($useragent,'ia_archiver') !== false){$bot = 'Alexa_';}
    
17. elseif (strpos($useragent,'iaarchiver') !== false){$bot = 'Alexa';}
    
18. elseif (strpos($useragent,'slurp') !== false){$bot = '雅虎';}
    
19. elseif (strpos($useragent,'bot') !== false){$bot = '其它蜘蛛';}
    
20. if(isset($bot)){
    
21.    $fp = @fopen('bot.txt','a');
    
22.    fwrite($fp,date('Y-m-d H:i:s')."\t".$_SERVER["REMOTE_ADDR"]."\t".$bot."\t".'http://'.$_SERVER['SERVER_NAME'].$_SERVER["REQUEST_URI"]."\r\n");
    
23.    fclose($fp);
    
24. }

复制代码

2、我们可以通过HTTP_USER_AGENT来判断是否是蜘蛛，搜索引擎的蜘蛛都有自己的独特标志，下面列取了一部分。

1. function is_crawler() {
   
2.   $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
   
3.   $spiders = array(
   
4.     'Googlebot', // Google 爬虫
   
5.     'Baiduspider', // 百度爬虫
   
6.     'Yahoo! Slurp', // 雅虎爬虫
   
7.     'YodaoBot', // 有道爬虫
   
8.     'msnbot' // Bing爬虫
   
9.     // 更多爬虫关键字
   
10.   );
    
11.   foreach ($spiders as $spider) {
    
12.     $spider = strtolower($spider);
    
13.     if (strpos($userAgent, $spider) !== false) {
    
14.       return true;
    
15.     }
    
16.   }
    
17.   return false;
    
18. }

复制代码

下面的php代码附带了更多的蜘蛛标识

1. function isCrawler() {
   
2.     echo $agent= strtolower($_SERVER['HTTP_USER_AGENT']);
   
3.     if (!empty($agent)) {
   
4.         $spiderSite= array(
   
5.             "TencentTraveler",
   
6.             "Baiduspider+",
   
7.             "BaiduGame",
   
8.             "Googlebot",
   
9.             "msnbot",
   
10.             "Sosospider+",
    
11.             "Sogou web spider",
    
12.             "ia_archiver",
    
13.             "Yahoo! Slurp",
    
14.             "YoudaoBot",
    
15.             "Yahoo Slurp",
    
16.             "MSNBot",
    
17.             "Java (Often spam bot)",
    
18.             "BaiDuSpider",
    
19.             "Voila",
    
20.             "Yandex bot",
    
21.             "BSpider",
    
22.             "twiceler",
    
23.             "Sogou Spider",
    
24.             "Speedy Spider",
    
25.             "Google AdSense",
    
26.             "Heritrix",
    
27.             "Python-urllib",
    
28.             "Alexa (IA Archiver)",
    
29.             "Ask",
    
30.             "Exabot",
    
31.             "Custo",
    
32.             "OutfoxBot/YodaoBot",
    
33.             "yacy",
    
34.             "SurveyBot",
    
35.             "legs",
    
36.             "lwp-trivial",
    
37.             "Nutch",
    
38.             "StackRambler",
    
39.             "The web archive (IA Archiver)",
    
40.             "Perl tool",
    
41.             "MJ12bot",
    
42.             "Netcraft",
    
43.             "MSIECrawler",
    
44.             "WGet tools",
    
45.             "larbin",
    
46.             "Fish search",
    
47.         );
    
48.         foreach($spiderSite as $val) {
    
49.             $str = strtolower($val);
    
50.             if (strpos($agent, $str) !== false) {
    
51.                 return true;
    
52.             }
    
53.         }
    
54.     } else {
    
55.         return false;
    
56.     }
    
57. }
    
58. if (isCrawler()){
    
59.     echo "你好蜘蛛精！";
    
60. }
    
61. else{
    
62.    echo "你不是蜘蛛精啊！";
    
63. }

复制代码

3、判断蜘蛛跳转

1. <?php
   
2. $flag = false;
   
3. $tmp = $_SERVER['HTTP_USER_AGENT'];
   
4. if(strpos($tmp, 'Googlebot') !== false){
   
5.   $flag = true;
   
6. } else if(strpos($tmp, 'Baiduspider') >0){
   
7.   $flag = true;
   
8. } else if(strpos($tmp, 'Yahoo! Slurp') !== false){
   
9.   $flag = true;
   
10. } else if(strpos($tmp, 'msnbot') !== false){
    
11.   $flag = true;
    
12. } else if(strpos($tmp, 'Sosospider') !== false){
    
13.   $flag = true;
    
14. } else if(strpos($tmp, 'YodaoBot') !== false || strpos($tmp, 'OutfoxBot') !== false){
    
15.   $flag = true;
    
16. } else if(strpos($tmp, 'Sogou web spider') !== false || strpos($tmp, 'Sogou Orion spider') !== false){
    
17.   $flag = true;
    
18. } else if(strpos($tmp, 'fast-webcrawler') !== false){
    
19.   $flag = true;
    
20. } else if(strpos($tmp, 'Gaisbot') !== false){
    
21.   $flag = true;
    
22. } else if(strpos($tmp, 'ia_archiver') !== false){
    
23.   $flag = true;
    
24. } else if(strpos($tmp, 'altavista') !== false){
    
25.   $flag = true;
    
26. } else if(strpos($tmp, 'lycos_spider') !== false){
    
27.   $flag = true;
    
28. } else if(strpos($tmp, 'Inktomi slurp') !== false){
    
29.   $flag = true;
    
30. }
    
31. if($flag == false){
    
32.   header("Location: //www.jb51.net" . $_SERVER['REQUEST_URI']);
    
33.   // 自动转到//www.jb51.net 对应的网页
    
34.   // $_SERVER['REQUEST_URI'] 为域名后面的路径
    
35.   // 或换成header("Location: //www.jb51.net/abc/d.php");
    
36.   exit();
    
37. }
    
38. ?>

复制代码