PHP
·
发表于 5年以前
·
阅读量:8254
其中用到了,区分是浏览器还是网络爬虫访问的功能,主要实现代码如下:
主要就是判断$_SERVER['HttP_USEr_AGENT'];里面的内容有没有爬虫的标志
function isCrawler()
{
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
'Googlebot', // Google 爬虫
'Baiduspider', // 百度爬虫
'Yahoo! Slurp', // 雅虎爬虫
'YodaoBot', // 有道爬虫
'msnbot' // Bing爬虫
// 更多爬虫关键字
);
foreach($spiders as $spider)
{
$spider = strtolower($spider);
//查找有没有出现过
if(strpos($userAgent, $spider) !== false){
return $spider;
}
}