哈喽比特
注册  |  登录

PHP CURL采集百度搜寻结果图片不显示问题的解决方法

5年以前  |  阅读数：839 次  |  编程语言：PHP 

1.根据关键字采集百度搜寻结果

根据关键字采集百度搜寻结果，可以使用curl实现，代码如下：


    <?php
    function doCurl($url, $data=array(), $header=array(), $timeout=30){
      $ch = curl_init();
      curl_setopt($ch, CURLOPT_URL, $url);
      curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
      curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
      $response = curl_exec($ch);
      if($error=curl_error($ch)){
        die($error);
      }
      curl_close($ch);
      return $response;
    }
    $wd = '仙剑奇侠传';
    $url = 'http://www.baidu.com/s?wd='.urlencode($wd);
    $data = array();
    $header = array();
    $response = doCurl($url, $data, $header, 5);
    echo $response;
    ?>

输出后发现有部分图片不能显示

这里写图片描述

2.采集后的图片不显示原因分析

直接在百度中搜寻，页面是可以显示图片的。使用firebug查看图片路径，发现采集的图片域名与在百度搜寻的图片域名不同。

采集返回的图片域名 t11.baidu.com

这里写图片描述

正常搜寻的图片域名 ss1.baidu.com

这里写图片描述

查看采集与正常搜寻的html，发现有个域名转换的js是不一样的

采集


    var list = {
        "graph.baidu.com": "http://graph.baidu.com",
        "t1.baidu.com":"http://t1.baidu.com",
        "t2.baidu.com":"http://t2.baidu.com",
        "t3.baidu.com":"http://t3.baidu.com",
        "t10.baidu.com":"http://t10.baidu.com",
        "t11.baidu.com":"http://t11.baidu.com",
        "t12.baidu.com":"http://t12.baidu.com",
        "i7.baidu.com":"http://i7.baidu.com",
        "i8.baidu.com":"http://i8.baidu.com",
        "i9.baidu.com":"http://i9.baidu.com",
    };

正常搜寻


    var list = {
        "graph.baidu.com": "https://sp0.baidu.com/-aYHfD0a2gU2pMbgoY3K",
        "t1.baidu.com":"https://ss0.baidu.com/6ON1bjeh1BF3odCf",
        "t2.baidu.com":"https://ss1.baidu.com/6OZ1bjeh1BF3odCf",
        "t3.baidu.com":"https://ss2.baidu.com/6OV1bjeh1BF3odCf",
        "t10.baidu.com":"https://ss0.baidu.com/6ONWsjip0QIZ8tyhnq",
        "t11.baidu.com":"https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq",
        "t12.baidu.com":"https://ss2.baidu.com/6ONYsjip0QIZ8tyhnq",
        "i7.baidu.com":"https://ss0.baidu.com/73F1bjeh1BF3odCf",
        "i8.baidu.com":"https://ss0.baidu.com/73x1bjeh1BF3odCf",
        "i9.baidu.com":"https://ss0.baidu.com/73t1bjeh1BF3odCf",
    };

因此可以断定是，百度根据来源地址、IP、header等参数，判断如果是采集的，则返回不同的js。

3.采集后图片不显示的解决方法

把采集到的html，根据定义的域名做一次批量转换即可。


    <?php
    function doCurl($url, $data=array(), $header=array(), $timeout=30){
      $ch = curl_init();
      curl_setopt($ch, CURLOPT_URL, $url);
      curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
      curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
      $response = curl_exec($ch);
      if($error=curl_error($ch)){
        die($error);
      }
      curl_close($ch);
      return $response;
    }
    // 域名转换
    function cdomain($str){
      $baidu_domain = '{
        "http://graph.baidu.com": "https://sp0.baidu.com/-aYHfD0a2gU2pMbgoY3K",
        "http://p.qiao.baidu.com":"https://sp0.baidu.com/5PoXdTebKgQFm2e88IuM_a",
        "http://vse.baidu.com":"https://sp3.baidu.com/6qUDsjip0QIZ8tyhnq",
        "http://hdpreload.baidu.com":"https://sp3.baidu.com/7LAWfjuc_wUI8t7jm9iCKT-xh_",
        "http://lcr.open.baidu.com":"https://sp2.baidu.com/8LUYsjW91Qh3otqbppnN2DJv",
        "http://kankan.baidu.com":"https://sp3.baidu.com/7bM1dzeaKgQFm2e88IuM_a",
        "http://xapp.baidu.com":"https://sp2.baidu.com/yLMWfHSm2Q5IlBGlnYG",
        "http://dr.dh.baidu.com":"https://sp0.baidu.com/-KZ1aD0a2gU2pMbgoY3K",
        "http://xiaodu.baidu.com":"https://sp0.baidu.com/yLsHczq6KgQFm2e88IuM_a",
        "http://sensearch.baidu.com":"https://sp1.baidu.com/5b11fzupBgM18t7jm9iCKT-xh_",
        "http://s1.bdstatic.com":"https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K",
        "http://olime.baidu.com":"https://sp0.baidu.com/8bg4cTva2gU2pMbgoY3K",
        "http://app.baidu.com":"https://sp2.baidu.com/9_QWsjip0QIZ8tyhnq",
        "http://i.baidu.com":"https://sp0.baidu.com/74oIbT3kAMgDnd_",
        "http://c.baidu.com":"https://sp0.baidu.com/9foIbT3kAMgDnd_",
        "http://sclick.baidu.com":"https://sp0.baidu.com/5bU_dTmfKgQFm2e88IuM_a",
        "http://nsclick.baidu.com":"https://sp1.baidu.com/8qUJcD3n0sgCo2Kml5_Y_D3",
        "http://sestat.baidu.com":"https://sp1.baidu.com/5b1ZeDe5KgQFm2e88IuM_a",
        "http://eclick.baidu.com":"https://sp3.baidu.com/-0U_dTmfKgQFm2e88IuM_a",
        "http://api.map.baidu.com":"https://sp2.baidu.com/9_Q4sjOpB1gCo2Kml5_Y_D3",
        "http://ecma.bdimg.com":"https://ss1.bdstatic.com/-0U0bXSm1A5BphGlnYG",
        "http://ecmb.bdimg.com":"https://ss0.bdstatic.com/-0U0bnSm1A5BphGlnYG",
        "http://t1.baidu.com":"https://ss0.baidu.com/6ON1bjeh1BF3odCf",
        "http://t2.baidu.com":"https://ss1.baidu.com/6OZ1bjeh1BF3odCf",
        "http://t3.baidu.com":"https://ss2.baidu.com/6OV1bjeh1BF3odCf",
        "http://t10.baidu.com":"https://ss0.baidu.com/6ONWsjip0QIZ8tyhnq",
        "http://t11.baidu.com":"https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq",
        "http://t12.baidu.com":"https://ss2.baidu.com/6ONYsjip0QIZ8tyhnq",
        "http://i7.baidu.com":"https://ss0.baidu.com/73F1bjeh1BF3odCf",
        "http://i8.baidu.com":"https://ss0.baidu.com/73x1bjeh1BF3odCf",
        "http://i9.baidu.com":"https://ss0.baidu.com/73t1bjeh1BF3odCf",
        "http://b1.bdstatic.com":"https://ss0.bdstatic.com/9uN1bjq8AAUYm2zgoY3K",
        "http://ss.bdimg.com":"https://ss1.bdstatic.com/5aV1bjqh_Q23odCf",
        "http://opendata.baidu.com":"https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv",
        "http://api.open.baidu.com":"https://sp0.baidu.com/9_Q4sjW91Qh3otqbppnN2DJv",
        "http://tag.baidu.com":"https://sp1.baidu.com/6LMFsjip0QIZ8tyhnq",
        "http://f3.baidu.com":"https://sp2.baidu.com/-uV1bjeh1BF3odCf",
        "http://s.share.baidu.com":"https://sp0.baidu.com/5foZdDe71MgCo2Kml5_Y_D3",  
        "http://bdimg.share.baidu.com":"https://ss1.baidu.com/9rA4cT8aBw9FktbgoI7O1ygwehsv",
        "http://1.su.bdimg.com":"https://ss0.bdstatic.com/k4oZeXSm1A5BphGlnYG",
        "http://2.su.bdimg.com":"https://ss1.bdstatic.com/kvoZeXSm1A5BphGlnYG",
        "http://3.su.bdimg.com":"https://ss2.bdstatic.com/kfoZeXSm1A5BphGlnYG",
        "http://4.su.bdimg.com":"https://ss3.bdstatic.com/lPoZeXSm1A5BphGlnYG",
        "http://5.su.bdimg.com":"https://ss0.bdstatic.com/l4oZeXSm1A5BphGlnYG",
        "http://6.su.bdimg.com":"https://ss1.bdstatic.com/lvoZeXSm1A5BphGlnYG",
        "http://7.su.bdimg.com":"https://ss2.bdstatic.com/lfoZeXSm1A5BphGlnYG",
        "http://8.su.bdimg.com":"https://ss3.bdstatic.com/iPoZeXSm1A5BphGlnYG"
      }';
      $domain = json_decode($baidu_domain, true);
      foreach($domain as $k=>$v){
        $str = str_replace($k, $v, $str);
      }
      return $str;
    }
    $wd = '仙剑奇侠传';
    $url = 'http://www.baidu.com/s?wd='.urlencode($wd);
    $data = array();
    $header = array();
    $response = doCurl($url, $data, $header, 5);
    echo cdomain($response); // 调用域名转换
    ?>

增加域名转换后，所有的图片都可以正常显示。

这里写图片描述

以上所述是小编给大家介绍的PHP CURL采集百度搜寻结果图片不显示问题的解决方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

 相关文章：
PHP分页显示制作详细讲解
PHP   ·   发表于 5年以前   ·   阅读量：8299
SSH 登录失败：Host key verification failed
Shell   ·   发表于 5年以前   ·   阅读量：3357
获取IMSI
JAVA   ·   发表于 5年以前   ·   阅读量：3014
将二进制数据转为16进制以便显示
JAVA   ·   发表于 5年以前   ·   阅读量：3005
获取IMEI
JAVA   ·   发表于 5年以前   ·   阅读量：2843
文件下载
JAVA   ·   发表于 5年以前   ·   阅读量：2840
贪吃蛇
JAVA   ·   发表于 5年以前   ·   阅读量：2836
双位运算符
JavaScript   ·   发表于 4年以前   ·   阅读量：2831
PHP自定义函数获取搜索引擎来源关键字的方法
PHP   ·   发表于 5年以前   ·   阅读量：2774
Java生成UUID
JAVA   ·   发表于 5年以前   ·   阅读量：2770
发送邮件
Shell   ·   发表于 1年以前   ·   阅读量：2763
年的日历图
Python   ·   发表于 4年以前   ·   阅读量：2685
提取后缀名
Python   ·   发表于 4年以前   ·   阅读量：2675
在Zeus Web Server中安装PHP语言支持
PHP   ·   发表于 5年以前   ·   阅读量：2521
让你成为最历害的git提交人
Shell   ·   发表于 5年以前   ·   阅读量：2512
Yii2汉字转拼音类的实例代码
PHP   ·   发表于 5年以前   ·   阅读量：2431
再谈PHP中单双引号的区别详解
PHP   ·   发表于 5年以前   ·   阅读量：2428
指定应用ID以获取对应的应用名称
JAVA   ·   发表于 5年以前   ·   阅读量：2418
Python 2与Python 3版本和编码的对比
Python   ·   发表于 5年以前   ·   阅读量：2395
php封装的page分页类完整实例
PHP   ·   发表于 5年以前   ·   阅读量：2379
 最新文章
获取php时间戳
4年以前 · 730 次阅读
php获取tempfile路径
4年以前 · 897 次阅读
php 1,1,2,3,5,8,13,21,34...求第30位的数是多少？
4年以前 · 872 次阅读
PHP执行shell
4年以前 · 873 次阅读
PHP获取HTTP body内容
5年以前 · 1158 次阅读
php读取目录下的所有文件
5年以前 · 976 次阅读
php判断是爬虫在访问还是用户浏览器在访问
5年以前 · 905 次阅读
PHP通过UserAgent识别爬虫
5年以前 · 997 次阅读
PHP使用curl发起post请求
5年以前 · 989 次阅读
PHP版HelloWorld
5年以前 · 822 次阅读
 最受欢迎文章
PHP分页显示制作详细讲解
5年以前 · 8299 次阅读
PHP自定义函数获取搜索引擎来源关键字的方法
5年以前 · 2774 次阅读
在Zeus Web Server中安装PHP语言支持
5年以前 · 2521 次阅读
Yii2汉字转拼音类的实例代码
5年以前 · 2431 次阅读
再谈PHP中单双引号的区别详解
5年以前 · 2428 次阅读
php封装的page分页类完整实例
5年以前 · 2379 次阅读
php+ajax+json 详解及实例代码
5年以前 · 2316 次阅读
php数组合并array_merge()函数使用注意事项
5年以前 · 2285 次阅读
PHP设计模式之工厂模式与单例模式
5年以前 · 2275 次阅读
PHP实现简单爬虫的方法
5年以前 · 2266 次阅读