您现在的位置: 万盛学电脑网 >> 程序编程 >> 网络编程 >> php编程 >> 正文

一个基于phpQuery的php通用采集类分享

作者:佚名    责任编辑:admin    更新时间:2022-06-22

 这是自己以前写的一个php的采集类,自己一直在用,自我感觉很简单很强大,只要懂一点点选择器的知识就可以采集任何页面了,也支持https页面,做简单的采集足够用了

一、采集类源码   代码如下: <?php   /**   *通用列表采集类   *版本V1.3   *作者:JAE   */     require_once '../phpQuery/phpQuery/phpQuery.php';     class QueryList{           private $pageURL;          private $regArr = array();          public $jsonArr = array();          private $regRange;          private $html;          /************************************************          * 参数: 页面地址 选择器数组 块选择器          * 【选择器数组】说明:格式array("名称"=>array("选择器","类型"),.......)          * 【类型】说明:值 "text" ,"html" ,"属性"           *【块选择器】:指 先按照规则 选出 几个大块 ,然后再分别再在块里面 进行相关的选择          *************************************************/          function QueryList($pageURL,$regArr=array(),$regRange='')          {              $this->pageURL = $pageURL;                //为了能获取https://                $ch = curl_init();                 curl_setopt($ch, CURLOPT_URL,$this->pageURL);                 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);                  curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);                 curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);                  $this->html = curl_exec($ch);                curl_close($ch);                if(!empty($regArr))              {                     $this->regArr = $regArr;                  $this->regRange = $regRange;                  $this->getList();              }            }          function setQuery($regArr,$regRange='')          {              $this->jsonArr=array();              $this->regArr = $regArr;              $this->regRange = $regRange;              $this->getList();          }         private function getList()          {                $hobj = phpQuery::newDocumentHTML($this->html);              if(!empty($this->regRange))              {              $robj = pq($hobj)->find($this->regRange);                 $i=0;              foreach($robj as $item)              {                    while(list($key,$reg_value)=each($this->regArr))                  {                      $iobj = pq($item)->find($reg_value[0]);                          switch($reg_value[1])                        {                            case 'text':                                  $this->jsonArr[$i][$key] = trim(pq($iobj)->text());                                  break;                            case 'html':                                  $this->jsonArr[$i][$key] = trim(pq($iobj)->html());                                  break;                            default:                                 $this->jsonArr[$i][$key] = pq($iobj)->attr($reg_value[1]);                                 break;                           }                  }                  //重置数组指针                  reset($this->regArr);                  $i++;               }              }              else              {             while(list($key,$reg_value)=each($this->regArr))              {                 $lobj = pq($hobj)->find($reg_value[0]);                                          $i=0;                    foreach($lobj as $item)                    {                        switch($reg_value[1])                        {                            case 'text':                                  $this->jsonArr[$i++][$key] = trim(pq($item)->text());                                  break;                            case 'html':                                  $this->jsonArr[$i++][$key] = trim(pq($item)->html());                                  break;                            default:                                 $this->jsonArr[$i++][$key] =