乱爱性全过程免费视频/午夜毛片视频/中文字幕av三区/一级视频网址

當前位置： 維易PHP培訓(xùn)學(xué)院 > PHP學(xué)習(xí) > 內(nèi)容正文

PHP實戰(zhàn)：php curl抓取網(wǎng)頁的介紹和推廣及使用CURL抓取淘寶頁面集成方法

作者：VEPHP   時間 2017-10-11

《PHP實戰(zhàn)：php curl抓取網(wǎng)頁的介紹和推廣及使用CURL抓取淘寶頁面集成方法》要點：
本文介紹了PHP實戰(zhàn)：php curl抓取網(wǎng)頁的介紹和推廣及使用CURL抓取淘寶頁面集成方法，希望對您有用。如果有疑問，可以聯(lián)系我們。

?php的curl可以用來實現(xiàn)抓取網(wǎng)頁,分析網(wǎng)頁數(shù)據(jù)用, 簡潔易用, 這里介紹其函數(shù)等就不詳細描述, 放上代碼看看:PHP實戰(zhàn)

只保存了其中幾個主要的函數(shù). 實現(xiàn)模擬登陸, 其中可能涉及到session捕獲, 然后前后頁面涉及參數(shù)提供形式.PHP實戰(zhàn)

　　libcurl主要功能就是用不同的協(xié)議連接和溝通不同的服務(wù)器~也就是相當封裝了的sockPHP實戰(zhàn)

　　PHP 支持libcurl(允許你用不同的協(xié)議連接和溝通不同的服務(wù)器)., libcurl當前支持http, https, ftp, gopher, telnet, dict, file, 和ldap 協(xié)議.libcurl同樣支持HTTPS證書授權(quán),HTTP POST, HTTP PUT, FTP 上傳(當然你也可以使用PHP的ftp擴展), HTTP基本表單上傳,代理,cookies,和用戶認證.PHP實戰(zhàn)

　　為了使用CURL函數(shù)你必要安裝CURL包.PHP 必要你使用CURL 7.0.2-beta或更高版.如果CURL的版本低于7.0.2-beta,PHP將不工作.PHP實戰(zhàn)

　　要使用PHP的CURL支持,你必須用帶有--with-curl[=DIR]參數(shù)重新編譯PHP(DIR是包括庫和頭文件的目錄).PHP實戰(zhàn)

　　這些函數(shù)是在PHP 4.0.2中新增得.PHP實戰(zhàn)

　　一旦你編譯了帶有CURL支持的PHP,你可以使用curl函數(shù).基本思路是：你使用curl_init()函數(shù)初始化 CURL會話,而后你可以設(shè)置你的所有選項,通過curl_exec()函數(shù)執(zhí)行,最后你可以作用curl_close()函數(shù)來結(jié)束你的會話.以下是一個例子：是把PHP的主頁取回放到一個文件中.PHP實戰(zhàn)

　　例 1. 使用PHP的CURL模塊取回PHP主頁PHP實戰(zhàn)

$ch = curl_init ("http://www.php.net/");
　　$fp = fopen ("php_homepage.txt", "w");
　　curl_setopt ($ch, CURLOPT_FILE, $fp);
　　curl_setopt ($ch, CURLOPT_HEADER, 0);
　　curl_exec ($ch);
　　curl_close ($ch);
　　fclose ($fp);
　　?>

　　目錄列表PHP實戰(zhàn)

　　curl_init ― 初始化一個CURL會話PHP實戰(zhàn)

　　curl_setopt ― 為CURL調(diào)用設(shè)置一個選項PHP實戰(zhàn)

　　curl_exec ― 執(zhí)行一個CURL會話PHP實戰(zhàn)

　　curl_close ― 關(guān)閉一個CURL會話PHP實戰(zhàn)

　　curl_version ― 返回當前CURL版本PHP實戰(zhàn)

　　* curl擴展的安裝PHP實戰(zhàn)

　　PHP已經(jīng)內(nèi)置有php_curl.dll,在ext目錄下,此DLL用于支持SSL和zlib.PHP實戰(zhàn)

　　在php.ini中找到有extension=php_curl.dll, 去掉前面的注釋.PHP實戰(zhàn)

　　設(shè)置extension_dir=你的php的ext目錄(例如c:/php/ext)PHP實戰(zhàn)

　　把ext目錄下的libeay32.dll, ssleay32.dll, php5ts.dll, php_curl.dll 都拷貝到system32目錄下,重啟apache即可.PHP實戰(zhàn)

　　curl_initPHP實戰(zhàn)

　　curl_init -- 初始化一個CURL會話PHP實戰(zhàn)

　　描述PHP實戰(zhàn)

int curl_init ([string url])

　　curl_init()函數(shù)將初始化一個新的會話,返回一個CURL句柄供curl_setopt(), curl_exec(),和 curl_close() 函數(shù)使用.如果可選參數(shù)被提供,那么CURLOPT_URL選項將被設(shè)置成這個參數(shù)的值.你可以使用curl_setopt()函數(shù)人工設(shè)置.PHP實戰(zhàn)

　　例 1. 初始化一個新的CURL會話,且取回一個網(wǎng)頁PHP實戰(zhàn)

$ch = curl_init();
　　curl_setopt ($ch, CURLOPT_URL, "http://www.zend.com/");
　　curl_setopt ($ch, CURLOPT_HEADER, 0);
　　curl_exec ($ch);
　　curl_close ($ch);
　　?>

　　參見：curl_close(), curl_setopt()PHP實戰(zhàn)

　　* curl_setopt
PHP實戰(zhàn)

　　curl_setopt -- 為CURL調(diào)用設(shè)置一個選項PHP實戰(zhàn)

　　描述　PHP實戰(zhàn)

　bool curl_setopt (int ch, string option, mixed value)

　　curl_setopt()函數(shù)將為一個CURL會話設(shè)置選項.option參數(shù)是你想要的設(shè)置,value是這個選項給定的值.PHP實戰(zhàn)

　　下列選項的值將被作為長整形使用(在option參數(shù)中指定)：PHP實戰(zhàn)

　　CURLOPT_INFILESIZE: 當你上傳一個文件到遠程站點,這個選項告訴PHP你上傳文件的大小.PHP實戰(zhàn)

　　CURLOPT_VERBOSE: 如果你想CURL申報每一件意外的事情,設(shè)置這個選項為一個非零值.PHP實戰(zhàn)

　　CURLOPT_HEADER: 如果你想把一個頭包括在輸出中,設(shè)置這個選項為一個非零值.PHP實戰(zhàn)

　　CURLOPT_NOPROGRESS: 如果你不會PHP為CURL傳輸顯示一個進程條,設(shè)置這個選項為一個非零值.PHP實戰(zhàn)

　　注意：PHP自動設(shè)置這個選項為非零值,你應(yīng)該僅僅為了調(diào)試的目的來改變這個選項.PHP實戰(zhàn)

　　CURLOPT_NOBODY: 如果你不想在輸出中包括body部分,設(shè)置這個選項為一個非零值.PHP實戰(zhàn)

　　CURLOPT_FAILONERROR: 如果你想讓PHP在發(fā)生錯誤(HTTP代碼返回大于等于300)時,不顯示,設(shè)置這個選項為一人非零值.默認行為是返回一個正常頁,忽略代碼.PHP實戰(zhàn)

　　CURLOPT_UPLOAD: 如果你想讓PHP為上傳做準備,設(shè)置這個選項為一個非零值.PHP實戰(zhàn)

　　CURLOPT_POST: 如果你想PHP去做一個正規(guī)的HTTP POST,設(shè)置這個選項為一個非零值.這個POST是普通的 application/x-www-from-urlencoded 類型,多數(shù)被HTML表單使用.PHP實戰(zhàn)

　　CURLOPT_FTPLISTONLY: 設(shè)置這個選項為非零值,PHP將列出FTP的目錄名列表.PHP實戰(zhàn)

　　CURLOPT_FTPAPPEND: 設(shè)置這個選項為一個非零值,PHP將應(yīng)用遠程文件代替覆蓋它.PHP實戰(zhàn)

　　CURLOPT_NETRC: 設(shè)置這個選項為一個非零值,PHP將在你的 ~./netrc 文件中查找你要建立連接的遠程站點的用戶名及暗碼.PHP實戰(zhàn)

　　CURLOPT_FOLLOWLOCATION: 設(shè)置這個選項為一個非零值(象 "Location: ")的頭,服務(wù)器會把它當做HTTP頭的一部分發(fā)送(注意這是遞歸的,PHP將發(fā)送形如 "Location: "的頭).PHP實戰(zhàn)

　　CURLOPT_PUT: 設(shè)置這個選項為一個非零值去用HTTP上傳一個文件.要上傳這個文件必需設(shè)置CURLOPT_INFILE和CURLOPT_INFILESIZE選項.PHP實戰(zhàn)

　　CURLOPT_MUTE: 設(shè)置這個選項為一個非零值,PHP對于CURL函數(shù)將完全沉默.PHP實戰(zhàn)

　　CURLOPT_TIMEOUT: 設(shè)置一個長整形數(shù),作為最大延續(xù)多少秒.PHP實戰(zhàn)

　　CURLOPT_LOW_SPEED_LIMIT: 設(shè)置一個長整形數(shù),控制傳送多少字節(jié).PHP實戰(zhàn)

　　CURLOPT_LOW_SPEED_TIME: 設(shè)置一個長整形數(shù),控制多少秒傳送CURLOPT_LOW_SPEED_LIMIT規(guī)定的字節(jié)數(shù).PHP實戰(zhàn)

　　CURLOPT_RESUME_FROM: 傳遞一個包括字節(jié)偏移地址的長整形參數(shù),(你想轉(zhuǎn)移到的開始表單).PHP實戰(zhàn)

　　CURLOPT_SSLVERSION: 傳遞一個包含SSL版本的長參數(shù).默認PHP將被它自己努力的確定,在更多的平安中你必須手工設(shè)置.PHP實戰(zhàn)

　　CURLOPT_TIMECONDITION: 傳遞一個長參數(shù),指定怎么處理CURLOPT_TIMEVALUE參數(shù).你可以設(shè)置這個參數(shù)為TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE.這僅用于HTTP.PHP實戰(zhàn)

　　CURLOPT_TIMEVALUE: 傳遞一個從1970-1-1開始到現(xiàn)在的秒數(shù).這個時間將被CURLOPT_TIMEVALUE選項作為指定值使用,或被默認TIMECOND_IFMODSINCE使用.PHP實戰(zhàn)

　　下列選項的值將被作為字符串：PHP實戰(zhàn)

　　CURLOPT_URL: 這是你想用PHP取回的URL地址.你也可以在用curl_init()函數(shù)初始化時設(shè)置這個選項.PHP實戰(zhàn)

　　CURLOPT_USERPWD: 傳遞一個形如[username]:[password]風(fēng)格的字符串,作用PHP去連接.PHP實戰(zhàn)

　　CURLOPT_PROXYUSERPWD: 傳遞一個形如[username]:[password] 格式的字符串去連接HTTP代理.PHP實戰(zhàn)

　　CURLOPT_RANGE: 傳遞一個你想指定的范圍.它應(yīng)該是"X-Y"格式,X或Y是被除外的.HTTP傳送同樣支持幾個間隔,用逗句來分隔(X-Y,N-M).PHP實戰(zhàn)

　　CURLOPT_POSTFIELDS: 傳遞一個作為HTTP “POST”操作的所有數(shù)據(jù)的字符串.PHP實戰(zhàn)

　　CURLOPT_REFERER: 在HTTP哀求中包含一個"referer"頭的字符串.PHP實戰(zhàn)

　　CURLOPT_USERAGENT: 在HTTP哀求中包含一個"user-agent"頭的字符串.PHP實戰(zhàn)

　　CURLOPT_FTPPORT: 傳遞一個包括被ftp "POST"指令使用的IP地址.這個POST指令告訴遠程服務(wù)器去連接我們指定的IP地址. 這個字符串可以是一個IP地址,一個主機名,一個網(wǎng)絡(luò)界面名(在UNIX下),或是'-'(使用系統(tǒng)默認IP地址).PHP實戰(zhàn)

　　CURLOPT_COOKIE: 傳遞一個包括HTTP cookie的頭連接.PHP實戰(zhàn)

　　CURLOPT_SSLCERT: 傳遞一個包括PEM格式證書的字符串.PHP實戰(zhàn)

　　CURLOPT_SSLCERTPASSWD: 傳遞一個包含使用CURLOPT_SSLCERT證書必需的暗碼.PHP實戰(zhàn)

　　CURLOPT_COOKIEFILE: 傳遞一個包括cookie數(shù)據(jù)的文件的名字的字符串.這個cookie文件可以是Netscape格式,或是堆存在文件中的HTTP風(fēng)格的頭.PHP實戰(zhàn)

　　CURLOPT_CUSTOMREQUEST: 當進行HTTP哀求時,傳遞一個字符被GET或HEAD使用.為進行DELETE或其它操作是有益的,更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request.PHP實戰(zhàn)

　　注意: 在確認你的服務(wù)器支持命令先不要去這樣做.PHP實戰(zhàn)

　　下列的選項要求一個文件描述(通過使用fopen()函數(shù)獲得)：PHP實戰(zhàn)

　　CURLOPT_FILE: 這個文件將是你放置傳送的輸出文件,默認是STDOUT.PHP實戰(zhàn)

　　CURLOPT_INFILE: 這個文件是你傳送過來的輸入文件.PHP實戰(zhàn)

　　CURLOPT_WRITEHEADER: 這個文件寫有你輸出的頭部分.PHP實戰(zhàn)

　　CURLOPT_STDERR: 這個文件寫有錯誤而不是stderr.PHP實戰(zhàn)

　　* curl_execPHP實戰(zhàn)

　　curl_exec -- 執(zhí)行一個CURL會話PHP實戰(zhàn)

　　描述PHP實戰(zhàn)

　　bool curl_exec (int ch)PHP實戰(zhàn)

　　在你初始化一個CURL會話,及為這個會話設(shè)置了所有的選項后,這個函數(shù)將被調(diào)用.它的目的僅僅是執(zhí)行預(yù)先確定的CURL會話(通過給定的ch參數(shù)).PHP實戰(zhàn)

　　* curl_closePHP實戰(zhàn)

　　curl_close -- 關(guān)閉一個CURL會話PHP實戰(zhàn)

　　描述PHP實戰(zhàn)

　　void curl_close (int ch)PHP實戰(zhàn)

　　這個函數(shù)關(guān)閉一個CURL會話,并且釋放所有的資源.CURL句柄(ch參數(shù))也被刪除.PHP實戰(zhàn)

　　* curl_versionPHP實戰(zhàn)

　　curl_version -- 返回當前CURL版本PHP實戰(zhàn)

　　描述PHP實戰(zhàn)

　　string curl_version (void)PHP實戰(zhàn)

curl_version()函數(shù)返回一個包括CURL版本的字符串.PHP實戰(zhàn)

<?php 
class MultiHttpRequest{ 
  public $urls = array(); 
  public $curlopt_header = 0; 
  public $cookie_file = ''; 
  public $collect_save_file = ''; 
  public $start_timestamp = ''; 
  public $end_timestamp = ''; 
  private $log_handle = ''; 
  private $collect_save_handle = ''; 
  private $db_conn = false; 
  private $pre_break_goods_id = ''; //上一次強制退出的id 
  private $per_break_brand_id = ''; //上一次更新到的brand_id 
  private $main_log_id = '';    //本次更新的主表日志id 
  private $start_time = ''; 
  public $login_session = ''; 
  public $date_char = ''; 
  private $mode = ''; 
  private $sql_log_handle = ''; 
  function __construct($upgrade_date='', $force_upt=false) 
  { 
     $this->mysql_init();   
     } 
    private function mysql_init(){ 
    $db_name = 'dbname'; 
    $db_user = 'name'; 
    $db_pass = 'pass'; 
    $db_host = 'localhost'; 
    $db_conn = mysql_connect($db_host, $db_user, $db_pass) ; 
    if(!$db_conn){ 
      echo '數(shù)據(jù)庫連接失敗!'; 
      exit; 
    } 
    $this->db_conn = $db_conn; 
    mysql_select_db($db_name); 
  } 
  public function init_login(){ 
    //第一步模擬登陸 
    $target_url = 'http://www.test.com/login.jsp'; 
    //post 提交的數(shù)據(jù) 
    $post_fields = array( 
    'username'  => '卓雅秀淘寶', 
    'password'  => 'joarshow.taobao.com', 
    't_url'    => '', 
    'Submit2'  => ' 登 錄 ' 
    ); 
    //保存登陸的cookie 
    $cookie_file = dirname(__FILE__).'/cookie_'.time().'.txt'; 
    $this->cookie_file = $cookie_file; 
    //存cookie 
    $ch = curl_init($target_url); 
    curl_setopt($ch, CURLOPT_HEADER, 1); 
    //   curl_setopt($ch, CURLOPT_COOKIESESSION, 1); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
    curl_setopt($ch, CURLOPT_POST, 1); 
    curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields); 
    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); 
    $login_contents = curl_exec($ch); 
    curl_close($ch); 
  } 
  /** 
   * 測試 
   * 
   * @param unknown_type $test_url 
   */ 
  public function get_one_file($test_url){ 
    $ch = curl_init($test_url); 
    curl_setopt($ch, CURLOPT_HEADER, 0); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
    curl_setopt($ch,CURLOPT_COOKIE, $this->login_session); 
    curl_setopt($ch, CURLOPT_REFERER, 'http://www.test.com/welcome.shtml'); 
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)'); 
    $contents = curl_exec($ch); 
    curl_close($ch); 
    return $contents; 
  } 
  public function point_url_brand($url){ 
    $ch = curl_init($url); 
    curl_setopt($ch, CURLOPT_HEADER, 0); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
    curl_setopt($ch,CURLOPT_COOKIE, $this->login_session); 
    curl_setopt($ch, CURLOPT_REFERER, 'http://www.test.com/product.shtml'); 
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)'); 
    $contents = curl_exec($ch); 
    //   echo htmlspecialchars($contents);exit; 
    curl_close($ch); 
    return $contents; 
  } 
}

使用CURL抓取淘寶頁面集成辦法PHP實戰(zhàn)

代碼如下：PHP實戰(zhàn)

 /**
   * 根據(jù)地址抓取淘寶頁面html代碼
   * @param type $url 地址
   * @return boolean
   */
  public function getTaoBaoHtml($url) {
    if (empty($url)) {
      return false;
    }
    $ch = curl_init();
    // 設(shè)置 url
    curl_setopt($ch, CURLOPT_URL, $url);
    // 設(shè)置瀏覽器的特定header
    curl_setopt($ch, CURLOPT_HTTPHEADER, array(
      "User-Agent: {Mozilla/5.0 (Windows NT 6.1; WOW64; rv:26.0) Gecko/20100101 Firefox/26.0}",
      "Accept: {text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8}",
      "Accept-Language: {zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3}",
      "Cookie:{cq=ccp%3D1; cna=a7suCzOmSTECAXgg9iCf4AtX; t=671b2069c7e8ac444da66d664a397a5f; tracknick=%5Cu4F0D%5Cu6653%5Cu8F8901;
 _tb_token_=nDiU1vCuzFd0; cookie2=c54709ffbe04a5ccb80283c34d6b00fa; 
pnm_cku822=128WsMPac%2FFS4KgNn%2BYfhzduo4U2NC0zh9cAS4%3D%
7CWUCLjKhqr873bOIFQcMecSw%3D%7CWMEKRlV%
2B3D9a6XWaidNWNQOSWXwaXugvQHzhxALh%7CX0
YLbX78NUR2b2DHoxnIqZENQqR35TBZbfQ5vooI0b6GHZA3U1kr%7CXkdILog
Cr878ZK9I%2B%2FE3QjAD3lFJJaAZRA%3D%3D%7CXUeMwMR2s%
2BTUQk8IPP5TNgWfUjQwonccMCxihTa0fRYgtjgfa4j6%7CXMY
K7F8liOvH3hMUpzXkiaU%2FJw%3D%3D}",
    ));
    // 頁面內(nèi)容我們并不必要
    curl_setopt($ch, CURLOPT_NOBODY, 0);
    // 只需返回HTTP header
    curl_setopt($ch, CURLOPT_HEADER, 0);
    // 返回結(jié)果,而不是輸出它
    //curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    ob_start();
    curl_exec($ch);
    $html = ob_get_contents();
    ob_end_clean();
    curl_close($ch);
    return $html;
  }

維易PHP培訓(xùn)學(xué)院每天發(fā)布《PHP實戰(zhàn)：php curl抓取網(wǎng)頁的介紹和推廣及使用CURL抓取淘寶頁面集成方法》等實戰(zhàn)技能，PHP、MYSQL、LINUX、APP、JS,CSS全面培養(yǎng)人才。

轉(zhuǎn)載請注明本頁網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/8342.html


    標簽：