《PHP用CURL多線程并發采集》要點:
本文介紹了PHP用CURL多線程并發采集,希望對您有用。如果有疑問,可以聯系我們。
相關主題:PHP開發
CURL多線程并發采集一個案例(本站注:其實不是真正的多線程):
$urls = [ 'http://m.doudou360.com/bus/i/live.ashx?lid=1132', 'http://m.doudou360.com/bus/i/live.ashx?lid=5491', 'http://m.doudou360.com/bus/i/live.ashx?lid=4501', 'http://m.doudou360.com/bus/i/live.ashx?lid=4531', 'http://m.doudou360.com/bus/i/live.ashx?lid=1131', 'http://m.doudou360.com/bus/i/live.ashx?lid=5492', 'http://m.doudou360.com/bus/i/live.ashx?lid=4502', 'http://m.doudou360.com/bus/i/live.ashx?lid=4532', ]; $mh = curl_multi_init(); //1.初始化 $ch = []; foreach ( $urls as $i => $url ) { $ch[$i] = curl_init($url); curl_setopt($ch[$i], CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch[$i], CURLOPT_TIMEOUT, 5); curl_setopt($ch[$i], CURLOPT_HTTPHEADER, ['Cookie:CurAreaCode=xiamen']); curl_multi_add_handle($mh, $ch[$i]); //2.循環增加ch句柄到批處理會話mh } /* 下面注釋代碼是網上相關文章較多使用的一種curl_multi_exec執行方式: do { curl_multi_exec($mh, $active); } while ( $active ); DO-WHILE在整個URL請求期內是死循環,當采集較多URL時容易導致CPU占用100%,不推薦使用! */ //推薦寫法 do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($mh) != -1) { do { $mrc = curl_multi_exec($mh, $active); //3.運行當前cURL句柄的子連接 } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } foreach ( $urls as $i => $url ) { $data[] = curl_multi_getcontent($ch[$i]); //4.采集數據 curl_multi_remove_handle($mh, $ch[$i]); //5.移除句柄資源 curl_close($ch[$i]); //6.關閉cURL會話 } curl_multi_close($mh); //7.關閉一組cURL句柄 print_r($data);
API返回的是json數據,數據格式:
Array ( [success] => 1 [message] => [result] => Array ( [name] => 1路 [cur] => Array ( [lid] => 1182 //線路ID [sid] => 1155 [dire] => 下行 [time] => Array ( [0] => 05:50 //首班時間 [1] => 01:00 //末班時間 ) ) [oppo] => Array ( [lid] => 1181 //反向線路ID [sid] => 1154 ) [stas] => Array ( [0] => 火車站小廣場 [1] => 梧村車站 [2] => 金榜公園 [3] => 文灶 [4] => 后江埭 [5] => 二市 [6] => 斗西路口 [7] => 眼科醫院 [8] => 中華城 [9] => 鎮海路 [10] => 大生里 [11] => 博物館 [12] => 理工學院(思明) [13] => 廈大 ) [live] => Array //實時公交信息 ( [0] => Array ( [0] => 6 //公交位置 [1] => 0 //公交狀態 0:到達 1:開往 [2] => 2 //公交數量 ) [1] => Array ( [0] => 13 [1] => 1 [2] => 1 ) ) [next] => 22:30 //下一班公交發車時間 ) )
轉載請注明本頁網址:
http://www.fzlkiss.com/jiaocheng/33.html