PHP網絡爬蟲之CURL學習

HP的CURL

php的curl可以實現模擬http的各種請求，這也是php做網絡爬蟲的基礎，也多用于接口api的調用。

這個時候有人就要發問了：為什么你特么不用file_get_contents?

curl的性能比它好，而且可以完成更多復雜的操作，不僅僅只是獲取頁面數據。

下面先分別介紹一些常用的函數。

curl_init 初始化一個curl對話
curl_setopt 設置curl參數，即傳輸選項
curl_exec 執行請求
curl_close 關閉一個curl對話

主要是上面四個

curl_errno 返回最后一次錯誤碼,php已經定義了諸多錯誤枚舉編碼
curl_errror 返回一個保護當前會話最近一次錯誤的字符串

下面直接上實例吧，相關解釋都在注釋里面

1. 在網絡上下載一個網頁并把內容中的“百度”替換為“屌絲”之后輸出

<?php
/**
 * 實例描述：在網絡上下載一個網頁并把內容中的“百度”替換為“屌絲”之后輸出
 */
$curlobj=curl_init(); // 初始化
curl_setopt($curlobj, CURLOPT_URL, "http://www.baidu.com"); // 設置訪問網頁的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 執行之后不直接打印出來
$output=curl_exec($curlobj); // 執行
curl_close($curlobj); // 關閉cURL
echo str_replace("百度","屌絲",$output);
?>
1
2
3
4
5
6
7
8
9
10
11

2. 通過調用WebService查詢北京的當前天氣

<?php
/**
 * 實例描述：通過調用WebService查詢北京的當前天氣
 */
$data='theCityName=北京';
$curlobj=curl_init(); 
curl_setopt($curlobj, CURLOPT_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName"); 
curl_setopt($curlobj, CURLOPT_HEADER, 0); 
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curlobj, CURLOPT_POST, 1); 
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); 
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", 
 "Content-length: ".strlen($data)
 )); 
$rtn=curl_exec($curlobj); 
if(!curl_errno($curlobj)){
 // $info=curl_getinfo($curlobj); 
 // print_r($info);
 echo $rtn; 
} else {
 echo 'Curl error: ' . curl_error($curlobj);
}
curl_close($curlobj);
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

3. 模擬需要登錄的網址并抓取網頁的內容

<?php
/**
 * 實例描述：模擬需要登錄的網址并抓取網頁的內容
 */
$data=array('username'=> 'promonkey', 
 'password'=> '1q2w3e',
 'remember'=>1);
$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';
$curlobj=curl_init(); // 初始化
curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 設置訪問網頁的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 執行之后不直接打印出來
// Cookie相關設置，這部分設置需要在所有會話開始之前設置
date_default_timezone_set('PRC'); // 使用Cookie時，必須先設置時區
curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE); 
curl_setopt($curlobj, CURLOPT_HEADER, 0); 
curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); // 這樣能夠讓cURL支持頁面鏈接跳轉
curl_setopt($curlobj, CURLOPT_POST, 1); 
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); 
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", 
 "Content-length: ".strlen($data)
 )); 
curl_exec($curlobj); // 執行
curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");
curl_setopt($curlobj, CURLOPT_POST, 0); 
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"
 )); 
$output=curl_exec($curlobj); // 執行
curl_close($curlobj); // 關閉cURL
echo $output;
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

4. 登錄網站的信息抓取并下載個人空間頁面 + 自定義實現頁面鏈接跳轉抓取

<?php
/**
 * 實例描述：登錄網站的信息抓取并下載個人空間頁面
 * 自定義實現頁面鏈接跳轉抓取
 * 
 */
$data='username=demo_peter@126.com&password=123qwe&remember=1';
$curlobj=curl_init(); // 初始化
curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 設置訪問網頁的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 執行之后不直接打印出來
// Cookie相關設置，這部分設置需要在所有會話開始之前設置
date_default_timezone_set('PRC'); // 使用Cookie時，必須先設置時區
curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE); 
curl_setopt($curlobj, CURLOPT_HEADER, 0); 
// 注釋掉這行，因為這個設置必須關閉安全模式 以及關閉open_basedir，對服務器安全不利
//curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); 
curl_setopt($curlobj, CURLOPT_POST, 1); 
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); 
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", 
 "Content-length: ".strlen($data)
 )); 
curl_exec($curlobj); // 執行
curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");
curl_setopt($curlobj, CURLOPT_POST, 0); 
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"
 )); 
$output=curl_redir_exec($curlobj); // 執行
curl_close($curlobj); // 關閉cURL
echo $output;
/**
 * 自定義實現頁面鏈接跳轉抓取
 */
function curl_redir_exec($ch,$debug="") 
{ 
 static $curl_loops=0; 
 static $curl_max_loops=20; 
 if ($curl_loops++ >=$curl_max_loops) 
 { 
 $curl_loops=0; 
 return FALSE; 
 } 
 curl_setopt($ch, CURLOPT_HEADER, true); // 開啟header才能夠抓取到重定向到的新URL
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
 $data=curl_exec($ch); 
 // 分割返回的內容
 $h_len=curl_getinfo($ch, CURLINFO_HEADER_SIZE); 
 $header=substr($data,0,$h_len);
 $data=substr($data,$h_len - 1);
 $http_code=curl_getinfo($ch, CURLINFO_HTTP_CODE); 
 if ($http_code==301 || $http_code==302) { 
 $matches=array(); 
 preg_match('/Location:(.*?)\n/', $header, $matches); 
 $url=@parse_url(trim(array_pop($matches))); 
 // print_r($url); 
 if (!$url) 
 { 
 //couldn't process the url to redirect to 
 $curl_loops=0; 
 return $data; 
 } 
 $last_url=parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL)); 
 if (!isset($url['scheme'])) 
 $url['scheme']=$last_url['scheme']; 
 if (!isset($url['host'])) 
 $url['host']=$last_url['host']; 
 if (!isset($url['path'])) 
 $url['path']=$last_url['path'];
 $new_url=$url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:''); 
 curl_setopt($ch, CURLOPT_URL, $new_url); 
 return curl_redir_exec($ch); 
 } else { 
 $curl_loops=0; 
 return $data; 
 } 
} 
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83

從FTP服務器下載一個文件到本地

<?php
/**
 * 實例描述：把本地文件上傳到FTP服務器上
 */
$curlobj=curl_init(); 
$localfile='ftp01.php';
$fp=fopen($localfile, 'r');
curl_setopt($curlobj, CURLOPT_URL, "ftp://192.168.1.100/ftp01_uploaded.php"); 
curl_setopt($curlobj, CURLOPT_HEADER, 0); 
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curlobj, CURLOPT_TIMEOUT, 300); // times out after 300s
curl_setopt($curlobj, CURLOPT_USERPWD, "peter.zhou:123456");//FTP用戶名：密碼
//上傳和下載主要是下面子三個參數不一樣
curl_setopt($curlobj, CURLOPT_UPLOAD, 1);
curl_setopt($curlobj, CURLOPT_INFILE, $fp);
curl_setopt($curlobj, CURLOPT_INFILESIZE, filesize($localfile));
$rtn=curl_exec($curlobj); 
fclose($fp); 
if(!curl_errno($curlobj)){
 echo "Uploaded successfully."; 
} else {
 echo 'Curl error: ' . curl_error($curlobj);
}
curl_close($curlobj);
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

6.下載網絡上面的一個HTTPS的資源

<?php
/**
 * 實例描述：下載網絡上面的一個HTTPS的資源
 */
$curlobj=curl_init(); // 初始化
curl_setopt($curlobj, CURLOPT_URL, "https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js"); // 設置訪問網頁的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 執行之后不直接打印出來
// 設置HTTPS支持
date_default_timezone_set('PRC'); // 使用Cookie時，必須先設置時區
curl_setopt($curlobj, CURLOPT_SSL_VERIFYPEER, 0); // 對認證證書來源的檢查從證書中檢查SSL加密算法是否存在
curl_setopt($curlobj, CURLOPT_SSL_VERIFYHOST, 2); // 
$output=curl_exec($curlobj); // 執行
curl_close($curlobj); // 關閉cURL
echo $output;
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

原生PHP模擬http請求

有時候為了簡單模擬一個http請求，這樣就去用curl有點浪費，其實php自身已經可以實現這個功能，

需要在服務器端模擬 POST/GET 等請求，也就是在 PHP 程序中去實現模擬，改怎么做到呢？或者說，在 PHP 程序里，給你一個數組，如何將這個數組 POST/GET 到另外一個地址呢？當然，使用 CURL 很容易辦到，那么如果不使用 CURL 庫，又該怎么辦呢？其實，在 PHP 里已經有相關的函數實現了，這個函數就是接下來要講的 stream_context_create()。

直接 show you the code，這是最好的方法：

$data=array(
 'foo'=>'bar', 
 'baz'=>'boom', 
 'site'=>'www.nowamagic.net', 
 'name'=>'nowa magic'); 
$data=http_build_query($data); 
//$postdata=http_build_query($data);
$options=array(
 'http'=> array(
 'method'=> 'POST',
 'header'=> 'Content-type:application/x-www-form-urlencoded',
 'content'=> $data
 //'timeout'=> 60 * 60 // 超時時間（單位:s）
 )
);
$url="http://www.nowamagic.net/test2.php";
$context=stream_context_create($options);
$result=file_get_contents($url, false, $context);
echo $result;
http://www.nowamagic.net/test2.php 的代碼為：
$data=$_POST;
echo '<pre>';
print_r( $data );
echo '</pre>';
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

運行結果為：

Array
(
 [foo]=> bar
 [baz]=> boom
 [site]=> www.nowamagic.net
 [name]=> nowa magic
)
1
2
3
4
5
6
7

一些要點講解：

以上程序用到了 http_build_query() 函數，構造URL字符串。
stream_context_create() 是用來創建打開文件的上下文件選項的，比如用POST訪問，使用代理，發送header等。就是創建一個流，再舉一個例子吧：

$context=stream_context_create(array( 
 'http'=> array( 
 'method'=> 'POST', 
 'header'=> sprintf("Authorization: Basic %s\r\n", base64_encode($username.':'.$password)). 
 "Content-type: application/x-www-form-urlencoded\r\n", 
 'content'=> http_build_query(array('status'=> $message)), 
 'timeout'=> 5, 
 ), 
)); 
$ret=file_get_contents('http://twitter.com/statuses/update.xml', false, $context); 
1
2
3
4
5
6
7
8
9
10

stream_context_create創建的上下文選項即可用于流(stream)，也可用于文件系統(file system)。對于像 file_get_contents、file_put_contents、readfile直接使用文件名操作而沒有文件句柄的函數來說更有用。stream_context_create增加header頭只是一部份功能，還可以定義代理、超時等。這使得訪問web的功能不弱于curl。
stream_context_create() 作用：創建并返回一個文本數據流并應用各種選項，可用于fopen(),file_get_contents()等過程的超時設置、代理服務器、請求方式、頭信息設置的特殊過程。
stream_context_create 還能通過增加 timeout 選項解決file_get_contents超時處理：

法1: 用file_get_contents以get方式獲取內容：

<?php$url='https://wenda.shukaiming.com/';echo file_get_contents($url);?>

方法2: 用fopen打開url, 以get方式獲取內容：

<?php//r標識read，即標識只讀$fp=fopen($url, 'r');stream_get_meta_data($fp);while(!feof($fp)) {$body.=fgets($fp, 1024);}echo $body;fclose($fp);?>

方法3：用file_get_contents函數,以post方式獲取url

<?php$data=array (‘foo'=> ‘bar');$data=http_build_query($data);$opts=array ('http'=> array ('method'=> 'POST','header'=> 'Content-type: application/x-www-form-urlencodedrn' .'Content-Length: ' . strlen($data) . '\r\n','content'=> $data));$context=stream_context_create($opts);$html=file_get_contents('https://wenda.shukaming.com', false, $context);echo $html;?>

方法4：用fsockopen函數打開url，以get方式獲取完整的數據，包括header和body,fsockopen需要 PHP.ini 中allow_url_fopen選項開啟

<?phpfunction get_url ($url,$cookie=false){$url=parse_url($url);$query=$url[path].”?”.$url[query];echo $query;$fp=fsockopen( $url[host], $url[port]?$url[port]:80 , $errno, $errstr, 30);if (!$fp) {return false;} else {$request="GET $query HTTP/1.1\r\n";$request .="Host: $url[host]\r\n";$request .="Connection: Close\r\n";if($cookie) $request.="Cookie: $cookien";$request.="\r\n";fwrite($fp,$request);while(!@feof($fp)) {$result .=@fgets($fp, 1024);}fclose($fp);return $result;}}//獲取url的html部分，去掉headerfunction GetUrlHTML($url,$cookie=false){$rowdata=get_url($url,$cookie);if($rowdata){$body=stristr($rowdata,”\r\n\r\n”);$body=substr($body,4,strlen($body));return $body;}return false;}?>

方法5：用fsockopen函數打開url，以POST方式獲取完整的數據，包括header和body

<?phpfunction HTTP_Post($URL,$data,$cookie, $referrer=""){// parsing the given URL$URL_Info=parse_url($URL);// Building referrerif($referrer=="") // if not given use this script as referrer$referrer="111";// making string from $dataforeach($data as $key=>$value)$values[]="$key=".urlencode($value);$data_string=implode("&",$values);// Find out which port is needed – if not given use standard (=80)if(!isset($URL_Info["port"]))$URL_Info["port"]=80;// building POST-request:$request.="POST ".$URL_Info["path"]." HTTP/1.1\n";$request.="Host: ".$URL_Info["host"]."\n";$request.="Referer: $referer\n";$request.="Content-type: application/x-www-form-urlencodedn";$request.="Content-length: ".strlen($data_string)."\n";$request.="Connection: closen";$request.="Cookie: $cookien";$request.="\n";$request.=$data_string."\n";$fp=fsockopen($URL_Info["host"],$URL_Info["port"]);fputs($fp, $request);while(!feof($fp)) {$result .=fgets($fp, 1024);}fclose($fp);return $result;}?>

方法6:使用curl庫，使用curl庫之前，可能需要查看一下php.ini是否已經打開了curl擴展

<?php
$ch=curl_init();
$timeout=5;
curl_setopt ($ch, CURLOPT_URL,'http://wenda.shukaiming.com');
curl_setopt ($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$file_contents=curl_exec($ch);
curl_close($ch);
echo $file_contents;
?>

于項目要求，需要利用php做一個獲取遠程頁面html狀態碼的功能，用來判斷遠程頁面是否可以訪問，就類似那種HTML頁面狀態碼檢測工具一樣。整理了一下代碼，貼出來。有需要的可以拿去用哦。

php獲取遠程頁面的html狀態碼，有兩種方法。一種是用了php的內置函數 get_headers()，一種是用了 curl 方法。

php獲取html狀態碼的方法

方法一：

<?php
$arr=get_headers('http://feiniaomy.com');
echo $arr[0];
echo '<br/>';
$arr1=get_headers('http://www.feiniaomy.com');
echo $arr1[0];
echo '<br/>';
$arr2=get_headers('https://www.feiniaomy.com');
echo $arr2[0];
?>

輸出結果：

HTTP/1.1 301 Moved Permanently
HTTP/1.1 301 Moved Permanently
HTTP/1.1 200 OK

注：

由于測試網址(本博客url) HTTP 協議都301到了 HTTPS 協議的 www 二級域名上，所以前兩次會輸出html的301狀態碼，最后一次是直接請求的 HTTPS 協議的地址，直接返回 HTML 200的狀態碼。

方法二：

<?php
$ch=curl_init('https://www.baidu.com');
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_exec($ch);
$httpcode=curl_getinfo($ch,CURLINFO_HTTP_CODE); 
curl_close($ch);
?>

返回結果：

在線咨詢

上一篇：PBAT轉產PBT不香嗎？15家PBT企業盤點
下一篇：javascript基礎-介紹以及作用、組成

您的項目需求

*請認真填寫需求信息，我們會在24小時內與您取得聯系。

整合營銷服務商

PHP網絡爬蟲之CURL學習

HP的CURL

原生PHP模擬http請求

php獲取html狀態碼的方法

您的項目需求