很多时候我们需要批量抓取一些网站的资源，这个时候就需要用到爬虫。爬虫的基础就是通过curl来模拟http请求然后解析数据，本文就通过编写一个简单的网络爬虫来带领大家学习php的curl。
先介绍一些常用的函数。
curl_init 初始化一个curl对话
curl_setopt 设置curl参数，即传输选项
curl_exec 执行请求
curl_close 关闭一个curl对话
主要是上面四个
curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码
curl_errror 返回一个保护当前会话最近一次错误的字符串
下面直接上实例吧，相关解释都在注释里面
1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
<?php
/**
* 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
*/
$curlobj = curl_init(); // 初始化
curl_setopt($curlobj, curlopt_url, "http://www.baidu.com"); // 设置访问网页的url
curl_setopt($curlobj, curlopt_returntransfer, true); // 执行之后不直接打印出来
$output=curl_exec($curlobj); // 执行
curl_close($curlobj); // 关闭curl
echo str_replace("百度","屌丝",$output);
?>
2. 通过调用webservice查询北京的当前天气
<?php
/**
* 实例描述：通过调用webservice查询北京的当前天气
*/
$data = 'thecityname=北京';
$curlobj = curl_init();
curl_setopt($curlobj, curlopt_url, "http://www.webxml.com.cn/webservices/weatherwebservice.asmx/getweatherbycityname");
curl_setopt($curlobj, curlopt_header, 0);
curl_setopt($curlobj, curlopt_returntransfer, 1);
curl_setopt($curlobj, curlopt_post, 1);
curl_setopt($curlobj, curlopt_postfields, $data);
curl_setopt($curlobj, curlopt_httpheader, array("application/x-www-form-urlencoded; charset=utf-8",
"content-length: ".strlen($data)
));
$rtn = curl_exec($curlobj);
if(!curl_errno($curlobj)){
// $info = curl_getinfo($curlobj);
// print_r($info);
echo $rtn;
} else {
echo 'curl error: ' . curl_error($curlobj);
}
curl_close($curlobj);
?>
3. 模拟需要登录的网址并抓取网页的内容
<?php
/**
* 实例描述：模拟需要登录的网址并抓取网页的内容
*/
$data=array('username' => 'promonkey',
'password' => '1q2w3e',
'remember'=>1);
$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';
$curlobj = curl_init(); // 初始化
curl_setopt($curlobj, curlopt_url, "http://www.imooc.com/user/login"); // 设置访问网页的url
curl_setopt($curlobj, curlopt_returntransfer, true); // 执行之后不直接打印出来
// cookie相关设置，这部分设置需要在所有会话开始之前设置
date_default_timezone_set('prc'); // 使用cookie时，必须先设置时区
curl_setopt($curlobj, curlopt_cookiesession, true);
curl_setopt($curlobj, curlopt_header, 0);
curl_setopt($curlobj, curlopt_followlocation, 1); // 这样能够让curl支持页面链接跳转
curl_setopt($curlobj, curlopt_post, 1);
curl_setopt($curlobj, curlopt_postfields, $data);
curl_setopt($curlobj, curlopt_httpheader, array("application/x-www-form-urlencoded; charset=utf-8",
"content-length: ".strlen($data)
));
curl_exec($curlobj); // 执行
curl_setopt($curlobj, curlopt_url, "http://www.imooc.com/space/index");
curl_setopt($curlobj, curlopt_post, 0);
curl_setopt($curlobj, curlopt_httpheader, array("content-type: text/xml"
));
$output=curl_exec($curlobj); // 执行
curl_close($curlobj); // 关闭curl
echo $output;
?>
4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取
<?php
/**
* 实例描述：登录网站的信息抓取并下载个人空间页面
* 自定义实现页面链接跳转抓取
*
*/
$data='username=demo_peter@126.com&password=123qwe&remember=1';
$curlobj = curl_init(); // 初始化
curl_setopt($curlobj, curlopt_url, "http://www.imooc.com/user/login"); // 设置访问网页的url
curl_setopt($curlobj, curlopt_returntransfer, true); // 执行之后不直接打印出来
// cookie相关设置，这部分设置需要在所有会话开始之前设置
date_default_timezone_set('prc'); // 使用cookie时，必须先设置时区
curl_setopt($curlobj, curlopt_cookiesession, true);
curl_setopt($curlobj, curlopt_header, 0);
// 注释掉这行，因为这个设置必须关闭安全模式 以及关闭open_basedir，对服务器安全不利
//curl_setopt($curlobj, curlopt_followlocation, 1);
curl_setopt($curlobj, curlopt_post, 1);
curl_setopt($curlobj, curlopt_postfields, $data);
curl_setopt($curlobj, curlopt_httpheader, array("application/x-www-form-urlencoded; charset=utf-8",
"content-length: ".strlen($data)
));
curl_exec($curlobj); // 执行
curl_setopt($curlobj, curlopt_url, "http://www.imooc.com/space/index");
curl_setopt($curlobj, curlopt_post, 0);
curl_setopt($curlobj, curlopt_httpheader, array("content-type: text/xml"
));
$output=curl_redir_exec($curlobj); // 执行
curl_close($curlobj); // 关闭curl
echo $output;
/**
* 自定义实现页面链接跳转抓取
*/
function curl_redir_exec($ch,$debug="")
{
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops++ >= $curl_max_loops)
{
$curl_loops = 0;
return false;
}
curl_setopt($ch, curlopt_header, true); // 开启header才能够抓取到重定向到的新url
curl_setopt($ch, curlopt_returntransfer, true);
$data = curl_exec($ch);
// 分割返回的内容
$h_len = curl_getinfo($ch, curlinfo_header_size);
$header = substr($data,0,$h_len);
$data = substr($data,$h_len - 1);
$http_code = curl_getinfo($ch, curlinfo_http_code);
if ($http_code == 301 || $http_code == 302) {
$matches = array();
preg_match('/location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
// print_r($url);
if (!$url)
{
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, curlinfo_effective_url));
if (!isset($url['scheme']))
$url['scheme'] = $last_url['scheme'];
if (!isset($url['host']))
$url['host'] = $last_url['host'];
if (!isset($url['path']))
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:'');
curl_setopt($ch, curlopt_url, $new_url);
return curl_redir_exec($ch);
} else {
$curl_loops=0;
return $data;
}
}
?>
从ftp服务器下载一个文件到本地
<?php
/**
* 实例描述：把本地文件上传到ftp服务器上
*/
$curlobj = curl_init();
$localfile = 'ftp01.php';
$fp = fopen($localfile, 'r');
curl_setopt($curlobj, curlopt_url, "ftp://192.168.1.100/ftp01_uploaded.php");
curl_setopt($curlobj, curlopt_header, 0);
curl_setopt($curlobj, curlopt_returntransfer, 1);
curl_setopt($curlobj, curlopt_timeout, 300); // times out after 300s
curl_setopt($curlobj, curlopt_userpwd, "peter.zhou:123456");//ftp用户名：密码
//上传和下载主要是下面子三个参数不一样
curl_setopt($curlobj, curlopt_upload, 1);
curl_setopt($curlobj, curlopt_infile, $fp);
curl_setopt($curlobj, curlopt_infilesize, filesize($localfile));
$rtn = curl_exec($curlobj);
fclose($fp);
if(!curl_errno($curlobj)){
echo "uploaded successfully.";
} else {
echo 'curl error: ' . curl_error($curlobj);
}
curl_close($curlobj);
?>
6.下载网络上面的一个https的资源
<?php
/**
* 实例描述：下载网络上面的一个https的资源
*/
$curlobj = curl_init(); // 初始化
curl_setopt($curlobj, curlopt_url, "https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js"); // 设置访问网页的url
curl_setopt($curlobj, curlopt_returntransfer, true); // 执行之后不直接打印出来
// 设置https支持
date_default_timezone_set('prc'); // 使用cookie时，必须先设置时区
curl_setopt($curlobj, curlopt_ssl_verifypeer, 0); // 对认证证书来源的检查从证书中检查ssl加密算法是否存在
curl_setopt($curlobj, curlopt_ssl_verifyhost, 2); //
$output=curl_exec($curlobj); // 执行
curl_close($curlobj); // 关闭curl
echo $output;
?>
原生php模拟http请求
有时候为了简单模拟一个http请求，这样就去用curl有点浪费，其实php自身已经可以实现这个功能，
需要在服务器端模拟 post/get 等请求，也就是在 php 程序中去实现模拟，改怎么做到呢？或者说，在 php 程序里，给你一个数组，如何将这个数组 post/get 到另外一个地址呢？当然，使用 curl 很容易办到，那么如果不使用 curl 库，又该怎么办呢？其实，在 php 里已经有相关的函数实现了，这个函数就是接下来要讲的 stream_context_create()。
直接 show you the code，这是最好的方法：
$data = array(
'foo'=>'bar',
'baz'=>'boom',
'site'=>'www.nowamagic.net',
'name'=>'nowa magic');
$data = http_build_query($data);
//$postdata = http_build_query($data);
$options = array(
'http' => array(
'method' => 'post',
'header' => 'content-type:application/x-www-form-urlencoded',
'content' => $data
//'timeout' => 60 * 60 // 超时时间（单位:s）
)
);
$url = "http://www.nowamagic.net/test2.php";
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
echo $result;
http://www.nowamagic.net/test2.php 的代码为：
$data = $_post;
echo '<pre>';
print_r( $data );
echo '</pre>';
运行结果为：
array
(
[foo] => bar
[baz] => boom
[site] => www.nowamagic.net
[name] => nowa magic
)
一些要点讲解：
以上程序用到了 http_build_query() 函数，构造url字符串。
stream_context_create() 是用来创建打开文件的上下文件选项的，比如用post访问，使用代理，发送header等。就是 创建一个流，再举一个例子吧：
$context = stream_context_create(array(
'http' => array(
'method' => 'post',
'header' => sprintf("authorization: basic %s\r\n", base64_encode($username.':'.$password)).
"content-type: application/x-www-form-urlencoded\r\n",
'content' => http_build_query(array('status' => $message)),
'timeout' => 5,
),
));
$ret = file_get_contents('http://twitter.com/statuses/update.xml', false, $context);
stream_context_create创建的上下文选项即可用于流(stream)，也可用于文件系统(file system)。对于像 file_get_contents、file_put_contents、readfile直接使用文件名操作而没有文件句柄的函数来说更有用。stream_context_create增加header头只是一部份功能，还可以定义代理、超时等。这使得访问web的功能不弱于curl。
stream_context_create() 作用：创建并返回一个文本数据流并应用各种选项，可用于fopen(),file_get_contents()等过程的超时设置、代理服务器、请求方式、头信息设置的特殊过程。
stream_context_create 还能通过增加 timeout 选项解决file_get_contents超时处理：
$opts = array(
'http'=>array(
'method'=>"get",
'timeout'=>60,
)
);
//创建数据流上下文
$context = stream_context_create($opts);
$html =file_get_contents('http://www.nowamagic.net', false, $context);
//fopen输出文件指针处的所有剩余数据:
//fpassthru($fp); //fclose()前使用
以上就是 php学习curl之爬虫实例的详细内容。