您好,欢迎访问一九零五行业门户网

php curl抓取网页的介绍和推广及使用CURL抓取淘宝页面集成方法

抓取网页内容,分析网页数据经常使用php curl,简洁易用,本篇文章通过代码实例给大家讲解 php curl抓取网页的介绍和推广及使用curl抓取淘宝页面集成方法,需要
php的curl可以用来实现抓取网页,分析网页数据用, 简洁易用, 这里介绍其函数等就不详细描述, 放上代码看看:
只保留了其中几个主要的函数。 实现模拟登陆, 其中可能涉及到session捕获, 然后前后页面涉及参数提供形式。
libcurl主要功能就是用不同的协议连接和沟通不同的服务器~也就是相当封装了的sock
php 支持libcurl(允许你用不同的协议连接和沟通不同的服务器)。, libcurl当前支持http, https, ftp, gopher, telnet, dict, file, 和ldap 协议。libcurl同样支持https证书授权,http post, http put, ftp 上传(当然你也可以使用php的ftp扩展), http基本表单上传,代理,cookies,和用户认证。
为了使用curl函数你需要安装curl包。php 需要你使用curl 7.0.2-beta或更高版。如果curl的版本低于7.0.2-beta,php将不工作。
要使用php的curl支持,你必须用带有--with-curl[=dir]参数重新编译php(dir是包含库和头文件的目录)。
这些函数是在php 4.0.2中新增得。
一旦你编译了带有curl支持的php,你可以使用curl函数。基本思路是:你使用curl_init()函数初始化 curl会话,而后你可以设置你的所有选项,通过curl_exec()函数执行,最后你可以作用curl_close()函数来结束你的会话。以下是一个例子:是把php的主页取回放到一个文件中。
例 1. 使用php的curl模块取回php主页
$ch = curl_init (http://www.php.net/);$fp = fopen (php_homepage.txt, w);curl_setopt ($ch, curlopt_file, $fp);curl_setopt ($ch, curlopt_header, 0);curl_exec ($ch);curl_close ($ch);fclose ($fp);?>
目录列表
curl_init — 初始化一个curl会话
curl_setopt — 为curl调用设置一个选项
curl_exec — 执行一个curl会话
curl_close — 关闭一个curl会话
curl_version — 返回当前curl版本
* curl扩展的安装
php已经内置有php_curl.dll,在ext目录下,此dll用于支持ssl和zlib.
在php.ini中找到有extension=php_curl.dll, 去掉前面的注释.
设置extension_dir=你的php的ext目录(例如c:/php/ext)
把ext目录下的libeay32.dll, ssleay32.dll, php5ts.dll, php_curl.dll 都拷贝到system32目录下,重启apache即可。
curl_init
curl_init -- 初始化一个curl会话
描述
int curl_init ([string url])
curl_init()函数将初始化一个新的会话,返回一个curl句柄供curl_setopt(), curl_exec(),和 curl_close() 函数使用。如果可选参数被提供,那么curlopt_url选项将被设置成这个参数的值。你可以使用curl_setopt()函数人工设置。
例 1. 初始化一个新的curl会话,且取回一个网页
$ch = curl_init();curl_setopt ($ch, curlopt_url, http://www.zend.com/);curl_setopt ($ch, curlopt_header, 0);curl_exec ($ch);curl_close ($ch);?>
参见:curl_close(), curl_setopt()
* curl_setopt
curl_setopt -- 为curl调用设置一个选项
描述 
 bool curl_setopt (int ch, string option, mixed value)
curl_setopt()函数将为一个curl会话设置选项。option参数是你想要的设置,value是这个选项给定的值。
下列选项的值将被作为长整形使用(在option参数中指定):
curlopt_infilesize: 当你上传一个文件到远程站点,这个选项告诉php你上传文件的大小。
curlopt_verbose: 如果你想curl报告每一件意外的事情,设置这个选项为一个非零值。
curlopt_header: 如果你想把一个头包含在输出中,设置这个选项为一个非零值。
curlopt_noprogress: 如果你不会php为curl传输显示一个进程条,设置这个选项为一个非零值。
注意:php自动设置这个选项为非零值,你应该仅仅为了调试的目的来改变这个选项。
curlopt_nobody: 如果你不想在输出中包含body部分,设置这个选项为一个非零值。
curlopt_failonerror: 如果你想让php在发生错误(http代码返回大于等于300)时,不显示,设置这个选项为一人非零值。默认行为是返回一个正常页,忽略代码。
curlopt_upload: 如果你想让php为上传做准备,设置这个选项为一个非零值。
curlopt_post: 如果你想php去做一个正规的http post,设置这个选项为一个非零值。这个post是普通的 application/x-www-from-urlencoded 类型,多数被html表单使用。
curlopt_ftplistonly: 设置这个选项为非零值,php将列出ftp的目录名列表。
curlopt_ftpappend: 设置这个选项为一个非零值,php将应用远程文件代替覆盖它。
curlopt_netrc: 设置这个选项为一个非零值,php将在你的 ~./netrc 文件中查找你要建立连接的远程站点的用户名及密码。
curlopt_followlocation: 设置这个选项为一个非零值(象 location: )的头,服务器会把它当做http头的一部分发送(注意这是递归的,php将发送形如 location: 的头)。
curlopt_put: 设置这个选项为一个非零值去用http上传一个文件。要上传这个文件必须设置curlopt_infile和curlopt_infilesize选项.
curlopt_mute: 设置这个选项为一个非零值,php对于curl函数将完全沉默。
curlopt_timeout: 设置一个长整形数,作为最大延续多少秒。
curlopt_low_speed_limit: 设置一个长整形数,控制传送多少字节。
curlopt_low_speed_time: 设置一个长整形数,控制多少秒传送curlopt_low_speed_limit规定的字节数。
curlopt_resume_from: 传递一个包含字节偏移地址的长整形参数,(你想转移到的开始表单)。
curlopt_sslversion: 传递一个包含ssl版本的长参数。默认php将被它自己努力的确定,在更多的安全中你必须手工设置。
curlopt_timecondition: 传递一个长参数,指定怎么处理curlopt_timevalue参数。你可以设置这个参数为timecond_ifmodsince 或 timecond_isunmodsince。这仅用于http。
curlopt_timevalue: 传递一个从1970-1-1开始到现在的秒数。这个时间将被curlopt_timevalue选项作为指定值使用,或被默认timecond_ifmodsince使用。
下列选项的值将被作为字符串:
curlopt_url: 这是你想用php取回的url地址。你也可以在用curl_init()函数初始化时设置这个选项。
curlopt_userpwd: 传递一个形如[username]:[password]风格的字符串,作用php去连接。
curlopt_proxyuserpwd: 传递一个形如[username]:[password] 格式的字符串去连接http代理。
curlopt_range: 传递一个你想指定的范围。它应该是x-y格式,x或y是被除外的。http传送同样支持几个间隔,用逗句来分隔(x-y,n-m)。
curlopt_postfields: 传递一个作为http “post”操作的所有数据的字符串。
curlopt_referer: 在http请求中包含一个referer头的字符串。
curlopt_useragent: 在http请求中包含一个user-agent头的字符串。
其它类似信息

推荐信息