介绍
这篇文章给大家介绍利用PHP怎么实现一个轻量级的网络爬虫,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
<强>爬虫的结构:
,,爬虫的原理其实很简单,就是分析下载的页面,找出其中的连接,然后再下载这些链接,再分析再下载,周而复始。在数据存储方面,数据库是首选,便于检索,而开发语言,只要支持正则表达式就可以了,数据库我选择了mysql,所以,开发脚本我选择了php。它支持perl兼容正则表达式,连接mysql很方便,支持http下载,而且windows系统和linux系统都可以部署。
<强>正则表达式:
,正则表达式是处理文字的基本工具,要取html中出的链接和图片,使用的正则表达式如下。
,,,“# & lt;[^祝辞]+ href=https://www.yisu.com/zixun/(['/"]) (+)//1 # isU”处理链接
“# 
) + (['/"]) (+)//1 # isU”处理图片 <强>其他问题:
,写爬虫还需要注意的一个问题是,对于已经下载过的url,不能重复进行下载,而有些网页的链接会形成环路,所以需要处理这个问题,我的处理方法是计算已经处理的url的MD5值,并存入数据库,这样就可以检验是否已经下载过。当然还有更好的算法,有兴趣的话,可以在网上找一下。
<强>相关协议:
,爬虫也有自己的协议,有个robots . txt文件定义了那些是网站允许遍历的,但是由于我的时间有限,没有实现这个功能。
<强>其他说明:
,php支持类编程,我写的爬虫主要的类。
,1. url处理web_site_info,主要用处理url,分析域名等。
,2 .数据库操作mysql_insert.php,处理和数据库相关的操作。
,3 .历史记录处理,记录已经处理的url。
,4 .爬虫类。
<强>存在的问题和不足
,这个爬虫在小数据量的情况下,运行良好,但是在大数据量的情况下,历史记录处理类的效率就不是很高,通过在数据库结构中,对相关字段进行了索引,速度有了提高,但是需要不断得读取数据,可能和php本身的数组实现有关系,如果一次加万载10条历史记录,速度非常慢。
,不支持多线程,每次只能处理一个url。
,php运行本身有内存使用量限制,有一次在抓取深度为20的页面的时候,内存用尽程序被杀。
使用的时候,先在mysql中创建net_spider数据库,然后用db.sql创建相关表。再在配置。php中设置mysql的用户名口令。
最后
php -f spider.php 深度(数值),url 现在感觉下来,其实做个爬虫没那么复杂,难的是数据的存储和检索。我现在的数据库,最大一个数据表已经15克,正在想办处理这些数据,mysql进行查询已经感觉有点力不从心了。这点上还真佩服谷歌
& lt; php ?
#加载页面
function curl_get ($ url) {
,,,$ ch=curl_init ();
,,,curl_setopt ($ ch CURLOPT_URL $ url);
,,,curl_setopt (ch美元,CURLOPT_RETURNTRANSFER,, 1);
,,,curl_setopt (ch美元CURLOPT_HEADER 1);
,,,结果=curl_exec美元($ ch);
,,,代码=美元curl_getinfo (ch美元,CURLINFO_HTTP_CODE);
,,,如果($代码!=& # 39;404 & # 39;,,,,结果美元){
,,,,return 结果美元;
,,,}
,,,curl_close (ch);
}
#获取页面url链接
function get_page_urls (spider_page_result, base_url美元){
美元才能get_url_result=preg_match_all (“/& lt;[|一个]。* ? href=[\ & # 39; \“]{0,1}([^祝辞\ & # 39;\“\]*)。* ?祝辞/?spider_page_result美元,美元);
如果才能(get_url_result美元){
,,,return 美元[1];
}{其他才能
,,,返回;
,,}
}
#相对路径转绝对路径
function xdtojd (base_url, url_list美元){
,如果(is_array (url_list美元)){
foreach才能(url_list 美元;as url_item美元){
,,,如果(preg_match (“/^ (http: \/\/| https: \/\/| javascript:)/? url_item美元)){
,,,,,美元result_url_list []=$ url_item;
,,,}else {
,,,,如果(preg_match (“/^ \//? url_item美元)){
,,,,,real_url 美元;=,base_url。url_item美元;
,,,,其他}{
,,,,,real_url 美元;=,美元base_url !”/皍rl_item美元;
,,,,}
,,,,# $ real_url =, & # 39; http://www.sumpay.cn/& # 39; url_item美元;,
,,,,美元result_url_list [],=, real_url;美元,
,,,}
,,}
,,return result_url_list美元;
,其他}{
,才能回报;
,}
}
#删除其他站点url
function other_site_url_del (jd_url_list, url_base美元){
,如果(is_array (jd_url_list美元)){
foreach才能(jd_url_list 美元;as all_url美元){
,,,echo all_url美元;
,,,如果(大小写敏感(all_url, url_base美元)===0){
,,,,美元all_url_list []=$ all_url;
,,,},,
,,}
return 才能;all_url_list美元;
,其他}{
返回才能;
,}
}
#删除相同的URL
function url_same_del (array_url美元){
,,如果(is_array (array_url美元)){
,,,,数组$ insert_url=();
,,,,$比萨=file_get_contents (“/tmp/url.txt");
,,,,如果(披萨美元){
,,,,,,,$比萨=爆炸(“\ r \ n",比萨美元);
,,,,,,,foreach (array_url 美元;as array_value_url美元){
,,,,,,,,如果(! in_array (array_value_url,比萨美元)){
,,,,,,,,,美元insert_url []=$ array_value_url;,
,,,,,,,,}
,,,,,,,}
,,,,,,,如果(insert_url美元){
,,,,,,,,,,foreach (insert_url 美元;as key 美元;=祝辞,insert_url_value美元){
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
