介绍
本篇文章给大家分享的是有关利用Java爬虫怎么实现一个解析功能,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
<强> 1,springboot项目,引入jsoup 强>
& lt; dependency> & lt; groupId> org.jsoup & lt; artifactId> jsoup & lt; version> 1.10.2 & lt;/dependency>
<强> 2,准备解析对象强>
Content.java package com.asia.pojo; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; @ data @NoArgsConstructor @AllArgsConstructor public class  Content { 标题,private String ; ,private String  img; ,private String 价格; }
<强> 3,爬虫工具类强>
HtmlParseUtil.java package com.asia.utils; import java.net.URL; import java.net.URLDecoder; import java.util.ArrayList; import 并不知道; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.asia.pojo.Content; public class  HtmlParseUtil { public static  void main (String [], args), throws Exception { new HtmlParseUtil () .parseJD(“西瓜“).forEach (system . out:: println); } public List< Content>, parseJD (String 关键字),throws Exception { String url =,“https://search.jd.com/Search?keyword=", +, URLDecoder.decode(关键词,,“GBK");//,解析网页。(Jsoup返回文档就是浏览器的文档对象) Document Document =, Jsoup.parse ((new 网址(URL)), 30000); Element Element =, . getelementbyid (“J_goodsList"); Elements Elements =, element.getElementsByTag (“li"); List(); 时间:for (Element el 元素),{ String src =, el.getElementsByTag (“img") .eq (0) .attr (“data-lazy-img"); String price =, el.getElementsByClass (“p-price") .eq (0)。text (); String name =, el.getElementsByClass (“p-name") .eq (0)。text (); list.add (new 内容(名称,src,,价格)); } return 列表; } }
以上就是利用Java爬虫怎么实现一个解析功能,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注行业资讯频道。