利用Java爬虫怎么实现一个解析功能

  介绍

本篇文章给大家分享的是有关利用Java爬虫怎么实现一个解析功能,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

<强> 1,springboot项目,引入jsoup

& lt; dependency>   & lt; groupId> org.jsoup   & lt; artifactId> jsoup   & lt; version> 1.10.2   & lt;/dependency>

<强> 2,准备解析对象

Content.java   package  com.asia.pojo;   import  lombok.AllArgsConstructor;   import  lombok.Data;   import  lombok.NoArgsConstructor;   @ data   @NoArgsConstructor   @AllArgsConstructor   public  class  Content  {   标题,private  String ;   ,private  String  img;   ,private  String 价格;   }

<强> 3,爬虫工具类

HtmlParseUtil.java   package  com.asia.utils;   import  java.net.URL;   import  java.net.URLDecoder;   import  java.util.ArrayList;   import 并不知道;   import  org.jsoup.Jsoup;   import  org.jsoup.nodes.Document;   import  org.jsoup.nodes.Element;   import  org.jsoup.select.Elements;   import  com.asia.pojo.Content;   public  class  HtmlParseUtil  {   public  static  void  main (String [], args), throws  Exception  {   new  HtmlParseUtil () .parseJD(“西瓜“).forEach (system . out:: println);   }   public  List< Content>, parseJD (String 关键字),throws  Exception  {   String  url =,“https://search.jd.com/Search?keyword=", +, URLDecoder.decode(关键词,,“GBK");//,解析网页。(Jsoup返回文档就是浏览器的文档对象)   Document  Document =, Jsoup.parse ((new 网址(URL)), 30000);   Element  Element =, . getelementbyid (“J_goodsList");   Elements  Elements =, element.getElementsByTag (“li");   List ();   时间:for  (Element  el 元素),{   String  src =, el.getElementsByTag (“img") .eq (0) .attr (“data-lazy-img");   String  price =, el.getElementsByClass (“p-price") .eq (0)。text ();   String  name =, el.getElementsByClass (“p-name") .eq (0)。text ();   list.add (new 内容(名称,src,,价格));   }   return 列表;   }   }

以上就是利用Java爬虫怎么实现一个解析功能,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注行业资讯频道。

利用Java爬虫怎么实现一个解析功能