java编程实现简单的网络爬虫过程_F11 - 专业站长和开发者的学习网站

分享到

java编程实现简单的网络爬虫过程

java 来源：转载作者：秩名发布时间：2021-10-15 10:05:07 人浏览

摘要

本项目中需要用到两个第三方jar包，分别为 jsoup 和 commons-io。 jsoup的作用是为了解析网页， commons-io 是为了把数据保存到本地。 1.爬取贴吧第一步，打开eclipse，新建一个java项目，名字就叫做 pachong：然后，新建一个类，作为我们程序的入口。这

本项目中需要用到两个第三方jar包，分别为 jsoup 和 commons-io。

jsoup的作用是为了解析网页， commons-io 是为了把数据保存到本地。

1.爬取贴吧

第一步，打开eclipse，新建一个java项目，名字就叫做 pachong：

然后，新建一个类，作为我们程序的入口。

这个作为入口类，里面就写一个main方法即可。

public class StartUp {
    public static void main(String[] args) {
        
    }
}

第二步，导入我们的依赖，两个jar包：

右键jar包，Build path , add to Build path

接着，我们试着搜索一下动漫吧的数据：

https://tieba.baidu.com/f?kw=%B6%AF%C2%FE&tpl=5

public class StartUp {

    public static void main(String[] args) {
        String url = "https://tieba.baidu.com/f?kw=%B6%AF%C2%FE&tpl=5";
        Connection connect = Jsoup.connect(url);
        System.out.println(connect);
    }
}

如果能够成功打印出来链接，说明我们的连接测试是成功的！

然后，我们调用connect的get方法，获取链接到的数据：

Document document = connect.get();

这边需要抛出一个异常，而且是强制性的，因为有可能会获取失败。这边我们直接抛出去，不去捕获。

public class StartUp {

    public static void main(String[] args) throws IOException {
        String url = "https://tieba.baidu.com/f?kw=%B6%AF%C2%FE&tpl=5";
        Connection connect = Jsoup.connect(url);
        System.out.println(connect);
        
        Document document = connect.get();
        System.out.println(document);
    }
}

打印出来的结果：

可见，document对象装的就是一个完整HTML页面。

在这里，我们想要拿到的第一个数据，就是所有帖子的标题：

我们发现，每一个标题都是一个a连接，class为j_th_tit 。

下一步我们就考虑获取所有class为 j_th_tit 的元素。

我们发现，document对象给我们提供了 getElementsByClass 的方法，顾名思义，就是获取class为 XXX 的元素。

Elements titles = document.getElementsByClass("j_th_tit");

接着，遍历titles，打印出每一个标题的名称：

for (int i = 0; i < titles.size(); i++) {
    System.out.println(titles.get(i).attr("title"));
}

当前代码：

import java.io.IOException;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class StartUp {
    public static void main(String[] args) throws IOException {
        String url = "https://tieba.baidu.com/f?kw=%B6%AF%C2%FE&tpl=5";
        Connection connect = Jsoup.connect(url);       
        Document document = connect.get();     
        Elements titles = document.getElementsByClass("j_th_tit");     
        for (int i = 0; i < titles.size(); i++) {
            System.out.println(titles.get(i).attr("title"));
        }      
    }
}

您可能感兴趣的文章 :

原文链接 : https://blog.csdn.net/weixin_39570751/article/details/120713590

Tag : Java(333)编程(34)网络爬虫(3)

SpringBoot自定义错误处理逻辑介绍

1. 自定义错误页面将自定义错误页面放在 templates 的 error 文件夹下，SpringBoot 精确匹配错误信息，使用 4xx.html 或者 5xx.html 页面可以打印错误
Java实现手写一个线程池的代码

线程池技术想必大家都不陌生把，相信在平时的工作中没有少用，而且这也是面试频率非常高的一个知识点，那么大家知道它的实现原理和
Java实现断点续传功能的代码

题目实现：网络资源的断点续传功能。二、解题思路获取要下载的资源网址显示网络资源的大小上次读取到的字节位置以及未读取的字节
你可知HashMap为什么是线程不安全的

HashMap 的线程不安全 HashMap 的线程不安全主要体现在下面两个方面在 jdk 1.7 中，当并发执行扩容操作时会造成环形链和数据丢失的情况在
ArrayList的动态扩容机制的介绍

对于 ArrayList 的动态扩容机制想必大家都听说过，之前的文章中也谈到过，不过由于时间久远，早已忘却。所以利用这篇文章做做笔记，加
JVM基础之字节码的增强技术介绍

字节码增强技术在上文中，着重介绍了字节码的结构，这为我们了解字节码增强技术的实现打下了基础。字节码增强技术就是一类对现有字
Java中的字节码增强技术

1.字节码增强技术字节码增强技术就是一类对现有字节码进行修改或者动态生成全新字节码文件的技术。参考地址 2.常见技术技术分类类
Redis BloomFilter布隆过滤器原理与实现

Bloom Filter 概念布隆过滤器（英语：Bloom Filter）是1970年由一个叫布隆的小伙子提出的。它实际上是一个很长的二进制向量和一系列随机映射
Java C++算法题解leetcode801使序列递增的最小交换次

题目要求思路：状态机DP 实现一：状态机 Java 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 class Solution { public int minSwap(int[] nums1, int[] nums2) { int n
Mybatis结果集映射与生命周期介绍

一、ResultMap结果集映射 1、设计思想对简单的语句做到零配置，对于复杂一点的语句，只需要描述语句之间的关系就行了 2、resultMap的应用场