本站首页 收藏本站
广告位联系

APP正在开发中...
返回顶部
您的位置： 主页 > 脚本 > python >

收藏
分享到

使用Python写个听小说的爬虫

python 来源：互联网 作者：秩名 发布时间：2022-02-20 09:24:30 人浏览
摘要

在路上发现好多人都喜欢用耳机听小说，同事居然可以一整天的带着一只耳机听小说。小编表示非常的震惊。今天就用 Python 下载听小说tingchina.com的音频。 书名和章节列表 随机点开一

在路上发现好多人都喜欢用耳机听小说，同事居然可以一整天的带着一只耳机听小说。小编表示非常的震惊。今天就用 Python 下载听小说 tingchina.com的音频。

书名和章节列表

随机点开一本书，这个页面可以使用 BeautifulSoup 获取书名和所有单个章节音频的列表。复制浏览器的地址，如：https://www.tingchina.com/yousheng/disp_31086.htm。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

from bs4 import BeautifulSoup

import requests

import re

import random

import os

 

headers = {

    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'

}

 

def get_detail_urls(url):

    url_list = []

    response = requests.get(url, headers=headers)

    response.encoding = 'gbk'

    soup = BeautifulSoup(response.text, 'lxml')

    name = soup.select('.red12')[0].strong.text

    if not os.path.exists(name):

        os.makedirs(name)

    div_list = soup.select('div.list a')

    for item in div_list:

        url_list.append({'name': item.string, 'url': 'https://www.tingchina.com/yousheng/{}'.format(item['href'])})

    return name, url_list

音频地址

打开单个章节的链接，在 Elements 面板用章节名称作为搜索词，在底部发现了一个 script，这一部分就是声源的地址。

在 Network 面板可以看到，声源的 url 域名和章节列表的域名是不一样的。在获取下载链接的时候需要注意这一点。

1

2

3

4

5

6

7

8

def get_mp3_path(url):

    response = requests.get(url, headers=headers)

    response.encoding = 'gbk'

    soup = BeautifulSoup(response.text, 'lxml')

    script_text = soup.select('script')[-1].string

    fileUrl_search = re.search('fileUrl= "(.*?)";', script_text, re.S)

    if fileUrl_search:

        return 'https://t3344.tingchina.com' + fileUrl_search.group(1)

下载

惊喜总是突如其来，把这个 https://t3344.tingchina.com/xxxx.mp3 放入浏览器中运行居然是 404。

肯定是少了关键性的参数，回到上面 Network 仔细观察 mp3 的 url，发现在 url 后面带了一个 key 的关键字。如下图，这个 key 是来自于 https://img.tingchina.com/play/h5_jsonp.asp?0.5078556568562795 的返回值，可以使用正则表达式将 key 取出来。

1

2

3

4

5

6

7

8

def get_key(url):

    url = 'https://img.tingchina.com/play/h5_jsonp.asp?{}'.format(str(random.random()))

    headers['referer'] = url

    response = requests.get(url, headers=headers)

    matched = re.search('(key=.*?)";', response.text, re.S)

    if matched:

        temp = matched.group(1)

        return temp[len(temp)-42:]

最后的最后在 __main__ 中将以上的代码串联起来。

1

2

3

4

5

6

7

8

9

10

11

12

13

if __name__ == "__main__":

    url = input("请输入浏览器书页的地址：")

    dir,url_list = get_detail_urls()

 

    for item in url_list:

        audio_url = get_mp3_path(item['url'])

        key = get_key(item['url'])

        audio_url = audio_url + '?key=' + key

        headers['referer'] = item['url']

        r = requests.get(audio_url, headers=headers,stream=True)

        with open(os.path.join(dir, item['name']),'ab') as f:

            f.write(r.content)

            f.flush()

完整代码

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

from bs4 import BeautifulSoup

import requests

import re

import random

import os

 

headers = {

    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'

}

 

def get_detail_urls(url):

    url_list = []

    response = requests.get(url, headers=headers)

    response.encoding = 'gbk'

    soup = BeautifulSoup(response.text, 'lxml')

    name = soup.select('.red12')[0].strong.text

    if not os.path.exists(name):

        os.makedirs(name)

    div_list = soup.select('div.list a')

    for item in div_list:

        url_list.append({'name': item.string, 'url': 'https://www.tingchina.com/yousheng/{}'.format(item['href'])})

    return name, url_list

     

def get_mp3_path(url):

    response = requests.get(url, headers=headers)

    response.encoding = 'gbk'

    soup = BeautifulSoup(response.text, 'lxml')

    script_text = soup.select('script')[-1].string

    fileUrl_search = re.search('fileUrl= "(.*?)";', script_text, re.S)

    if fileUrl_search:

        return 'https://t3344.tingchina.com' + fileUrl_search.group(1)

         

def get_key(url):

    url = 'https://img.tingchina.com/play/h5_jsonp.asp?{}'.format(str(random.random()))

    headers['referer'] = url

    response = requests.get(url, headers=headers)

    matched = re.search('(key=.*?)";', response.text, re.S)

    if matched:

        temp = matched.group(1)

        return temp[len(temp)-42:]

 

if __name__ == "__main__":

    url = input("请输入浏览器书页的地址：")

    dir,url_list = get_detail_urls()

 

    for item in url_list:

        audio_url = get_mp3_path(item['url'])

        key = get_key(item['url'])

        audio_url = audio_url + '?key=' + key

        headers['referer'] = item['url']

        r = requests.get(audio_url, headers=headers,stream=True)

        with open(os.path.join(dir, item['name']),'ab') as f:

            f.write(r.content)

            f.flush()

总结

这个 Python 爬虫比较简单，小编的每个月 30 元的流量都不够用，有了这个小程序在地铁上就可以不用流量听小说了。
版权声明 : 本文内容来源于互联网或用户自行发布贡献，该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权， 违法违规的内容， 请发送邮件至2530232025#qq.cn(#换@)举报，一经查实，本站将立刻删除。

您可能感兴趣的文章 :

原文链接 : https://mp.weixin.qq.com/s/JzzHwQ0G9IoenlmdEXi3hA
相关文章

  • Python Django教程之实现新闻应用程序

    Python Django教程之实现新闻应用程序
    Django是一个用Python编写的高级框架，它允许我们创建服务器端Web应用程序。在本文中，我们将了解如何使用Django创建新闻应用程序。 我们将

  • 书写Python代码的一种更优雅方式(推荐!)

    书写Python代码的一种更优雅方式(推荐!)
    一些比较熟悉pandas的读者朋友应该经常会使用query()、eval()、pipe()、assign()等pandas的常用方法，书写可读性很高的「链式」数据分析处理代码

  • Python灰度变换中伽马变换分析实现

    Python灰度变换中伽马变换分析实现
    1. 介绍 伽马变换主要目的是对比度拉伸，将图像灰度较低的部分进行修正 伽马变换针对的是对单个像素点的变换，也就是点对点的映射 形

  • 使用OpenCV实现迷宫解密的全过程

    使用OpenCV实现迷宫解密的全过程
    一、你能自己走出迷宫吗？ 如下图所示，可以看到是一张较为复杂的迷宫图，相信也有人尝试过自己一点一点的找出口，但我们肉眼来解谜

  • Python中的数据精度问题的介绍

    Python中的数据精度问题的介绍
    一、python运算时精度问题 1.运行时精度问题 在Python中（其他语言中也存在这个问题，这是计算机采用二进制导致的），有时候由于二进制和

  • Python随机值生成的常用方法

    Python随机值生成的常用方法
    一、随机整数 1.包含上下限：[a, b] 1 2 3 4 import random #1、随机整数：包含上下限：[a, b] for i in range(10): print(random.randint(0,5),end= | ) 查看运行结
  • Python字典高级用法深入分析讲解
    一、 collections 中 defaultdict 的使用 1.字典的键映射多个值 将下面的列表转成字典 l = [(a,2),(b,3),(a,1),(b,4),(a,3),(a,1),(b,3)] 一个字典就是一个键对
  • Python浅析多态与鸭子类型使用实例
    什么多态：同一事物有多种形态 为何要有多态=》多态会带来什么样的特性，多态性 多态性指的是可以在不考虑对象具体类型的情况下而直
  • Python字典高级用法深入分析介绍
    一、 collections 中 defaultdict 的使用 1.字典的键映射多个值 将下面的列表转成字典 l = [(a,2),(b,3),(a,1),(b,4),(a,3),(a,1),(b,3)] 一个字典就是一个键对

  • Python淘宝或京东等秒杀抢购脚本实现(秒杀脚本

    Python淘宝或京东等秒杀抢购脚本实现(秒杀脚本
    我们的目标是秒杀淘宝或京东等的订单，这里面有几个关键点，首先需要登录淘宝或京东，其次你需要准备好订单，最后要在指定时间快速
推荐阅读
最新更新
友情链接
  • 本站所有内容来源于互联网或用户自行发布，本站仅提供信息存储空间服务，不拥有版权，不承担法律责任。如有侵犯您的权益，请您联系站长处理！
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计