Python实现抖音热搜定时爬取功能的代码_F11 - 专业站长和开发者的学习网站

分享到

Python实现抖音热搜定时爬取功能的代码

python 来源：互联网作者：秩名发布时间：2022-03-15 16:37:24 人浏览

摘要

抖音热搜榜链接：https://tophub.today/n/K7GdaMgdQy 整个热榜共50条数据，本次爬取的内容：排名、热度、标题、链接。 requests 爬取 requests是一种非常简单的方法，由于该页面没有反爬措施，

抖音热搜榜

链接：https://tophub.today/n/K7GdaMgdQy

整个热榜共50条数据，本次爬取的内容：排名、热度、标题、链接。

requests 爬取

requests 是一种非常简单的方法，由于该页面没有反爬措施，所以直接get 请求页面即可。

import requests

import pandas as pd

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'

}

url = 'https://tophub.today/n/K7GdaMgdQy'

page_text = requests.get(url=url, headers=headers).text

page_text

可以看到，只需要几行代码，数据就很轻松地获取到了。

selenium 爬取

将selenium设置为无头浏览器，打开指定url获取页面数据。

from selenium import webdriver

option = webdriver.ChromeOptions()

option.add_argument('--headless')

driver = webdriver.Chrome(options=option)

url = 'https://tophub.today/n/K7GdaMgdQy'

driver.get(url)

page_text = driver.page_source

两种爬取方法都能够成功获取到数据，但requests相对简洁，整个代码运行速度也更快，如果页面数据不是动态加载的话，用requests相对方便。

数据解析

现在用lxml库解析我们爬取的数据，并保存到excel中。

tree = etree.HTML(page_text)

tr_list = tree.xpath(

'//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')

df = pd.DataFrame(columns=['排名', '热度', '标题', '链接'])

for index, tr in enumerate(tr_list):

hot = tr.xpath('./td[3]/text()')[0]

title = tr.xpath('./td[2]/a/text()')[0]

article_url = tr.xpath('./td[2]/a/@href')[0]

df = df.append({

'排名': index + 1,

'热度': hot,

'标题': title,

'链接': article_url}, ignore_index=True)

df['链接'] = 'https://tophub.today' + df['链接']

运行结果

设置定时运行

至此，爬取代码已经完成，想要实现每小时自动运行代码，可以使用任务计划程序。

打开任务计划程序，【创建任务】

输入名称，名称随便起就好。

选择【触发器】>>【新建】>>【设置触发时间】

选择【操作】>>【新建】>>【选择程序】

最后确认即可。到时间就会自动运行，或者右键任务手动运行。

您可能感兴趣的文章 :

原文链接 : https://mp.weixin.qq.com/s/vgtAxyb0rAH3s6hkeLyAVw

Tag : python(762)

Python Django教程之实现新闻应用程序

Django是一个用Python编写的高级框架，它允许我们创建服务器端Web应用程序。在本文中，我们将了解如何使用Django创建新闻应用程序。我们将
书写Python代码的一种更优雅方式(推荐!)

一些比较熟悉pandas的读者朋友应该经常会使用query()、eval()、pipe()、assign()等pandas的常用方法，书写可读性很高的「链式」数据分析处理代码
Python灰度变换中伽马变换分析实现

1. 介绍伽马变换主要目的是对比度拉伸，将图像灰度较低的部分进行修正伽马变换针对的是对单个像素点的变换，也就是点对点的映射形
使用OpenCV实现迷宫解密的全过程

一、你能自己走出迷宫吗？如下图所示，可以看到是一张较为复杂的迷宫图，相信也有人尝试过自己一点一点的找出口，但我们肉眼来解谜
Python中的数据精度问题的介绍

一、python运算时精度问题 1.运行时精度问题在Python中（其他语言中也存在这个问题，这是计算机采用二进制导致的），有时候由于二进制和
Python随机值生成的常用方法

一、随机整数 1.包含上下限：[a, b] 1 2 3 4 import random #1、随机整数：包含上下限：[a, b] for i in range(10): print(random.randint(0,5),end= | ) 查看运行结
Python字典高级用法深入分析讲解

一、 collections 中 defaultdict 的使用 1.字典的键映射多个值将下面的列表转成字典 l = [(a,2),(b,3),(a,1),(b,4),(a,3),(a,1),(b,3)] 一个字典就是一个键对
Python浅析多态与鸭子类型使用实例

什么多态：同一事物有多种形态为何要有多态=》多态会带来什么样的特性，多态性多态性指的是可以在不考虑对象具体类型的情况下而直
Python字典高级用法深入分析介绍

一、 collections 中 defaultdict 的使用 1.字典的键映射多个值将下面的列表转成字典 l = [(a,2),(b,3),(a,1),(b,4),(a,3),(a,1),(b,3)] 一个字典就是一个键对
Python淘宝或京东等秒杀抢购脚本实现(秒杀脚本

我们的目标是秒杀淘宝或京东等的订单，这里面有几个关键点，首先需要登录淘宝或京东，其次你需要准备好订单，最后要在指定时间快速