任务调度(Task Scheduling)是很多软件系统中的重要组成部分,字面上的意思是按照一定要求分配运行一些通常时间较长的脚本或程序。在爬虫管理平台Crawlab中,任务调度是其中的核心模
任务调度(Task Scheduling)是很多软件系统中的重要组成部分,字面上的意思是按照一定要求分配运行一些通常时间较长的脚本或程序。在爬虫管理平台 Crawlab 中,任务调度是其中的核心模块,相信不少朋友会好奇如何编写一个任务调度系统。本篇文章会教读者用 Go 语言编写一个非常简单的任务调度系统。 思路我们首先理清一下思路,开发最小化任务调度器需要什么。
整个流程如下: 我们通过 API 创建定时任务,执行器根据定时任务标准定期执行脚本。 实战交互界面首先我们来搭个架子。在项目目录下创建一个 main.go 文件,并输入以下内容。其中 gin 是非常流行的 Go 语言 API 引擎。
然后添加 api.go 文件,输入以下内容,注意,这里没有任何代码实现,只是加入了占位区域。
定时任务然后是任务调度的核心,定时任务。这里我们使用 robfig/cron,Go 语言比较流行的定时任务库。 现在创建 cron.go 文件,输入以下内容。其中 Cron 就是 robfig/cron 库中的 Cron 类生成的实例。
现在创建好了主要定时任务实例,就可以将核心逻辑添加在刚才的 API 占位区域了。 同样是 api.go ,将核心代码添加进来。
在这段代码中,我们实现了大部分逻辑,只在 AddJob 的 Cron.AddFunc 中第二个参数里,剩下最后一部分执行任务的代码。下面将来实现一下。 任务执行现在需要添加任务执行的代码逻辑,咱们创建 exec.go 文件,输入以下内容。这里我们用到了 Go 语言内置的 shell 运行管理库 os/exec,可以执行任何 shell 命令。
好了,现在我们将这部分执行代码逻辑放到之前的占位区域中。
代码效果OK,大功告成!现在我们可以试试运行这个极简的任务调度器了。 在命令行中敲入 go run .,API 引擎就启动起来了。
现在打开另一个命令行窗口,输入 curl -X POST -d '{"cron":"* * * * *","exec":"touch /tmp/hello.txt"}' http://localhost:9092/jobs,会得到如下返回结果。表示已经生成了相应的定时任务,任务 ID 为 1,每分钟跑一次,会更新一次 /tmp/hello.txt。
在这个命令行窗口中输入 curl http://localhost:9092/jobs。
这表示下一次执行是 1 分钟之后。 等待一分钟,执行 ls -l /tmp/hello.txt,得到如下结果。
也就是说,执行成功了,大功告成! 总结本篇文章通过将 Go 语言几个库简单组合,就开发出了一个极简的任务调度系统。所用到的核心库:
整个代码示例仓库在 GitHub 上: https://github.com/tikazyq/codao-code/tree/main/2022-10/go-task-scheduler |
2022-04-28
2022-04-21
2022-05-13
2022-08-17
2022-02-25