广告位联系
返回顶部
分享到

Golang的Fork/Join实现代码

Golang 来源:互联网 作者:佚名 发布时间:2023-01-16 21:41:56 人浏览
摘要

做过Java开发的同学肯定知道,JDK7加入的Fork/Join是一个非常优秀的设计,到了JDK8,又结合并行流中进行了优化和增强,是一个非常好的工具。 1、Fork/Join是什么 Fork/Join本质上是一种任务

做过Java开发的同学肯定知道,JDK7加入的Fork/Join是一个非常优秀的设计,到了JDK8,又结合并行流中进行了优化和增强,是一个非常好的工具。

1、Fork/Join是什么

Fork/Join本质上是一种任务分解,即:将一个很大的任务分解成若干个小任务,然后再对小任务进一步分解,直到最小颗粒度,然后并发执行。

这么做的优点很明显,就是可以大幅提升计算性能,缺点嘛,也有一点,那就是资源开销要大一些。

在网上找了一张图,任务分解就是这个意思:

2、Golang中的Fork/Join实现

对于Golang中的Fork/Join的实现,我参考了JDK的源码,利用了Goroutine特性,这样就能充分利用MPG模型,不必自己再处理任务窃取等问题了,用起来还是蛮爽的。

废话不多说,请看代码:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

package like_fork_join

  

import (

    "fmt"

    "github.com/oklog/ulid/v2"

)

  

const defaultPageSize = 10

  

type MyForkJoinTask struct {

    size int

}

  

// NewMyTask 初始化一个任务

func NewMyTask(pageSize int) *MyForkJoinTask {

    var size = defaultPageSize

    if pageSize > size {

        size = pageSize

    }

    return &MyForkJoinTask{

        size: size,

    }

}

  

// Do 执行任务时,传入一个切片

func (t *MyForkJoinTask) Do(numbers []int) int {

    JoinCh := make(chan bool, 1)

    resultCh := make(chan int, 1)

    t.do(numbers, JoinCh, resultCh, ulid.Make().String())

    result := <-resultCh

    return result

}

  

func (t *MyForkJoinTask) do(numbers []int, joinCh chan bool, resultCh chan int, id string) {

    defer func() {

        joinCh <- true

        close(joinCh)

        close(resultCh)

    }()

    fmt.Printf("id %s numbers %+v\n", id, numbers)

    // 任务小于最小颗粒度时,直接执行逻辑(此处是求和),不再拆分,否则进行分治

    if len(numbers) <= t.size {

        var sum = 0

        for _, number := range numbers {

            sum += number

        }

        resultCh <- sum

        fmt.Printf("id %s numbers %+v, result %+v\n", id, numbers, sum)

        return

    } else {

        start := 0

        end := len(numbers)

        middle := (start + end) / 2

  

        // 左

        leftJoinCh := make(chan bool, 1)

        leftResultCh := make(chan int, 1)

        leftId := ulid.Make().String()

        go t.do(numbers[start:middle], leftJoinCh, leftResultCh, id+"->left->"+leftId)

  

        // 右

        rightJoinCh := make(chan bool, 1)

        rightResultCh := make(chan int, 1)

        rightId := ulid.Make().String()

        go t.do(numbers[middle:], rightJoinCh, rightResultCh, id+"->right->"+rightId)

  

        // 等待左边和右边分治子任务结束

        var leftDone, rightDone = false, false

        for {

            select {

            case _, ok := <-leftJoinCh:

                if ok {

                    fmt.Printf("left %s join done\n", leftId)

                    leftDone = true

                }

            case _, ok := <-rightJoinCh:

                if ok {

                    fmt.Printf("right %s join done\n", rightId)

                    rightDone = true

                }

            }

            if leftDone && rightDone {

                break

            }

        }

  

        // 取结果

        var (

            left            = 0

            right           = 0

            leftResultDone  = false

            rightResultDone = false

        )

        for {

            select {

            case l, ok := <-leftResultCh:

                if ok {

                    fmt.Printf("id %s numbers %+v, left %s return: %+v\n", id, numbers, leftId, left)

                    left = l

                    leftResultDone = true

                }

            case r, ok := <-rightResultCh:

                if ok {

                    fmt.Printf("id %s numbers %+v, right %s return: %+v\n", id, numbers, rightId, right)

                    right = r

                    rightResultDone = true

                }

            }

            if leftResultDone && rightResultDone {

                break

            }

        }

  

        resultCh <- left + right

        return

    }

}

代码也不复杂,有注释,大家耐心读一下就明白了。

3、测试验证

我写了一个比较有压力的测试用例代码,请看:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

package like_fork_join

  

import (

    "fmt"

    "testing"

)

  

func TestMyTask_Do(t1 *testing.T) {

    type args struct {

        numbers []int

    }

    const max = 10000

    var nums = make([]int, 0, max)

    var want = 0

    for i := 1; i <= max; i++ {

        nums = append(nums, i)

        want += i

    }

    tests := []struct {

        name string

        args args

        want int

    }{

        {name: fmt.Sprintf("sum(1,%d)", max), args: args{numbers: nums}, want: want},

    }

    for _, tt := range tests {

        t1.Run(tt.name, func(t1 *testing.T) {

            for i := 0; i <= 100; i += 5 {

                t := NewMyTask(i)

                if got := t.Do(tt.args.numbers); got != tt.want {

                    t1.Errorf("Do() = %v, want %v", got, tt.want)

                }

            }

        })

    }

}

测试成功:

1

2

    --- PASS: TestMyTask_Do/sum(1,10000) (1257.79s)

PASS

4、小优化

删除所有fmt包的控制台输出,再跑单元测试结果:

=== RUN   TestMyTask_Do
--- PASS: TestMyTask_Do (60.53s)
=== RUN   TestMyTask_Do/sum(1,10000)
    --- PASS: TestMyTask_Do/sum(1,10000) (60.53s)
PASS

20万次加法计算,长度为1万的数组的20次计算,60秒搞定,性能巨强,Golang就是棒!

5、后续计划

计划后续再研究研究,看能否把执行任务的逻辑做成泛型和函数闭包,给抽象出来,这样就能单独形成一个通用型的代码包,供外部各种应用程序使用了,不过考虑到goroutine的上下文等问题,估计会让代码比较复杂,眼下这个版本足够简单,也能满足绝大多数场景了。


版权声明 : 本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权, 违法违规的内容, 请发送邮件至2530232025#qq.cn(#换@)举报,一经查实,本站将立刻删除。
原文链接 : https://blog.csdn.net/ccpw_cn/article/details/128677838
相关文章
  • go sync.Map基本原理深入解析
    我们知道,go 里面提供了map这种类型让我们可以存储键值对数据,但是如果我们在并发的情况下使用map的话,就会发现它是不支持并发地进
  • Golang的Fork/Join实现代码

    Golang的Fork/Join实现代码
    做过Java开发的同学肯定知道,JDK7加入的Fork/Join是一个非常优秀的设计,到了JDK8,又结合并行流中进行了优化和增强,是一个非常好的工具
  • Golang嵌入资源文件实现步骤
    Go文档中展示了多种方式实现外部资源嵌入,包括文本文件、图片、ios文件等: 文本文件 1 2 3 4 5 6 7 package main import _ embed //go:embed schema.sql
  • golang敏感词过滤的实现
    用golang写了敏感词过滤的工具,主要用来检测用户昵称中是否存在敏感词,同时提供剔除转移字符的功能。 可以先将敏感词库存放在一个
  • go语言题解LeetCode228汇总区间介绍
    原题链接 : 228. 汇总区间 给定一个 无重复元素的有序整数数组nums。 返回 恰好覆盖数组中所有数字 的 最小有序 区间范围列表。也就是说,
  • Go使用Gin+mysql实现增删改查的详细实例

    Go使用Gin+mysql实现增删改查的详细实例
    0.前置知识 Go中的struct。 mysql、Gin框架。 Web基础。 1.架构 使用mysql作为数据库,Gin作为Web框架。 2.功能模块 1.自定义Person结构体 2.实现对P
  • 浅析Go语言中数组的这些细节
    Go语言基础二 lencap 书接上文,我们提到二维数组中的第二个维度的数组不能用...来表示,接下来我们要认识两个新的函数,它们分别是len和
  • Go1.20 arena新特性介绍

    Go1.20 arena新特性介绍
    当时我们还想着 Go 团队应该不会接纳,至少不会那么快: 懒得翻也可以看我再次道来,本文提到的提案《proposal: arena: new package providing me
  • Go map发生内存泄漏解决方法
    Go 程序运行时,有些场景下会导致进程进入某个高点,然后就再也下不来了。 比如,多年前曹大写过的一篇文章讲过,在做活动时线上涌入
  • Go语言实现栈与队列基本操作学家

    Go语言实现栈与队列基本操作学家
    go语言中,并没有栈与队列相关的数据结构,但是我们可以借助切片来实现栈与队列的操作;接下来我们一起实现栈与队列基本操作,并且还
  • 本站所有内容来源于互联网或用户自行发布,本站仅提供信息存储空间服务,不拥有版权,不承担法律责任。如有侵犯您的权益,请您联系站长处理!
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计