广告位联系
返回顶部
分享到

利用numba让python速度提升百倍

python 来源:互联网 作者:秩名 发布时间:2022-03-01 15:00:49 人浏览
摘要

前言; python由于它动态解释性语言的特性,跑起代码来相比java、c++要慢很多,尤其在做科学计算的时候,十亿百亿级别的运算,让python的这种劣势更加凸显。 办法永远比困难多,numba就

前言;

python由于它动态解释性语言的特性,跑起代码来相比java、c++要慢很多,尤其在做科学计算的时候,十亿百亿级别的运算,让python的这种劣势更加凸显。

办法永远比困难多,numba就是解决python慢的一大利器,可以让python的运行速度提升上百倍!

一、什么是numba?

numba是一款可以将python函数编译为机器代码的JIT编译器,经过numba编译的python代码(仅限数组运算),其运行速度可以接近C或FORTRAN语言。

python之所以慢,是因为它是靠CPython编译的,numba的作用是给python换一种编译器。

python、c、numba三种编译器速度对比:

使用numba非常简单,只需要将numba装饰器应用到python函数中,无需改动原本的python代码,numba会自动完成剩余的工作。

1

2

3

4

5

6

7

8

9

10

11

import numpy as np

import numba

from numba import jit

 

@jit(nopython=True) # jit,numba装饰器中的一种

def go_fast(a): # 首次调用时,函数被编译为机器代码

    trace = 0

    # 假设输入变量是numpy数组

    for i in range(a.shape[0]):   # Numba 擅长处理循环

        trace += np.tanh(a[i, i]) 

    return a + trace

以上代码是一个python函数,用以计算numpy数组各个数值的双曲正切值,我们使用了numba装饰器,它将这个python函数编译为等效的机器代码,可以大大减少运行时间。

二、numba适合科学计算

numpy是为面向numpy数组的计算任务而设计的。

在面向数组的计算任务中,数据并行性对于像GPU这样的加速器是很自然的。Numba了解NumPy数组类型,并使用它们生成高效的编译代码,用于在GPU或多核CPU上执行。特殊装饰器还可以创建函数,像numpy函数那样在numpy数组上广播。

什么情况下使用numba呢?

  • 使用numpy数组做大量科学计算时
  • 使用for循环时

三、学习使用numba

第一步:导入numpy、numba及其编译器

1

2

3

import numpy as np

import numba 

from numba import jit

第二步:传入numba装饰器jit,编写函数

1

2

3

4

5

6

7

8

# 传入jit,numba装饰器中的一种

@jit(nopython=True) 

def go_fast(a): # 首次调用时,函数被编译为机器代码

    trace = 0

    # 假设输入变量是numpy数组

    for i in range(a.shape[0]):   # Numba 擅长处理循环

        trace += np.tanh(a[i, i])  # numba喜欢numpy函数

    return a + trace # numba喜欢numpy广播

nopython = True选项要求完全编译该函数(以便完全删除Python解释器调用),否则会引发异常。这些异常通常表示函数中需要修改的位置,以实现优于Python的性能。强烈建议您始终使用nopython = True。

第三步:给函数传递实参

1

2

3

4

# 因为函数要求传入的参数是nunpy数组

x = np.arange(100).reshape(10, 10) 

# 执行函数

go_fast(x)

第四步:经numba加速的函数执行时间

1

% timeit go_fast(x)

输出:

3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

第五步:不经numba加速的函数执行时间

1

2

3

4

5

6

7

8

9

def go_fast(a): # 首次调用时,函数被编译为机器代码

    trace = 0

    # 假设输入变量是numpy数组

    for i in range(a.shape[0]):   # Numba 擅长处理循环

        trace += np.tanh(a[i, i])  # numba喜欢numpy函数

    return a + trace # numba喜欢numpy广播

 

x = np.arange(100).reshape(10, 10) 

%timeit go_fast(x)

输出:

136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

结论:

在numba加速下,代码执行时间为3.63微秒/循环。不经过numba加速,代码执行时间为136微秒/循环,两者相比,前者快了40倍。

四、numba让python飞起来

前面已经对比了numba使用前后,python代码速度提升了40倍,但这还不是最快的。

这次,我们不使用numpy数组,仅用for循环,看看nunba对for循环到底有多钟爱!

1

2

3

4

5

6

7

# 不使用numba的情况

def t():

    x = 0

    for i in np.arange(5000):

        x += i

    return x

%timeit(t())

输出:

408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

1

2

3

4

5

6

7

8

# 使用numba的情况

@jit(nopython=True) 

def t():

    x = 0

    for i in np.arange(5000):

        x += i

    return x

%timeit(t()) 

输出:

1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

使用numba前后分别是408微秒/循环、1.57微秒/循环,速度整整提升了200多倍!

结语:

numba对python代码运行速度有巨大的提升,这极大的促进了大数据时代的python数据分析能力,对数据科学工作者来说,这真是一个lucky tool !

当然numba不会对numpy和for循环以外的python代码有很大帮助,你不要指望numba可以帮你加快从数据库取数,这点它真的做不到哈。


版权声明 : 本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权, 违法违规的内容, 请发送邮件至2530232025#qq.cn(#换@)举报,一经查实,本站将立刻删除。
原文链接 : https://zhuanlan.zhihu.com/p/78882641
相关文章
  • Python Django教程之实现新闻应用程序

    Python Django教程之实现新闻应用程序
    Django是一个用Python编写的高级框架,它允许我们创建服务器端Web应用程序。在本文中,我们将了解如何使用Django创建新闻应用程序。 我们将
  • 书写Python代码的一种更优雅方式(推荐!)

    书写Python代码的一种更优雅方式(推荐!)
    一些比较熟悉pandas的读者朋友应该经常会使用query()、eval()、pipe()、assign()等pandas的常用方法,书写可读性很高的「链式」数据分析处理代码
  • Python灰度变换中伽马变换分析实现

    Python灰度变换中伽马变换分析实现
    1. 介绍 伽马变换主要目的是对比度拉伸,将图像灰度较低的部分进行修正 伽马变换针对的是对单个像素点的变换,也就是点对点的映射 形
  • 使用OpenCV实现迷宫解密的全过程

    使用OpenCV实现迷宫解密的全过程
    一、你能自己走出迷宫吗? 如下图所示,可以看到是一张较为复杂的迷宫图,相信也有人尝试过自己一点一点的找出口,但我们肉眼来解谜
  • Python中的数据精度问题的介绍

    Python中的数据精度问题的介绍
    一、python运算时精度问题 1.运行时精度问题 在Python中(其他语言中也存在这个问题,这是计算机采用二进制导致的),有时候由于二进制和
  • Python随机值生成的常用方法

    Python随机值生成的常用方法
    一、随机整数 1.包含上下限:[a, b] 1 2 3 4 import random #1、随机整数:包含上下限:[a, b] for i in range(10): print(random.randint(0,5),end= | ) 查看运行结
  • Python字典高级用法深入分析讲解
    一、 collections 中 defaultdict 的使用 1.字典的键映射多个值 将下面的列表转成字典 l = [(a,2),(b,3),(a,1),(b,4),(a,3),(a,1),(b,3)] 一个字典就是一个键对
  • Python浅析多态与鸭子类型使用实例
    什么多态:同一事物有多种形态 为何要有多态=》多态会带来什么样的特性,多态性 多态性指的是可以在不考虑对象具体类型的情况下而直
  • Python字典高级用法深入分析介绍
    一、 collections 中 defaultdict 的使用 1.字典的键映射多个值 将下面的列表转成字典 l = [(a,2),(b,3),(a,1),(b,4),(a,3),(a,1),(b,3)] 一个字典就是一个键对
  • Python淘宝或京东等秒杀抢购脚本实现(秒杀脚本

    Python淘宝或京东等秒杀抢购脚本实现(秒杀脚本
    我们的目标是秒杀淘宝或京东等的订单,这里面有几个关键点,首先需要登录淘宝或京东,其次你需要准备好订单,最后要在指定时间快速
  • 本站所有内容来源于互联网或用户自行发布,本站仅提供信息存储空间服务,不拥有版权,不承担法律责任。如有侵犯您的权益,请您联系站长处理!
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计