本站首页 收藏本站
广告位联系

APP正在开发中...
返回顶部
您的位置： 主页 > 脚本 > python >

收藏
分享到

一文带你深入了解Python中的多进程编程

python 来源：互联网 作者：佚名 发布时间：2024-12-27 22:03:25 人浏览
摘要

在 Python 中，多进程编程是一种提高程序运行效率的有效手段。相比于多线程编程，多进程编程可以充分利用多核 CPU 的优势，实现真正的并行计算。本文将通过通俗易懂的表达方式和丰富的代

在 Python 中，多进程编程是一种提高程序运行效率的有效手段。相比于多线程编程，多进程编程可以充分利用多核 CPU 的优势，实现真正的并行计算。本文将通过通俗易懂的表达方式和丰富的代码案例，详细讲解 Python 多进程编程的基本概念、使用方法及注意事项。

一、多进程编程简介

1. 什么是多进程

多进程编程是指在一个程序中创建多个进程，每个进程拥有独立的内存空间和系统资源，通过进程间通信（IPC）来协调各个进程的执行。这种编程方式可以充分利用多核 CPU 的计算能力，提高程序的运行效率。

2. 多进程与多线程的区别

内存独立性：多进程中的每个进程拥有独立的内存空间和系统资源，而多线程中的多个线程共享同一个进程的内存空间。

执行方式：多进程是真正的并行执行，每个进程在独立的 CPU 核心上运行；而多线程在单个 CPU 核心上通过时间片轮转实现并发执行。

资源开销：创建和销毁进程的开销较大，因为需要分配和回收系统资源；而线程的创建和销毁开销较小。

安全性：多进程之间互不干扰，安全性较高；而多线程之间共享内存，容易出现数据竞争和死锁等问题。

二、Python 中的多进程编程

Python 提供了 multiprocessing 模块来实现多进程编程。这个模块提供了一个与标准库中的 threading 模块类似的接口，但它是基于进程的而非线程。

1. 创建进程

在 multiprocessing 模块中，可以使用 Process 类来创建进程。下面是一个简单的例子：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

import multiprocessing

import os

import time

  

def worker():

    print(f"Worker process id: {os.getpid()}")

    time.sleep(2)

    print("Worker process finished")

  

if __name__ == "__main__":

    print(f"Main process id: {os.getpid()}")

    p = multiprocessing.Process(target=worker)

    p.start()

    p.join()  # 等待进程结束

    print("Main process finished")

在这个例子中，我们定义了一个 worker 函数，然后在主进程中创建了一个 Process 对象，并指定 worker 函数作为目标函数。调用 start 方法启动进程，调用 join 方法等待进程结束。

2. 进程间通信

进程间通信（IPC）是多进程编程中的一个重要问题。Python 提供了多种方式进行进程间通信，包括管道（Pipe）、队列（Queue）、共享内存（shared memory）等。

使用队列（Queue）进行进程间通信：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

import multiprocessing

import time

  

def worker(q):

    time.sleep(2)

    q.put("Hello from worker")

  

if __name__ == "__main__":

    q = multiprocessing.Queue()

    p = multiprocessing.Process(target=worker, args=(q,))

    p.start()

    result = q.get()  # 获取进程发送的数据

    print(result)

    p.join()

在这个例子中，我们创建了一个 Queue 对象，并将其传递给工作进程。工作进程在处理完任务后，将结果放入队列中。主进程从队列中获取结果并打印出来。

使用管道（Pipe）进行进程间通信：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

import multiprocessing

import time

  

def worker(conn):

    time.sleep(2)

    conn.send("Hello from worker")

    conn.close()

  

if __name__ == "__main__":

    parent_conn, child_conn = multiprocessing.Pipe()

    p = multiprocessing.Process(target=worker, args=(child_conn,))

    p.start()

    result = parent_conn.recv()  # 接收进程发送的数据

    print(result)

    p.join()

在这个例子中，我们使用 Pipe 方法创建了一个管道对象，它返回两个连接对象：parent_conn 和 child_conn。我们将 child_conn 传递给工作进程，工作进程通过 conn.send 方法发送数据。主进程通过 parent_conn.recv 方法接收数据。

3. 进程池

对于需要创建大量进程的情况，使用进程池（Pool）可以更加高效。进程池允许你限制同时运行的进程数量，并重用进程。

使用进程池：

1

2

3

4

5

6

7

8

9

10

11

12

13

import multiprocessing

import os

import time

  

def worker(x):

    print(f"Worker process id: {os.getpid()}, argument: {x}")

    time.sleep(2)

    return x * x

  

if __name__ == "__main__":

    with multiprocessing.Pool(processes=4) as pool:  # 创建一个包含4个进程的进程池

        results = pool.map(worker, range(10))  # 将任务分配给进程池中的进程

    print(results)

在这个例子中，我们创建了一个包含4个进程的进程池，并使用 map 方法将任务分配给进程池中的进程。map 方法会自动将任务分配给空闲的进程，并收集每个进程的结果。

4. 进程同步

在多进程编程中，有时需要确保某些操作按照特定的顺序执行，这时可以使用进程同步机制。Python 提供了 multiprocessing.Lock、multiprocessing.Semaphore、multiprocessing.Event 等同步原语。

使用锁（Lock）：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

import multiprocessing

import time

  

def worker(lock, x):

    with lock:  # 获取锁

        print(f"Worker {x} is working")

        time.sleep(2)

        print(f"Worker {x} finished")

  

if __name__ == "__main__":

    lock = multiprocessing.Lock()

    processes = []

    for i in range(5):

        p = multiprocessing.Process(target=worker, args=(lock, i))

        processes.append(p)

        p.start()

  

    for p in processes:

        p.join()

在这个例子中，我们创建了一个锁对象，并将其传递给每个工作进程。工作进程在执行关键操作前，先获取锁，确保同一时间只有一个进程可以执行这些操作。

5. 注意事项

避免共享数据：尽量避免在多个进程之间共享数据，因为这会带来复杂性和潜在的问题。如果确实需要共享数据，可以使用 multiprocessing.Value 或 multiprocessing.Array 等共享内存对象。

注意资源回收：确保在进程结束时正确回收资源，例如关闭文件、网络连接等。

避免死锁：在使用锁、信号量等同步原语时，注意避免死锁。例如，确保每个进程在获取锁后能够释放锁。

性能开销：虽然多进程可以提高程序的运行效率，但也会带来一定的性能开销。因此，在决定是否使用多进程时，需要权衡利弊。

三、实际应用案例

下面是一个使用多进程进行图像处理的简单示例。假设我们有一个包含多张图像的文件夹，需要对每张图像进行某种处理（例如缩放）。我们可以使用多进程来提高处理速度。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

import multiprocessing

import os

from PIL import Image

  

def process_image(file_path, output_dir):

    img = Image.open(file_path)

    img.thumbnail((128, 128))  # 缩放图像

    img_name = os.path.basename(file_path)

    img.save(os.path.join(output_dir, img_name))

  

def main(input_dir, output_dir, num_processes):

    if not os.path.exists(output_dir):

        os.makedirs(output_dir)

  

    image_files = [os.path.join(input_dir, f) for f in os.listdir(input_dir) if f.endswith(('png', 'jpg', 'jpeg'))]

  

    with multiprocessing.Pool(processes=num_processes) as pool:

        pool.starmap(process_image, [(img_file, output_dir) for img_file in image_files])

  

if __name__ == "__main__":

    input_dir = "path/to/input/images"

    output_dir = "path/to/output/images"

    num_processes = 4

    main(input_dir, output_dir, num_processes)

在这个例子中，我们定义了一个 process_image 函数来处理单个图像文件。然后在 main 函数中，我们创建了一个进程池，并使用 starmap 方法将任务分配给进程池中的进程。每个进程都会调用 process_image 函数来处理一个图像文件。

四、总结

本文详细介绍了 Python 中的多进程编程，包括基本概念、使用方法及注意事项。通过代码案例和实际应用场景，展示了如何使用多进程来提高程序的运行效率。
版权声明 : 本文内容来源于互联网或用户自行发布贡献，该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权， 违法违规的内容， 请发送邮件至2530232025#qq.cn(#换@)举报，一经查实，本站将立刻删除。

您可能感兴趣的文章 :

原文链接 :
相关文章
  • Python中如何判断是否为AJAX请求
    在Web开发中，AJAX（Asynchronous JavaScript and XML）请求是一种非常常见的与服务器进行数据交互的方式。它允许在不重新加载整个页面的情况下，
  • 一文带你深入了解Python中的多进程编程
    在 Python 中，多进程编程是一种提高程序运行效率的有效手段。相比于多线程编程，多进程编程可以充分利用多核 CPU 的优势，实现真正的并

  • 基于Python实现web网页内容爬取的方法

    基于Python实现web网页内容爬取的方法
    在日常学习和工作中，我们经常会遇到需要爬取网页内容的需求，今天就如何基于Python实现web网页内容爬取进行讲解。 1. 网页分析 用Chrom
  • 使用Python实现屏幕录制与键盘监听功能
    在Python中，我们可以借助多个强大的库来实现丰富的功能，比如屏幕录制和键盘监听。今天，我们将通过结合PIL（Python Imaging Library的分支

  • python中pathlib面向对象的文件系统路径

    python中pathlib面向对象的文件系统路径
    pathlib:面向对象的文件系统路径 pathlib官方介绍: Python3.4+内置的标准库，Object-oriented filesystem paths（面向对象的文件系统路径） 1. 使用示例

  • Python实现中文字转中文语音

    Python实现中文字转中文语音
    我们本文中采用的开发平台是Visual Studio 2022，采用其他平台的开发工具也是可以的 1.首先我们先新建一个Python应用程序 2.我在这里选择管理

  • 基于Python进行定时任务管理封装

    基于Python进行定时任务管理封装
    效果图 主逻辑代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55
  • Python中不可忽视的docstring妙用
    在Python编程中，代码的可读性和可维护性至关重要。除了清晰的命名和结构良好的代码外，良好的文档字符串（docstring）也是确保代码易于
  • Python处理浮点数的实用技巧
    四舍五入是一种常见的数学操作，它用于将数字舍入到指定的精度。Python 提供了多种方法来实现四舍五入操作，从基本的 round 函数到高级的
  • 一文带你解锁Python文件匹配技巧
    在日常的文件操作和数据处理中，文件匹配是一个非常常见的任务。Python 提供了丰富的库和工具来实现文件匹配，这些工具不仅功能强大，
推荐阅读
最新更新
友情链接
  • 本站所有内容来源于互联网或用户自行发布，本站仅提供信息存储空间服务，不拥有版权，不承担法律责任。如有侵犯您的权益，请您联系站长处理！
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计