首页 > 系统相关 >python指南之多线程与多进程编程大全

python指南之多线程与多进程编程大全

时间:2024-06-12 19:00:04浏览次数:25  
标签:python 编程 并发 任务 线程 time 进程 多线程 CPU

Python作为一种高级编程语言,提供了多种并发编程的方式,其中多线程与多进程是最常见的两种方式之一。在本文中,我们将探讨Python中多线程与多进程的概念、区别以及如何使用线程池与进程池来提高并发执行效率。

多线程与多进程的概念

多线程

多线程是指在同一进程内,多个线程并发执行。每个线程都拥有自己的执行栈和局部变量,但共享进程的全局变量、静态变量等资源。多线程适合用于I/O密集型任务,如网络请求、文件操作等,因为线程在等待I/O操作完成时可以释放GIL(全局解释器锁),允许其他线程执行。

多进程

多进程是指在操作系统中同时运行多个进程,每个进程都有自己独立的内存空间,相互之间不受影响。多进程适合用于CPU密集型任务,如计算密集型算法、图像处理等,因为多进程可以利用多核CPU并行执行任务,提高整体运算速度。

线程池与进程池的介绍

线程池

线程池是一种预先创建一定数量的线程并维护这些线程,以便在需要时重复使用它们的技术。线程池可以减少线程创建和销毁的开销,提高线程的重复利用率。在Python中,可以使用concurrent.futures.ThreadPoolExecutor来创建线程池。

进程池

进程池类似于线程池,不同之处在于进程池预先创建一定数量的进程并维护这些进程,以便在需要时重复使用它们。进程池可以利用多核CPU并行执行任务,提高整体运算速度。在Python中,可以使用concurrent.futures.ProcessPoolExecutor来创建进程池。

线程池与进程池的应用示例

下面是一个简单的示例,演示了如何使用线程池和进程池来执行一组任务。

import concurrent.futures
import time

def task(n):
    print(f"Start task {n}")
    time.sleep(2)
    print(f"End task {n}")
    return f"Task {n} result"

def main():
    # 使用线程池
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        results = executor.map(task, range(5))
        for result in results:
            print(result)

    # 使用进程池
    with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
        results = executor.map(task, range(5))
        for result in results:
            print(result)

if __name__ == "__main__":
    main()

在上面的示例中,我们定义了一个task函数,模拟了一个耗时的任务。然后,我们使用ThreadPoolExecutor创建了一个线程池,并使用map方法将任务提交给线程池执行。同样地,我们也使用ProcessPoolExecutor创建了一个进程池,并使用map方法提交任务。最后,我们打印出每个任务的结果。

线程池与进程池的性能比较

虽然线程池与进程池都可以用来实现并发执行任务,但它们之间存在一些性能上的差异。

线程池的优势

  • 轻量级: 线程比进程更轻量级,创建和销毁线程的开销比创建和销毁进程要小。
  • 共享内存: 线程共享同一进程的内存空间,可以方便地共享数据。
  • 低开销: 在切换线程时,线程只需保存和恢复栈和寄存器的状态,开销较低。

进程池的优势

  • 真正的并行: 进程可以利用多核CPU真正并行执行任务,而线程受到GIL的限制,在多核CPU上无法真正并行执行。
  • 稳定性: 进程之间相互独立,一个进程崩溃不会影响其他进程,提高了程序的稳定性。
  • 资源隔离: 每个进程有自己独立的内存空间,可以避免多个线程之间的内存共享问题。

性能比较示例

下面是一个简单的性能比较示例,演示了线程池和进程池在执行CPU密集型任务时的性能差异。

import concurrent.futures
import time

def cpu_bound_task(n):
    result = 0
    for i in range(n):
        result += i
    return result

def main():
    start_time = time.time()

    # 使用线程池执行CPU密集型任务
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        results = executor.map(cpu_bound_task, [1000000] * 3)

    print("Time taken with ThreadPoolExecutor:", time.time() - start_time)

    start_time = time.time()

    # 使用进程池执行CPU密集型任务
    with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
        results = executor.map(cpu_bound_task, [1000000] * 3)

    print("Time taken with ProcessPoolExecutor:", time.time() - start_time)

if __name__ == "__main__":
    main()

在上面的示例中,我们定义了一个cpu_bound_task函数,模拟了一个CPU密集型任务。然后,我们使用ThreadPoolExecutorProcessPoolExecutor分别创建线程池和进程池,并使用map方法提交任务。最后,我们比较了两种方式执行任务所花费的时间。

通过运行以上代码,你会发现使用进程池执行CPU密集型任务的时间通常会比使用线程池执行快,这是因为进程池可以利用多核CPU真正并行执行任务,而线程池受到GIL的限制,在多核CPU上无法真正并行执行。

当考虑如何实现一个能够同时下载多个文件的程序时,线程池和进程池就成为了很有用的工具。让我们看看如何用线程池和进程池来实现这个功能。

首先,我们需要导入相应的库:

import concurrent.futures
import requests
import time

然后,我们定义一个函数来下载文件:

def download_file(url):
    filename = url.split("/")[-1]
    print(f"Downloading {filename}")
    response = requests.get(url)
    with open(filename, "wb") as file:
        file.write(response.content)
    print(f"Downloaded {filename}")
    return filename

接下来,我们定义一个函数来下载多个文件,这里我们使用线程池和进程池来分别执行:

def download_files_with_thread_pool(urls):
    start_time = time.time()
    with concurrent.futures.ThreadPoolExecutor() as executor:
        results = executor.map(download_file, urls)
    print("Time taken with ThreadPoolExecutor:", time.time() - start_time)

def download_files_with_process_pool(urls):
    start_time = time.time()
    with concurrent.futures.ProcessPoolExecutor() as executor:
        results = executor.map(download_file, urls)
    print("Time taken with ProcessPoolExecutor:", time.time() - start_time)

最后,我们定义一个主函数来测试这两种方式的性能:

def main():
    urls = [
        "https://www.example.com/file1.txt",
        "https://www.example.com/file2.txt",
        "https://www.example.com/file3.txt",
        # Add more URLs if needed
    ]

    download_files_with_thread_pool(urls)
    download_files_with_process_pool(urls)

if __name__ == "__main__":
    main()

通过运行以上代码,你可以比较使用线程池和进程池下载文件所花费的时间。通常情况下,当下载大量文件时,使用进程池的性能会更好,因为它可以利用多核CPU实现真正的并行下载。而使用线程池则更适合于I/O密集型任务,如网络请求,因为线程在等待I/O操作完成时可以释放GIL,允许其他线程执行。

这个例子展示了如何利用线程池和进程池来提高并发下载文件的效率,同时也强调了根据任务特点选择合适的并发编程方式的重要性。

并发编程中的注意事项

虽然线程池与进程池提供了方便的并发执行任务的方式,但在实际应用中还需要注意一些问题,以避免出现潜在的并发问题和性能瓶颈。

共享资源的同步

  • 在多线程编程中,共享资源的访问需要进行同步,以避免竞争条件和数据不一致性问题。可以使用锁、信号量等同步机制来保护关键资源的访问。
  • 在多进程编程中,由于进程之间相互独立,共享资源的同步相对简单,可以使用进程间通信(如管道、队列)来传递数据,避免数据竞争问题。

内存消耗与上下文切换

  • 创建大量线程或进程可能会导致内存消耗增加,甚至引起内存泄漏问题。因此,在设计并发程序时需要注意资源的合理利用,避免创建过多的线程或进程。
  • 上下文切换也会带来一定的开销,特别是在频繁切换的情况下。因此,在选择并发编程方式时,需要综合考虑任务的特点和系统资源的限制,以及上下文切换的开销。

异常处理与任务超时

  • 在并发执行任务时,需要注意异常处理机制,及时捕获和处理任务中可能出现的异常,以保证程序的稳定性和可靠性。
  • 另外,为了避免任务阻塞导致整个程序停滞,可以设置任务的超时时间,并在超时后取消任务或进行相应的处理。

最佳实践与建议

在实际应用中,为了编写高效、稳定的并发程序,可以遵循以下一些最佳实践和建议:

  • 合理设置并发度: 根据系统资源和任务特点,合理设置线程池或进程池的大小,避免创建过多的线程或进程。
  • 合理分配任务: 根据任务的类型和特点,合理分配任务到线程池或进程池中,以充分利用系统资源。
  • 注意异常处理: 在任务执行过程中及时捕获和处理异常,保证程序的稳定性和可靠性。
  • 监控与调优: 使用监控工具和性能分析工具对并发程序进行监控和调优,及时发现和解决性能瓶颈和潜在问题。

通过遵循以上最佳实践和建议,可以编写出高效、稳定的并发程序,提高程序的执行效率和性能。同时,也可以避免一些常见的并发编程陷阱和问题,确保程序的质量和可靠性。

总结

本文介绍了在Python中使用线程池和进程池来实现并发编程的方法,并提供了相应的代码示例。首先,我们讨论了多线程和多进程的概念及其在并发编程中的应用场景。然后,我们深入探讨了线程池和进程池的工作原理以及它们之间的性能比较。

在代码示例部分,我们演示了如何使用线程池和进程池来执行多个任务,其中包括下载多个文件的示例。通过比较两种方式执行任务所花费的时间,我们可以更好地了解它们在不同场景下的优劣势。

此外,文章还提供了一些并发编程中的注意事项和最佳实践,包括共享资源的同步、内存消耗与上下文切换、异常处理与任务超时等。这些建议有助于开发者编写高效、稳定的并发程序,提高程序的执行效率和性能。

总的来说,线程池和进程池是Python中强大的工具,能够帮助开发者轻松实现并发编程,并充分利用计算资源。选择合适的并发编程方式,并结合实际场景和任务特点,可以编写出高效、可靠的并发程序,提升应用的性能和用户体验。

标签:python,编程,并发,任务,线程,time,进程,多线程,CPU
From: https://blog.csdn.net/ma_nong33/article/details/139634329

相关文章

  • 一文看懂,为什么 Python 运行速度如此慢?
    在这篇文章中,我将介绍Python的不同特性,我们将了解为什么这使其成为当今最完整的语言之一,但速度不够快。在编程社区中,众所周知Python编程语言在速度方面并不占优势。"但是就是慢..."在这篇文章中,我将介绍Python的不同特性,我们将了解为什么这使其成为当今最完整的语言之一,但速......
  • 【python笔记】—— 模块
    模块和包概念的进化史Python程序由模块组成。一个模块对应python源文件,一般后缀名是:.py模块由语句组成。运行Python程序时,按照模块中语句的顺序依次执行语句是Python程序的构造单元,用于创建对象、变量赋值、调用函数、控制语句等标准库模块(standardlibrary) python模......
  • Python字符串操作(1)
    -----案例1:要求-----读取用户输入的一串用逗号分隔的值,然后对其中的数字进行求和,并输出结果。-----案例1:代码示例-----myinput=input("请输入:")#提示用户输入,并将输入的内容赋值给变量myinputls=myinput.split(',')#使用逗号作为分隔符,将输入的字符串分割成......
  • 用ESP32(ESP32-CAM)(Micropython)、水位传感器、继电器、水泵 做根据水位自动加水的设
    基本流程水位传感器放在水缸内上方位置,水位到达水位传感器所在的位置时,水位传感器触发,并输出信号给到ESP32(ESP32CAM)。然后ESP32(ESP32CAM)控制继电器闭合,水泵启动并工作60S。之后还是根据传感器信号,决定继电器是闭合还是断开,一直循环下去。main.py点击查看main.pyfrom......
  • DH算法python 原理说明和演示
    importgmpy2p=17g=3x_a=15x_b=13#y_a=a_g^x_amoda_py_a=6#y_a=a_g^b_xmoda_py_b=12#a#y_s=y_b^x_amoda_p#y_s=12^15mod17#b#y_s=ya^x_bmoda_p#y_s=6^12mod17if__name__=='__main__�......
  • python-爬虫-邮箱发送
    #-*-coding:utf-8-*-#发送信息到邮箱importemail.utilsimportsmtplibfromemail.mime.textimportMIMEText#发送文本fromemail.mime.imageimportMIMEImage#发送图片fromemail.mime.multipartimportMIMEMultipartfromemail.headerimportHeader""&quo......
  • python-爬虫-获取浏览器的cookies
    1、封装浏览器对象#-*-coding:utf-8-*-"""封装类将获取浏览器的对象封装成一个类调用方法:1、importGet_Browser2、driver=Get_Browser.Get_Browsers().get_browser()"""fromseleniumimportwebdriverclassGet_Browsers:def__init__(self......
  • 朴素贝叶斯分类器 #数据挖掘 #Python
    朴素贝叶斯分类器是一种基于概率统计的简单但强大的机器学习算法。它假设特征之间是相互独立的(“朴素”),尽管在现实世界中这通常不成立,但在许多情况下这种简化假设仍能提供良好的性能。基本原理:朴素贝叶斯分类器利用贝叶斯定理,计算给定输入特征条件下属于某个类别的概率,并选择......
  • python系列:python fastapi + uvicorn 记录日志的最佳实践,结合nb_log
    pythonfastapi+uvicorn记录日志的最佳实践,结合nb_logpythonfastapi+uvicorn记录日志的最佳实践,结合nb_logpythonfastapi+uvicorn记录日志的最佳实践,结合nb_logpythonfastapi+uvicorn记录日志的最佳实践,要记录对fastapi什么时候请求了什么url和入......
  • Python中用PyTorch机器学习神经网络分类预测银行客户流失模型|附代码数据
    阅读全文:http://tecdat.cn/?p=8522最近我们被客户要求撰写关于神经网络的研究报告,包括一些图形和统计输出。分类问题属于机器学习问题的类别,其中给定一组特征,任务是预测离散值。分类问题的一些常见示例是,预测肿瘤是否为癌症,或者学生是否可能通过考试在本文中,鉴于银行客户的某些......