截至 Python 3.6.6， concurrent.futures.ThreadPoolExecutor 中用的都是无·界队列，在生产速度大于消费速度时，可能会耗光系统资源，希望找到一种方式避免这种情况。

【方案一】

• 继承 ThreadPoolExecutor，直接修改 _work_queue 为有界队列。

• 优点：简单粗暴直接。

• 缺点：修改了私有属性。

• 示例： https://stackoverflow.com/a/48327162

【方案二】

• 将任务分组，每组完成后再提交下一组。

• 优点：无需继承，不改变私有属性；能切实有效的避免资源耗费。

• 缺点：组之间的任务是同步的，未充分利用线程，即使有剩余任务也有空闲线程存在。

• 示例： https://stackoverflow.com/a/49622149

【方案三】

• 创建工具类委托给 ThreadPoolExecutor 实例。

• 优点：无需继承，不改变私有属性；充分利用了线程，有剩余任务时不会有空闲线程存在。

• 缺点：实现较为复杂。

• 示例： https://www.bettercodebytes.com/theadpoolexecutor-with-a-bounded-queue-in-python/
  

【相关阅读】

• Python3并发检验代理池地址

*** walker ***

转载于:https://blog.51cto.com/walkerqt/2317632

原文链接： http://blog.51cto.com/walkerqt/2317632 在去年的一篇 Python 多线程编程中学习了 Python 中如何使用多线程来调度任务，工作中也不时从自己的博客中找来参考。在运用当中不时的碰到内存消耗殆尽情况，直接把命令行窗口打死，不得不强行关窗口或杀进程。之前一直未意识到问题所在，只知任务太多就必死无疑，现在要用 Python 来处理大量任务了，必须着手来解决一下它。其实原因很简单，和 Java 的 ThreadPoolExecutor 一样(看它们用的类名都是一样的)。Java 的 ThreadPoolExecutor 内部使用了一个Inte... ThreadPool是一个用于普通任务的简单工具。如果您想自己管理 队列 ，以获得DFS行为；您可以直接在threading和queue模块上实现必要的功能。在要防止计划下一个根任务，直到 当前 任务派生的所有任务都完成（“类似DFS”的顺序），可以use ^{}：#!/usr/bin/env python3 import queueimport randomimport threadingimport t... concurrent. future s模块是从 Python3 .2 后引入的异步执行模块，主要用于在多核CPU和网络I/O中进行高效的并发编程。这个模块提供了 ThreadPoolExecutor （线程池）和ProcessPoolExecutor（进程池）两个类。可使用直接创建线程池，需要设置最大的线程数，用submit()执行线程。 Python 中的Queue是线程安全的消息 队列 ，put()和get()配合使用，可使用put()创建消息，使用get()消费消息，使用qsize() 获取 消息长度。 我一直在通过划分范围来达到这个目的。这是一个有效的例子。在from time import time, strftime, sleep, gmtimefrom random import randintfrom itertools import islicefrom concurrent. future s import ThreadPoolExecutor , as_completeddef nap(... Queue主要就是为多线程生产值、消费者之间线程通信提供服务，具有先进先出的数据结构。 首先我们组要明白为什么要使用 队列 ， 队列 的性质， 多线程并发编程的重点，是线程之间共享数据的访问问题和线程之间的通信问题 为了解决线程之间数据共享问题， PYTHON 提供了一个数据类型【 队列 】可以用于在多线程并发模式下，安全的访问数据而不会造成数据共享冲突。 正常请求的多线程，如果是消费之和生产者，通过列表实现... 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。 Python 多线程和多进程（一） GIL锁和使用Thread创建多线程 Python 多线程和多进程（二） 线程同步之互斥锁和重入锁 Python 多线程和多进程（三） 线程同步之条件变量 Python 多线程和多进程（四） 线程同步之信号量 Python 多线程和多进程（五） 多线程管理——... 在前面的博客中介绍了线程的用法，每次使用都要创建线程，启动线程，有没有什么办法简单操作呢。 python3 .2引入的concurrent. future 模块中有 ThreadPoolExecutor 和ProcessPoolExecutor两个类，这两个类内部维护着线程/进程池，以及要执行的任务 队列 ，使得操作变得非常简单，不需要关心任何实现细节来看一个简单的例子#!/usr/bin/env python3 ...