三行代码 › 专栏 › 技术社区 › Adam

Python多处理并行化内部或外部循环

hpc python-multiprocessing multiprocessing python

Adam · 技术社区 · 1 月前

假设我们有一些操作,比如:

groups = ['A','B','C']
idx = [n for n in range(1000)]
for group in groups:
    for i in idx:
        # Compute something

哪里 idx 远大于 groups .

为了加快速度,我已经研究了 multiprocessing 和 joblib 在Python中。然而,我们应该在外环上并行化(拆分 for group in groups 或者在内部循环上并行化(拆分 for i in idx 将逻辑转化为并行逻辑?

1 回复 | 直到 1 月前

Caesar 1 月前

这在很大程度上取决于组的数量、核的数量、实际计算的繁重程度,以及我可能忘记的其他几个因素。通过创建一个迭代器来生成所有的元组,可以避免考虑这个问题 (group, i) 出现在内部循环中,即将两个循环折叠为一个。这可以通过itertool's(cross)实现 product :

粗略的例子:

from itertools import product
from multiprocessing import Pool
with Pool() as p:
    p.map(compute_something, product(groups, idx)))

在大多数情况下,这应该可以很好地工作。

推荐文章

Dinesh · 如果进程数超过内核数的一半,为什么性能会下降?

4 年前

cooke · python多处理使用特定参数串行运行

4 年前

SSV · 如何在Java中并行处理对象列表

4 年前

Vingtoft · 使用管道的Python多进程无阻塞内部通信

4 年前

I159 · 使用ProcessPoolExecutor的异步IO运行执行器

4 年前

cosz3 · Python多进程是否共享同一对象?

4 年前

Anish Shanbhag · 多处理事件不工作

4 年前

Elliott Slaughter · Python多处理中的嵌套并行性

4 年前

Leo Ribeiro · 子进程生成与父进程相同的“随机”数

4 年前

Pronomita Dey · 什么是守护进程?为什么要创建它?

4 年前