如何在dataframe中使用多线程/多处理代替For循环

Question

目前，我在一个项目中，根据行数据框中提供的数据执行验证，因此我当前的方法是执行验证的顺序方法

for index in mt.index():
    #File Reading 
    #performing validation

但是我想实现多线程/多处理以提高我的处理时间，在当前的方法中，它将花费比预期更多的时间。 有谁能建议或帮助我如何实现多线程/多处理，从而提高我的脚本性能

Answer 1

您可以使用池API：

from multiprocessing import Pool

p = Pool()

def validate(index):
   ## do validation work for a given index here

result = p.map(validate, mt.index())

map函数将在mt.index()的值上并行化循环。查看these docs了解更多选项