使用大量系统CPU的Dask

Question

我使用Dask在Mac上的Dask上运行Python进程_dataframe.map\u分区. 系统CPU超过70%，总体运行时间比预期慢。这个有什么特别的吗？你知道吗

Processes: 516 total, 4 running, 4 stuck, 508 sleeping, 4051 threads                                                                            17:01:05
Load Avg: 8.96, 8.63, 8.87  CPU usage: 24.29% user, 71.74% sys, 3.96% idle   SharedLibs: 183M resident, 49M data, 30M linkedit.
MemRegions: 280712 total, 7256M resident, 122M private, 2408M shared. PhysMem: 15G used (3646M wired), 1216M unused.
VM: 3934G vsize, 1298M framework vsize, 337943173(128) swapins, 424866150(0) swapouts. Networks: packets: 54072553/576G in, 52411813/575G out.
Disks: 13274682/1405G read, 10823134/1690G written.
PID    COMMAND      %CPU      TIME     #TH    #WQ   #PORT MEM    PURG   CMPRS  PGRP  PPID  STATE    BOOSTS           %CPU_ME %CPU_OTHRS UID  FAULTS
13116  python3.7    955.1     02:01.53 90/17  1     124   721M-  0B     0B     5984  5984  running  *0[1]            0.00000 0.00000    504  1624296+

除了python进程之外，我看不到任何其他进程使用大量CPU

如果我不在Dask上运行相同的代码，我就看不到高的sys CPU使用率，所以我想知道当运行Dask时系统会做什么。你知道吗

Answer 1

如果python一次又一次地定义变量，它会占用大量内存。如果程序中有嵌套循环，也会花费大量时间。也许这就是问题所在？你知道吗