Spark 2.3 AsyncEventQueue错误和警告

Question

我正在运行一个内存密集型代码，其中我创建了一个管道，其中包括：

1. 用岛崎和Shinomoto的库宽算法求出最佳的库值个数。

2. 通过将同一列与上面找到的相应bin值进行bucketing来创建一个新列。

3. 通过8个顺序SQL查询计算证据权重。

配置： Python-3.6

火花-2.3

环境-独立机器（16 GB RAM和500 GB硬盘，带i7处理器）

IDE-Pycharm公司

我的怀疑是，它是按预期工作，但给出以下错误和警告，即使工作是成功完成。在

有什么线索告诉我为什么要得到下面的信息？在spark提交时，我需要做些什么来使用最佳可用内存？在

仅供参考-目前我只是用Pycharm Run button而不是spark submit来运行，尽管在内部它也是这样做的。在

2018-05-25 18:13:06 ERROR AsyncEventQueue:70 - Dropping event from queue appStatus. This likely means one of the listeners is too slow and cannot keep up with the rate at which tasks are being started by the scheduler.
2018-05-25 18:13:07 WARN  AsyncEventQueue:66 - Dropped com.codahale.metrics.Counter@4382d088 events from appStatus since Thu Jan 01 05:30:00 IST 1970.