如何优化合并两大数据框架

Question

我有两个数据帧，一个有超过60000000行，另一个有500000行。我想基于多索引合并这两个数据帧。我的IDE是jupyter，我的PC内存是16G，CPU是2.3GHz，64位。你知道吗

如何优化合并？ 我有一些要求。我需要得到重叠的部分。 另外，我想知道是否有更深层次的方法来优化它，比如使用Cpython之类的？我不太清楚，因为我刚在这里读到enhancing performance

dfa类似于：

                    time                 brand
user_id  sku_id   
27630    37957  2016-02-01 07:43:14       8
489      37957  2016-02-01 07:43:04       8
489      37957  2016-02-01 07:43:02       8
661      21546  2016-02-01 07:43:02       6
……

df B类似于：

                   time                 brand
user_id  sku_id   
27630    37957  2016-02-01 07:43:14       8
489      37957  2016-02-01 07:43:04       8
764      37957  2016-02-01 07:43:02       8
667      2156   2016-02-01 07:43:02       3
……

Answer 1

在这种情况下，我会使用Index.intersection：

解决方案：

In [159]: A.loc[A.index.intersection(B.index)]
Out[159]:
                               time  brand
user_id sku_id
489     37957   2016-02-01 07:43:04      8
        37957   2016-02-01 07:43:02      8
27630   37957   2016-02-01 07:43:14      8

Pandas documentation: Merge, join, and concatenate