大数据集上的查询

Question

我在excel中有数据（~10000+行），我需要匹配SQL表（~20000+）中的每一行。 查询将如下所示

select field1, field2, case 
when condition 1 then 'Output 1'
when condition 2 then 'Output 2'
5-6 more such when conditions
End as Title
from Table

由于这两个数据集的数据都非常庞大，我应该通过python将所有数据加载到一个数组中（一次选择，然后用python代码执行操作），还是通过sql选择（迭代每一行）

哪一个性能最好，还有其他有效的解决方案吗

Answer 1

老实说，10000行甚至20000行都很小，除非你有10000列。我建议您将其加载到本地数据帧中，并在那里执行所有转换