使用Python/Pyspark查询Salesforce中包含400万条记录和250列的表

2024-09-30 22:18:40 发布

您现在位置:Python中文网/ 问答频道 /正文

我需要从Salesforce中提取一个表ABC,它有400万条记录,250列。我使用PythonSimpleSalesforceAPI来实现这一点,但是当我使用8GB ram机器时,if内存不足

  1. 是否有任何方法可以使用Pyspark查询salesforce中如此大量的记录,如果有,请提出建议

  2. 如果有任何其他方法也可以使用Python或Pyspark,也可以建议它们


Tags: 方法机器if记录salesforce建议pysparkram
1条回答
网友
1楼 · 发布于 2024-09-30 22:18:40

您是否有可能使用来自simple_salesforcequery_all?如果是这样,您可以尝试query_morequery_all_iter,这样您的脚本就不会尝试将所有内容加载到单个Python列表中

Simple Salesforce documentation here

相关问题 更多 >