在SQL/MySQL/PostgreSQL表上执行高级数据清理和格式化的最佳语言/技术是什么？

Question

我们在visualfoxpro中有一堆实用程序脚本，我们用它们来交互地清理/格式化数据。我们希望开始迁移这些代码，以使用其他数据库平台，如MySQL或SQLite。在

例如，我们运行一个脚本，它将名称和/或地址行转换为适当的大写/小写。这段代码遍历整个表并分析/修复每一行。还有其他的，像解析和标准化地址，甚至重复检测。。。在

我们正在考虑将代码迁移到Python，并可能使用类似SQLAlchemy的东西作为“中间人”。在

在visualfoxpro中，数据库/表是集成的，因此我们只需打开表并运行命令。MySQL的不同之处在于我们需要从中提取数据，然后处理提取的数据，然后更新表。在

最好的方法是什么？在

我看到了几种可能性：

1）提取要处理的整个数据集，比如所有地址字段，如果我们要处理的是地址字段，那么就全部更新并全部写回。。。在

2）将数据集分块提取，以避免潜在地消耗大量的系统内存。。。然后更新并回写

3）生成SQL代码，可能借助SQLAlchemy之类的工具，发送到服务器并由服务器执行。。。在

4）？？？还有什么我没想到的吗？在

Answer 1

你好像想同时做几件事。你能采取循序渐进的方法吗？也许清理数据，因为它们现在正在使用正常的、常用的脚本。然后将数据库迁移到MySQL。在

如果VisualFoxPro提供了一种将数据库导出到CSV（例如CSV）的方法，则很容易迁移数据库。然后，您可以直接将CSV导入MySQL，而不需要太多麻烦。这给了你两个功能完全相同的数据库。当然，你必须证明它们确实是完全相同的，这并不难，但很耗时。您可以使用SQLAlchemy来帮助您。在

如果MySQL数据库是正确的，那么就应该将清理脚本移植到Python或其他东西上，并让它们正常工作。在

这就是我解决这个问题的方法：把它分解成碎片，不要试图在任何一个步骤中做太多。在

高温