内存高效的内置SqlAlchemy迭代器/生成器？

Question

我有一个~10M的MySQL记录表，我使用SqlAlchemy与之接口。我发现，对这个表的大型子集的查询将消耗太多内存，即使我认为我使用的是一个内置的生成器，它可以智能地获取数据集的一小块大小：

for thing in session.query(Things):
    analyze(thing)

为了避免这种情况，我发现我必须构建自己的迭代器，它可以分块执行：

lastThingID = None
while True:
    things = query.filter(Thing.id < lastThingID).limit(querySize).all()
    if not rows or len(rows) == 0: 
        break
    for thing in things:
        lastThingID = row.id
        analyze(thing)

这是正常的还是SA内置发电机有问题？

对this question的回答似乎表明内存消耗不是预期的。

Answer 1

我一直在研究使用SQLAlchemy的高效遍历/分页，并希望更新这个答案。

我认为可以使用slice调用来适当地限制查询的范围，并且可以有效地重用它。

示例：

window_size = 10  # or whatever limit you like
window_idx = 0
while True:
    start,stop = window_size*window_idx, window_size*(window_idx+1)
    things = query.slice(start, stop).all()
    if things is None:
        break
    for thing in things:
        analyze(thing)
    if len(things) < window_size:
        break
    window_idx += 1