在Django/Python中优化RAM使用的热点？

Question

我需要帮助来减少这个python脚本的RAM使用：

tempproducts = TempProducts.objects.filter()

for url in tempproducts:
    scrap_and_save_product(url.url,True,0)

scrap_and_save_product是一个函数，它使用BeautifulSoup来获取数据并将其保存到数据库中。。 TempProducts有大约100000种产品

每30分钟RAM使用量增加大约50MB

RAM使用日志：

^{pr2}$

如何检查哪个数据结构占用内存？如何在Python/Django中减少RAM的使用。。。使用元组还是列表更好？在

Answer 1

请确保您的设置中有DEBUG = False。如果此设置为true，则保留SQL结果以供调试。在

Answer 2

使用iterator()。但别忘了它不会缓存结果。在

For a QuerySet which returns a large number of objects that you only need to access once, this can result in better performance and a significant reduction in memory.

Answer 3

1. 您应该向我们展示scrap_and_save_product函数的代码。在
2. 尝试使用大数据进行更节省内存的查询。描述了here的详细信息。希望这些有帮助！在