请求会话期间的Python内存管理

Question

我正试图从网站上搜集公司信息。一切都很顺利，除了我的记忆在公司8000年后变得满满的事实之外，我不能继续接管所有的公司。我正在使用请求会话处理身份验证

我尝试了一些流到文件中的方法，但我真的无法找到最好的方法，因为它对我不起作用

with requests.Session() as s:

  params = {
            'act': 'API_Authenticate',
            'username': 'InWaraCustomer',
            'password': 'Mahanta1507',
            'rdr': 'https%3A%2F%2Finwara.quickbase.com%2Fdb%2Fbnhau7zkf%3Fa%3DpagePreview%26pageID%3D7%26windowed%3D1%26ifv%3D20%0A'
        }

  s.get('https://inwara.quickbase.com/db/main?', params=urllib.parse.urlencode(params))

在这个请求之后，我做了一个新的请求，保存所有公司的URL。之后，我迭代了所有的URL，得到了html，从中我只得到了BeautifulSoup所需的信息

我相信问题在于我处理会话中每个url的html响应的方式。我应该如何进行这项工作？谢谢