大型SQL查询（64。Mio行）进入Pandas数据帧

Question

我需要从SQL server加载表。这是我第一次这么做，这导致了我在这个领域的不确定性和专业知识的缺失。在

我需要有6400万行的整个表的数据。为了将其写入pandas数据帧，我尝试了以下代码，还尝试了SQLalchemy和一些{}examples，但这些代码根本无法工作。也许dask比pandas更有效，但是我以前从来没有用过dask。在

该代码最多工作TOP 1000000，这需要7.5分钟。然而，更大的查询没有成功完成。在

也许有人能帮我找出做这件事的“最佳实践”。在

import pandas as pd
import pyodbc

conn = pyodbc.connect('Driver={SQL Server};'
                      'Server=SERVER\DEV;'
                      'Database=Clusteranalysis;'
                      'Trusted_Connection=yes;')
cursor = conn.cursor()
query = 'SELECT * FROM [Clusteranalysis].[dbo].[Data] WHERE Rc=0'
result_port_map = pd.read_sql(query, conn)
print(result_port_map.head(5))

谢谢你的帮助！在