Python中核心外计算的良好设计

Question

我正在编写一个脚本，该脚本加载不同网格点的时间序列天气数据（1分钟分辨率），然后每次计算地面温度的估计值。理想情况下，我希望脚本可以简单地运行为：

for each gridpoint in gridpoint_list:
     for each time in time_range:
          wth = get_weather(gridpoint, time)
          ground_temperature = calc_temperature(wth)
          ...

天气数据不适合内存，因此我无法在脚本开头将其全部加载到熊猫数据帧中。我希望这些核心之外的事情在幕后处理，因此我不必重写脚本以成批处理，例如几天，因为EI也将在其他脚本中频繁地执行此类操作

是否有一个很好的解决方案（dask是否比熊猫更有用）

编辑：天气数据存储为分区拼花地板数据集