当我用生成器表达式和迭代器从网格上的规则网格中插入数据>2000次时，我收到一个MemError

Question

这是我在stackoverflow的第一个问题，因为我开始用Python3编写脚本。你知道吗

应用程序

我编写了一个Python3脚本，为LS-Dyna中的有限元模拟编写可移动热源的负载定义。作为源，我有一个离散的三维热生成率密度（W/cm^3）场，坐标定义了有限元网格和热场中心随时间的位置。 作为输出，我得到一个与时间有关的加热功率，按每个有限元的单元数排序。这已经适用于合理的尺寸（200000个有限元、3000个热场位置、400000个热场数据点）。你知道吗

问题

对于更大的有限元网格（400000个元素），我的内存不足（60gbram，python364bit）。为了进一步说明这个问题，我准备了一个独立运行的最小示例。它生成一些人工测试数据，一个有限元网格，我如何使用它（实际上它不是一个规则的网格）和一个迭代器，为热应用程序的新位置。你知道吗

import numpy as np
import math
from scipy.interpolate import RegularGridInterpolator
def main():
    dataCoordinateAxes,dataArray = makeTestData()
    meshInformationArray = makeSampleMesh()
    coordinates = makeSampleCoordinates()
    interpolateOnMesh(dataCoordinateAxes,dataArray,meshInformationArray,coordinates)

def makeTestData():
    x = np.linspace(-0.02,0.02,300)
    y = np.linspace(-0.02,0.02,300)
    z = np.linspace(-0.005,0.005,4)
    data = f(*np.meshgrid(x,y,z,indexing='ij',sparse=True))
    return (x,y,z),data

def f(x,y,z):
    scaling = 1E18
    sigmaXY = 0.01
    muXY = 0
    sigmaZ = 0.5
    muZ = 0.005
    return weight(x,1E-4,muXY,sigmaXY)*weight(y,1E-4,muXY,sigmaXY)*weight(z,0.1,muZ,sigmaZ)*scaling

def weight(x,dx,mu,sigma):
    result = np.multiply(np.divide(np.exp(np.divide(np.square(np.subtract(x,mu)),(-2*sigma**2))),math.sqrt(2*math.pi*sigma**2.)),dx)
    return result

def makeSampleMesh():
    meshInformation = []
    for x in np.linspace(-0.3,0.3,450):
        for y in np.linspace(-0.3,0.3,450):
            for z in np.linspace(-0.005,0.005,5):
                meshInformation.append([x,y,z])
    return np.array(meshInformation)

def makeSampleCoordinates():
    x = np.linspace(-0.2,0.2,500)
    y = np.sqrt(np.subtract(0.2**2,np.square(x)))
    return (np.array([element[0],element[1],0])for element in zip(x,y))

然后在此函数中进行插值。我删除了for循环中的所有内容以隔离问题。实际上，我将负载曲线导出到一个特定格式的文件中。你知道吗

def interpolateOnMesh(dataCoordinateAxes,dataArray,meshInformationArray,coordinates):
    interpolationFunction = RegularGridInterpolator(dataCoordinateAxes, dataArray, bounds_error=False, fill_value=None)
    for finiteElementNumber, heatGenerationCurve in enumerate(iterateOverFiniteElements(meshInformationArray, coordinates, interpolationFunction)):
        pass
    return

def iterateOverFiniteElements(meshInformationArray, coordinates, interpolationFunction):
    meshDataIterator = (np.nditer(interpolationFunction(np.subtract(meshInformationArray,coordinateSystem))) for coordinateSystem in coordinates)
    for heatGenerationCurve in zip(*meshDataIterator):
        yield heatGenerationCurve

if __name__ == '__main__':
    main()

为了确定问题，我跟踪了一段时间内的内存消耗。 Memory Consumption over Time 对结果数组的迭代似乎消耗了大量内存。你知道吗

问题

有没有一种在不损失太多性能的情况下对数据点进行迭代的内存消耗更少的方法？如果不是，我想我会把网格数组切成块，然后逐个插值。你知道吗

Answer 1

到目前为止，我找到的唯一解决办法是切断meshInformationArray。 这里是修改后的main()函数：

def main():
    dataCoordinateAxes,dataArray = makeTestData()
    meshInformationArray = makeSampleMesh()
    coordinates = makeSampleCoordinates()
    sections = int(meshInformationArray.shape[0] / 100000)
    if sections == 0: sections = 1
    for array in iter(np.array_split(meshInformationArray, sections, axis=0)):
        interpolateOnMesh(dataCoordinateAxes,dataArray,array,coordinates)