我有一个C函数,它mallocs()并填充一个二维的浮点数组。它“返回”这个地址和数组的大小。签名是
int get_array_c(float** addr, int* nrows, int* ncols);
我想从Python调用它,所以我使用ctypes。在
^{pr2}$我从没想过如何用ctypes指定参数类型。我倾向于为我使用的每个C函数编写一个python包装器,并确保包装器中的类型正确无误。floats数组是一个按列主要顺序排列的矩阵,我想把它作为努比·恩达雷. 但是它相当大,所以我想使用C函数分配的内存,而不是复制它。(我刚刚在这个StackOverflow答案中找到了PyBuffer_FromMemory的东西:https://stackoverflow.com/a/4355701/3691)
buffer_from_memory = ctypes.pythonapi.PyBuffer_FromMemory
buffer_from_memory.restype = ctypes.py_object
import numpy
def get_array_py():
nrows = ctypes.c_int()
ncols = ctypes.c_int()
addr_ptr = ctypes.POINTER(ctypes.c_float)()
get_array_c(ctypes.byref(addr_ptr), ctypes.byref(nrows), ctypes.byref(ncols))
buf = buffer_from_memory(addr_ptr, 4 * nrows * ncols)
return numpy.ndarray((nrows, ncols), dtype=numpy.float32, order='F',
buffer=buf)
这似乎给了我一个具有正确值的数组。但我敢肯定是内存泄漏。在
>>> a = get_array_py()
>>> a.flags.owndata
False
数组不拥有内存。很公平;在默认情况下,当数组从缓冲区创建时,它不应该这样做,但在本例中应该这样做。当numpy数组被删除时,我真的希望python为我释放缓冲内存。似乎如果我可以强制owndata为True,那么应该可以这样做,但是owndata是不可设置的。在
不满意的解决方案:
使调用方释放数组的内存。这太烦人了;调用者应该能够像对待其他numpy数组一样对待这个numpy数组。
在get_array_py中将原始数组复制到一个新的numpy数组中(有它自己的独立内存),删除第一个数组,然后释放get_array_py()中的内存。返回副本而不是原始数组。这很烦人,因为它应该是一个不必要的内存拷贝。
有办法做我想做的吗?我不能修改C函数本身,尽管我可以在库中添加另一个C函数,如果有帮助的话。在
我刚刚偶然发现了这个问题,在2013年8月,这个问题仍然是个问题。Numpy对
OWNDATA
标志非常挑剔:它不可能在Python级别上修改,因此ctypes很可能无法做到这一点。在numpy C-API级别上(现在我们讨论的是一种完全不同的制作Python扩展模块的方法),必须使用以下内容显式设置标志:在numpy<;1.7版中,人们必须更加明确:
^{pr2}$如果可以控制底层的C函数/库,最好的解决方案是从Python向它传递一个适当大小的空numpy数组来存储结果。基本原则是内存分配应该总是在尽可能高的级别上进行,在本例中是在Python解释器级别上进行的。在
正如kynan在下面评论的,如果您使用
Cython
,您必须手动公开PyArray_ENABLEFLAGS
函数,请参阅本文Force NumPy ndarray to take ownership of its memory in Cython。在相关文档是here 和here。在
我倾向于从C库中导出两个函数:
然后,我将编写get_array_c的Python包装器[1]来分配数组,然后调用get_array_c_nomalloc。然后Python拥有内存。您可以将这个包装器集成到库中,这样您的用户就不必知道get_array_c_nomalloc的存在。在
[1]这不再是真正的包装器,而是一个适配器。在
相关问题 更多 >
编程相关推荐