<p>我目前正在将一个长时间运行的作业卸载到TaskQueue中,以计算数据存储中NDB实体之间的连接。在</p>
<p>基本上,这个队列处理多个实体键列表,它们将通过<code>GetConnectedNodes</code>节点中的<code>node_in_connected_nodes</code>函数与另一个<code>query</code>相关:</p>
<pre><code>class GetConnectedNodes(object):
"""Class for getting the connected nodes from a list of nodes in a paged way"""
def __init__(self, list, query):
# super(GetConnectedNodes, self).__init__()
self.nodes = [ndb.model.Key('Node','%s' % x) for x in list]
self.cursor = 0
self.MAX_QUERY = 100
# logging.info('Max query - %d' % self.MAX_QUERY)
self.max_connections = len(list)
self.connections = deque()
self.query=query
def node_in_connected_nodes(self):
"""Checks if a node exists in the connected nodes of the next node in the
node list.
Will return False if it doesn't, or the list of evidences for the connection
if it does.
"""
while self.cursor < self.max_connections:
if len(self.connections) == 0:
end = self.MAX_QUERY
if self.max_connections - self.cursor < self.MAX_QUERY:
end = self.max_connections - self.cursor
self.connections.clear()
self.connections = deque(ndb.model.get_multi_async(self.nodes[self.cursor:self.cursor+end]))
connection = self.connections.popleft()
connection_nodes = connection.get_result().connections
if self.query in connection_nodes:
connection_sources = connection.get_result().sources
# yields (current node index in the list, sources)
yield (self.cursor, connection_sources[connection_nodes.index(self.query)])
self.cursor += 1
</code></pre>
<p>在
这里,<code>Node</code>有一个重复属性<code>connections</code>,它包含一个具有其他<code>Node</code>密钥ID的数组,以及与该给定连接匹配的<code>sources</code>数组。在</p>
<p>所得结果储存在一个blobstore中。在</p>
<p>现在我遇到的问题是,在一个连接函数的迭代之后,内存没有被清除。下面的日志显示了AppEngine在创建新的<code>GetConnectedNodes</code>实例之前使用的内存:</p>
^{pr2}$
<p>除了一些波动之外,内存一直在增加,即使之前的值都没有被访问。我发现很难调试这个或者弄清楚我是否在某个地方有内存泄漏,但我似乎已经把它追溯到了那个类。谢谢你的帮助。在</p>