在Python中梳理不同类的几个大数据结构；如何在减少内存使用的同时合并和存储所需的数据？

Question

怎么回事

在python2.7.8中，我每几分钟通过包netsnmp从几千个网络设备收集数据。我还使用了fastsnmpy，这样我就可以访问（更高效的）netsnmp命令snmpbulkwalk。在

我正在尝试减少脚本使用的内存量。我运行同一脚本的三个实例，在重新查询所有设备以获取所需数据之前，该脚本将休眠两分钟。当我在bash中创建原始脚本时，当同时激活时，它们将使用少于500MB的空间。但是，当我将其转换为Python时，每个实例占用4GB每个，这表明（对我来说）我的数据结构需要更有效地管理。即使在空闲时，它们也要消耗4GB的内存。在

---

代码活动

我的脚本首先创建一个列表，在其中打开一个文件并将目标设备的主机名附加为单独的值。这些通常包含80到1200个名字。在

expand = []
f = open(self.deviceList, 'r')
for line in f:
    line = line.strip()
    expand.append(line)

从那里我设置了SNMP会话并执行请求

^{pr2}$

由于这两个SNMP包的行为方式，设备响应被解析成列表并存储到一个巨大的数据结构中。例如

for output in expandresults:
    print ouput.hostname, output.iid, output.val
#
host1 1 1
host1 2 2
host1 3 3
host2 1 4
host2 2 5
host2 3 6
# Object 'output' itself cannot be printed directly; the value returned from this is obscure
...

我必须遍历每个响应，合并相关数据，然后输出每个设备的完整响应。这有点难举个例子

host1,1,2,3
host2,4,5,6
host3,7,8,9,10,11,12
host4,13,14
host5,15,16,17,18
...

每个设备有不同数量的响应。我不能期望每个设备都有一个统一的任意数量的值组合成一个字符串来写入CSV。在

---

我如何处理数据

我相信在这里我消耗了大量的内存，但我无法解决如何在删除访问数据的同时简化过程。在

expandarrays = dict()
for output in expandresults:
    if output.val is not None:
        if output.hostname in expandarrays:
            expandarrays[output.hostname] += ',' + output.val
        else:
            expandarrays[output.hostname] = ',' + output.val

for key in expandarrays:
    self.WriteOut(key,expandarrays[key])

目前我正在创建一个新字典，检查设备响应是否为空，然后将响应值附加到一个字符串中，该字符串将用于写入CSV文件。在

问题是，我实际上是在克隆现有的字典，这意味着我使用的系统内存是原来的两倍。当我把它们移到expandarrays时，我想删除我在expandresults中访问过的值，这样我就不用那么多内存了。有没有一种有效的方法？有没有更好的方法来降低代码的复杂性，以便更容易理解？在

---

罪魁祸首

感谢那些回答的人。对于那些将来由于遇到类似问题而偶然发现这个线程的人来说：fastsnmpy包是导致大量使用系统内存的罪魁祸首。multiwalk()函数为每个主机创建一个线程，但是一次创建一个线程，而不是设置某种上限。因为我的脚本的每个实例最多可以处理1200个设备，这意味着在几秒钟内就有1200个线程被实例化和排队。使用bulkwalk()函数比较慢，但仍然足够快，可以满足我的需要。两者之间的差异是4GB和250MB（系统内存使用量）。在

Answer 1

如果设备响应按顺序排列并按主机分组，则不需要字典，只需要三个列表：

last_host = None
hosts = []                # the list of hosts
host_responses = []       # the list of responses for each host
responses = []
for output in expandresults:
    if output.val is not None:
        if output.hostname != last_host:    # new host
            if last_host:    # only append host_responses after a new host
                host_responses.append(responses)
            hosts.append(output.hostname)
            responses = [output.val]        # start the new list of responses
            last_host = output.hostname
        else:                               # same host, append the response
            responses.append(output.val)
host_responses.append(responses)

for host, responses in zip(hosts, host_responses):
    self.WriteOut(host, ','.join(responses))

Answer 2

通过使用探查器，您可能更容易确定内存的去向：

https://pypi.python.org/pypi/memory_profiler

另外，如果您已经在调整fastsnmpy类，那么您只需更改实现来为您进行基于字典的结果合并，而不是让它先构造一个巨大的列表。在

你要坚持多久？如果重用结果列表，它将无限期增长。在

Answer 3

内存消耗是由于以非绑定方式实例化了几个worker。在

I've updated fastsnmpy (latest is version 1.2.1 ) and uploaded it to PyPi. You can do a search from PyPi for 'fastsnmpy', or grab it directly from my PyPi page here at FastSNMPy

刚刚更新完文档，并将它们发布到位于fastSNMPy DOCS的项目页面

我在这里所做的基本上是用来自多处理的进程池替换早期的未绑定worker模型。它可以作为参数传入，也可以默认为1。在

为了简单起见，现在只有两种方法。 snmpwalk（进程=n）和snmpbulkwalk（进程=n）

你不应该再看到内存问题了。如果有，请在github上ping我。在