步行操作系统（）缓存/加速

Question

我有一个原型服务器[0]，它对客户机[0]的每个查询执行os.walk()[1]。在

我目前正在研究：

• 在内存中缓存这些数据
• 加快查询速度，以及
• 希望以后能够扩展到存储元数据和数据持久性。在

我找到了树结构的SQLcomplicated，所以我想在实际提交到SQLite之前我会得到一些建议

是否有任何跨平台、可嵌入或可捆绑的非SQL数据库能够处理此类数据？在

• 我有一个小的（10k-100k文件）列表。在
• 我有极少量的连接（可能10-20个）。在
• 我希望能够扩展到处理元数据。在

[0]服务器和客户端实际上是同一个软件，这是一个P2P应用程序，旨在通过本地可信网络与主服务器共享文件，使用zeroconf进行发现，并扭曲用于几乎所有其他操作

[1]查询时间目前为1.2秒，其中os.walk()在10000个文件上

下面是我的Python代码中执行遍历的相关函数：

def populate(self, string):
    for name, sharedir in self.sharedirs.items():
        for root, dirs, files, in os.walk(sharedir):
            for dir in dirs:
                if fnmatch.fnmatch(dir, string):
                    yield os.path.join(name, *os.path.join(root, dir)[len(sharedir):].split("/"))
            for file in files:
                if fnmatch.fnmatch(file, string): 
                    yield os.path.join(name, *os.path.join(root, ile)[len(sharedir):].split("/"))

Answer 1

你看过MongoDB了吗？那^{}呢？mod_python应该允许您执行os.walk()操作，并将数据存储在Python数据结构中，因为脚本在连接之间是持久的。在