Python中文
首页
教程
问答
标签
搜索
登录
注册
使用Python实时访问简单但庞大的数据集
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我目前面临的问题是必须经常在一个小型(700兆赫)设备上实时访问一个大而简单的数据集。数据集包含大约400000个从缩写到缩写词的映射,例如从“frgm”到“fragm”。在使用设备时,会频繁地进行读取,且不应超过15-20ms</p> <p>我的第一次尝试是利用SQLite创建一个简单的数据库,它只包含一个表,其中两个字符串构成一个数据集:</p> <pre><code>CREATE TABLE WordMappings (key text, word text) </code></pre> <p>此表只创建一次,尽管可以进行更改,但只有读访问是时间关键的。在</p> <p>在<a href="http://www.sqlite.org/cvstrac/wiki?p=PerformanceTuning" rel="nofollow">this guide</a>之后,我的SELECT语句如下所示:</p> ^{pr2}$ <p>然而,在一个包含20000个缩写的测试数据库上使用这段代码,我无法以大约60ms的速度获取数据,这太慢了。在</p> <p>关于如何使用SQLite提高性能有什么建议吗?或者其他方法会产生更有希望的结果吗?在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>很久以前,我尝试使用SQLite来处理顺序数据,但它不够快,不能满足我的需要。当时,我正在将它与一个现有的内部二进制格式进行比较,最后我使用了这种格式。在</p> <p>我没有亲自使用过,但是一个朋友使用<a href="http://www.pytables.org/" rel="nofollow">PyTables</a>来处理大量的时间序列数据;也许值得研究一下。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
文本导入时标题行中的特殊字符
10 回答
文本小部件:在没有输入时更新并在循环后保持空闲
6 回答
文本小部件tkin
3 回答
文本小部件tkinter中的标签更改或文本外观更改是否有撤消功能?
9 回答
文本小部件tkinter复制图像选项
3 回答
文本小部件上的Python Tkinter ttk滚动条未缩放
4 回答
文本小部件上的滚动条可能需要根据制表符ord显示前进行滚动
3 回答
文本小部件不显示lis中的内容
9 回答
文本小部件不显示Unicode字符
9 回答
文本小部件中写入的行间距
3 回答
文本小部件中的文本作为变量
1 回答
文本小部件中的滚动条仅显示在底部
10 回答
文本小部件中的选项卡键空间计数
3 回答
文本小部件作为Lis
8 回答
文本小部件在主框架中扩展列宽
9 回答
文本小部件未使用删除功能清除
5 回答
文本小部件滚动动画(Tkinter、Python)
1 回答
文本居中。格式正确吗?
6 回答
文本差分算法
5 回答
文本已知时音频文件中的单词索引
3 回答