使用Python实时访问简单但庞大的数据集

Question

我目前面临的问题是必须经常在一个小型（700兆赫）设备上实时访问一个大而简单的数据集。数据集包含大约400000个从缩写到缩写词的映射，例如从“frgm”到“fragm”。在使用设备时，会频繁地进行读取，且不应超过15-20ms

我的第一次尝试是利用SQLite创建一个简单的数据库，它只包含一个表，其中两个字符串构成一个数据集：

CREATE TABLE WordMappings (key text, word text)

此表只创建一次，尽管可以进行更改，但只有读访问是时间关键的。在

在this guide之后，我的SELECT语句如下所示：

^{pr2}$

然而，在一个包含20000个缩写的测试数据库上使用这段代码，我无法以大约60ms的速度获取数据，这太慢了。在

关于如何使用SQLite提高性能有什么建议吗？或者其他方法会产生更有希望的结果吗？在

Answer 1

通过为key列创建索引，可以加快对该列的查找：

CREATE INDEX kex_index ON WordMappings(key);

要检查查询是使用索引还是扫描整个表，请使用EXPLAIN QUERY PLAN。在