从重新搜索索引中获取单词列表，按最常出现的单词排序

Question

我在Python中创建了一个简单的重新搜索索引：

>>> from redisearch import Client, TextField
>>> c = Client('common_words')
>>> c.create_index((TextField('body'),))
b'OK'
>>> c.add_document('ibiza', body='kevin paul dad')
b'OK'
>>> c.add_document('england', body='kevin dad')
b'OK'
>>> c.add_document('bank', body='kevin robber')
b'OK'

然后我可以搜索一个特别的词，效果很好：

>>> c.search('kevin')
Result{3 total, docs:
   [Document {'id': 'bank', 'payload': None, 'body': 'kevin robber'},
    Document {'id': 'england', 'payload': None, 'body': 'kevin dad'},
    Document {'id': 'ibiza', 'payload': None, 'body': 'kevin paul dad'}
   ]}

有没有一种快速的方法可以把单词列表和事件一起拉出来？我的目标是这样的结果：

{ Result{4 total, counts:
   [ Word { 'word': 'kevin', 'count': 3},
     Word { 'word': 'dad', 'count': 2 },
     Word { 'word': 'paul', 'count': 1 },
     Word { 'word': 'robber', 'count': 1 } ] }

我已经研究了this example如何使用nltk和zincrby计算单词数，但是想知道是否已经有一种方法可以从redisearch本机获得这个结果。你知道吗

Answer 1

当前唯一的方法是使用聚合（https://oss.redislabs.com/redisearch/Aggregations.html）。你可以要求所有的结果，然后加载你感兴趣的字段，将句子除以'，'并计算每个短语出现的次数。查询将如下所示：

127.0.0.1:6379> FT.AGGREGATE idx * LOAD 1 @test APPLY "split(@test, ' ')" as s 
GROUPBY 1 @s REDUCE count 0 as count
1) (integer) 4
2) 1) s
   2) "paul"
   3) count
   4) "1"
3) 1) s
   2) "kevin"
   3) count
   4) "3"
4) 1) s
   2) "dad"
   3) count
   4) "2"
5) 1) s
   2) "robber"
   3) count
   4) "1"

注意：聚合的目的是聚合结果集。存在限制结果集大小的配置变量。一旦达到此限制，搜索查询将不会返回所有结果，聚合阶段也不会处理所有结果。可以配置其中一些变量来增加这些限制（例如MAXEXPANSIONS），但是如果您打算处理数百万个结果，您最终将达到这些限制（而且您的查询将需要很长时间才能完成）。 正确的方法是使用比“*”更具体的查询来减少结果集，然后使用聚合在较小的结果集上执行额外的计算。你知道吗