回答此问题可获得 20 贡献值,回答如果被采纳可获得 50 分。
<p>我正在致力于一个持续学习的网络爬虫,以寻找与世界各地发生的特定危机和悲剧事件相关的新闻文章。我目前正在努力使数据模型尽可能的精简和高效,考虑到它在爬行过程中的不断增长。在</p>
<p><strong>我将数据模型存储在一个列表中</strong>(对正在爬网的页面进行TFIDF比较)<strong>,我希望减小列表的大小,但不丢失列表中每个项目的相对计数</strong>。在</p>
<p>这是来自2个爬网网页的示例模型:</p>
<pre><code>[[u'remark', u'special', u'agent', u'richard', u'deslauri', u'press', u'investig', u'crime', u'terror', u'crime', u'inform', u'servic', u'inform', u'laboratori', u'servic', u'want', u'want', u'want', u'terror', u'crime', u'want', u'news', u'news', u'press', u'news', u'servic', u'crime', u'inform', u'servic', u'laboratori', u'servic', u'servic', u'crime', u'crime', u'crime', u'terror', u'boston', u'press', u'remark', u'special', u'agent', u'richard', u'deslauri', u'press', u'investig', u'remark', u'special', u'agent', u'richard', u'deslauri', u'press', u'investig', u'boston', u'special', u'agent', u'remark', u'richard', u'deslauri', u'boston', u'investig', u'time', u'time', u'investig', u'boston', u'terror', u'law', u'enforc', u'boston', u'polic', u'polic', u'alreadi', u'alreadi', u'law', u'enforc', u'around', u'evid', u'boston', u'polic', u'evid', u'laboratori', u'evid', u'laboratori', u'may', u'alreadi', u'laboratori', u'investig', u'boston', u'polic', u'law', u'enforc', u'investig', u'around', u'alreadi', u'around', u'investig', u'law', u'enforc', u'evid', u'may', u'time', u'may', u'may', u'investig', u'may', u'around', u'time', u'investig', u'investig', u'boston', u'boston', u'news', u'press', u'boston', u'want', u'boston', u'want', u'news', u'servic', u'inform'], [u'2011', u'request', u'inform', u'tamerlan', u'tsarnaev', u'foreign', u'govern', u'crime', u'crime', u'inform', u'servic', u'inform', u'servic', u'nation', u'want', u'ten', u'want', u'want', u'crime', u'want', u'news', u'news', u'press', u'releas', u'news', u'stori', u'servic', u'crime', u'inform', u'servic', u'servic', u'servic', u'crime', u'crime', u'crime', u'news', u'press', u'press', u'releas', u'2011', u'request', u'inform', u'tamerlan', u'tsarnaev', u'foreign', u'govern', u'2011', u'request', u'inform', u'tamerlan', u'tsarnaev', u'foreign', u'govern', u'2013', u'nation', u'press', u'tamerlan', u'tsarnaev', u'dzhokhar', u'tsarnaev', u'tamerlan', u'tsarnaev', u'dzhokhar', u'tsarnaev', u'dzhokhar', u'tsarnaev', u'tamerlan', u'tsarnaev', u'dzhokhar', u'tsarnaev', u'2011', u'foreign', u'govern', u'inform', u'tamerlan', u'tsarnaev', u'inform', u'2011', u'govern', u'inform', u'tamerlan', u'tsarnaev', u'foreign', u'foreign', u'govern', u'2011', u'inform', u'foreign', u'govern', u'nation', u'press', u'releas', u'crime', u'releas', u'ten', u'news', u'stori', u'2013', u'ten', u'news', u'stori', u'2013', u'ten', u'news', u'stori', u'2013', u'2011', u'request', u'inform', u'tamerlan', u'tsarnaev', u'foreign', u'govern', u'nation', u'press', u'releas', u'want', u'news', u'servic', u'inform', u'govern']]
</code></pre>
<p>我希望维护单词列表,而不是将计数嵌入列表本身。我希望列表来自:</p>
<p>[波士顿,波士顿,爆炸案,爆炸案,察尔纳耶夫,察尔纳耶夫,时间]到[波士顿,波士顿,爆炸案,察尔纳耶夫]</p>
<p>基本上,</em>如果我有一个列表[a,a,a,b,b,c],我想把它减少到[a,a,b]</p>
<p><strong>编辑:</strong>很抱歉不清楚,但我会再试一次。
我不想要一套。出现的次数非常重要,因为它是一个加权列表,所以“波士顿”应该比“时间”或其他类似术语出现更多次。我要做的是最小化数据模型,同时从模型中删除不重要的项。所以在上面的例子中,我故意省略了C,因为它给模型增加了很多“脂肪”。我想保持相对性,因为A比B多出现1次,比C多出现2次,但由于C在原始模型中只出现过一次,所以它被从<em>精益</em>模型中删除。在</p>