Python Scrapy:如何关闭集群的日志记录

2024-06-26 14:23:28 发布

您现在位置:Python中文网/ 问答频道 /正文

我在Scrapy中使用cluster.HierarchicalClustering,但是控制台中有太多日志记录。如何关闭集群的日志,但我不想使用“-nolog”关闭所有日志

我试图在我的Scrapy settings.py中设置LOG\u LEVEL='INFO',结果显示是其他日志记录

这是我关于集群的代码,如果你有什么办法,请帮助我

from difflib import SequenceMatcher
from cluster import HierarchicalClustering


def distance(url1, url2):
    ratio = SequenceMatcher(None, url1, url2).ratio()
    return 1.0 - ratio

def urls_clustering(urls):
    hc = HierarchicalClustering(urls, distance)
    clusters = hc.getlevel(0.2)
    # pprint.pprint(clusters)

    return clusters

还有日志记录:

2017-06-29 13:48:29 [cluster.matrix] DEBUG: Generating row 159/203 (78.33%)
2017-06-29 13:48:29 [cluster.matrix] DEBUG: Generating row 160/203 (78.82%)
2017-06-29 13:48:29 [cluster.matrix] DEBUG: Generating row 161/203 (79.31%)
2017-06-29 13:48:29 [cluster.matrix] DEBUG: Generating row 162/203 (79.80%)

提前谢谢


Tags: fromdebugimport记录集群urlsmatrixrow