如何在scrapy中为leveldb缓存启用snappy?

2024-06-13 16:26:03 发布

您现在位置:Python中文网/ 问答频道 /正文

如何启用它或检查Snappy是否已为Scrapy中的LevelDb缓存启用?我已经安装了

conda install -c conda-forge snappy

conda install -c conda-forge python-snappy

conda install -c anaconda leveldb

conda install -c anaconda python-leveldb

然后把它放进泥里设置.py你知道吗

HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.LeveldbCacheStorage'

leveldb工作正常,但如何启用snappy或检查snappy是否已启用?问题是,当我用7z压缩缓存时,得到的空间大约是原来的30倍。我明白,snappy压缩是关于速度的,但是有了这样的数字,它看起来根本没有启用。 另外,我在用Windows10和Anaconda。你知道吗


Tags: installpyextensionsstorageanacondacondascrapyforge