快速文本量化无监督模型

Question

我正在尝试使用此命令量化fasttext中的无监督模型

model.quantize(input=train_data, qnorm=True, retrain=True, cutoff=200000)

它抛出了一个错误，即它只支持监督模型

是否有其他方法量化无监督模型

Answer 1

{a1}只评估分类模型，并使用了一些可能仅对标记的培训文档有意义的修剪步骤。（尽管如此，我不认为-quantize的参数包括原始的培训文档，因此不确定本文中描述的修剪技术是否完全实现。）

虽然一些压缩步骤可以应用于无监督的稠密向量，但我还没有看到提供该功能的库，但是实现/添加它可能是一件很好的事情

然而，FastText工作完成的分类可能是这些技术的“最佳点”，并且应用于其他词向量，它们会对下游使用产生更大的负面影响。因此，该技术的推广应该伴随着一些实验来确认其价值