分布式向量搜索微服务。
needlestack的Python项目详细描述
NeedStack是一种分布式向量搜索微服务。
- 自由软件:麻省理工学院许可证
- 文档:https://needlestack.readthedocs.io。
功能
- 用于KNN矢量搜索的GRPC服务器
- 多个节点上的碎片向量
- 在多个节点上复制碎片
- 按id检索向量
注意事项
这些是当前alpha构建的一些限制
- 在加载到needestack之前,必须对向量进行切分和索引
- 要重新加载更新的向量,必须重新启动所有MergerServicer和SearcherServicer节点
- 矢量必须本地保存到磁盘,以便NeedStack加载它们
- 当前只支持knn库Faiss
下一步
这些都是使NeedStack在生产中可用的宝贵功能
- 端点到索引向量的实时性
- 从预先构建的数据源更新矢量,而不重新启动群集
- 允许从数据源(如s3或gcs)加载向量
- 添加对其他knn库的支持