关于人工智能:Last-Week-in-Milvus

1次阅读

共计 1294 个字符,预计需要花费 4 分钟才能阅读完成。

What’s New

期待已久的 2.2.11 终于公布了,2.2.11 中修复了大量稳固的问题,同时对性能有肯定的优化。

Core Updates

#25092 对立了 KV interface,在 Milvus 的架构中 meta stroage 是以 KV 的模式保留的,目前仅反对 Etcd 作为 meta stroage,随着 meta 增大之后越来越多的用户需要容量更大的存储。所以 Milvus 会有一系列的 commit 对 KV 做一层形象,对下层代码屏蔽 storage 的具体实现。

#24929 通过继续运维 Milvus,偶然会发现一段时间 search 申请有毛刺,latency 显著高于其余时间段。通过排查发现是在 segment 产生替换时,search 申请有可能会读两份 segment,导致性能降落。在此 pr 中为 load segment 减少了版本信息,查问时同样带着版本信息,防止产生数据读两遍的问题。

#25147 对 C++ 中的 ColumnType 类型进行了重构。在 Milvus 的演进过程中一开始都是固定长度的类型例如 vector、int、float 等,起初退出了 varchar、JSON 等变长类型,在 2.3 中又退出了 mmap 反对,打算还会退出 batch 读写等办法,导致现有的 ColumnType 代码较为臃肿须要翻新,这次重构后代码逻辑更为清晰,日后的扩大也更容易。

#25159 将 go routine 池改成单例模式。在之前的版本中每创立一个 Collection 就会创立一个协程池,在零碎中有大量 Collection 的场景中,会造成重大的资源节约,包含内存、调度器都会有不少空转的状况,影响零碎的稳定性和性能。改成单例模式后,可能更正当的应用系统资源。

Knowhere

#966 对立了 DiskANN 和 HNSW 的参数
#978 反对 HNSW 索引中应用 binary 向量

Birwatcher

#159 Birdwatcher 在 show collection 命令中减少了显示 create time
#160 为 show collection 减少了 dbid 参数,在 Milvus 2.2.9 之后反对了 database。减少了 dbid 参数后,能够依照 dbid 进行过滤。

New contributor

Welcome Erzangel chinalu

What’s Up Next

预计 7 月上旬会公布 2.3.0 正式版。

Did you know

在创立 collection 时,能够指定 shard 数量,默认是 1 个 shard。shard 数量越多,写入的吞吐越大,相应的代价是查问 reduce 的步骤会越简单,性能也就越低。所以在写入不多时,不倡议批改此参数,相同如果数据量很大同时写入很频繁,倡议依据测试后果调整。

🌟全托管 Milvus SaaS/PaaS 行将上线,由 Zilliz 原厂打造!笼罩阿里云、百度智能云、腾讯云、金山云。目前已反对申请试用,企业用户 PoC 申请或其余商务单干请分割 business@zilliz.com。


  • 如果在应用 Milvus 或 Zilliz 产品有任何问题,可增加小助手微信“zilliz-tech”退出交换群。
  • 欢送关注微信公众号“Zilliz”,理解最新资讯。

本文由 mdnice 多平台公布

正文完
 0