小红书，美团，微博，今日头条……内容如海。作为互联网时代的生存基础设施，信息流产品是少数应用软件的一项必备属性。
然而，你是否曾为反复的微博段子、相似的热点文章、雷同的商品举荐而心烦？若某一款内容资讯产品继续一天举荐反复内容，既会影响用户的信息获取，又无形中节约了很多举荐位（如果这些地位放的是广告，那就是赤裸裸的支出损失啊！）
对于一款信息流产品，如何找到一款数据处理利器嵌入产品开发之中，实现无效的新闻去重、新闻/广告召回，是打造多元富饶的信息体验的重中之重。
SmartNews，这家估值 20 亿美元、目前美国新闻类应用程序中估值最高的公司，曾是 Milvus 向量数据库的使用者，后成为 Milvus 数据库的独特开发者。从单向调用到共同开发，让咱们一起凝听他们的经验之谈吧！
SmartNews 总部位于日本东京，成立于 2012 年，在日本市场始终高居新闻类 App 的榜首，在美国市场则是粘性最强的新闻类 App。依据 App Annie 的统计，截止于 2021 年 7 月，SmartNews 用户月均浏览工夫在所有新闻类应用程序中位列第一，超过 AppleNews 和 Google News 的总和。
随同着用户量和用户粘性的疾速晋升，SmartNews 在广告举荐的工程和算法畛域面临更多的挑战。例如：海量离散特色在大规模机器学习零碎中的应用、通过向量类似度搜寻来减速非结构化数据检索等。
2021 年初，SmartNews 动静广告算法团队向 AI 基础设施团队提出了广告优化搜寻召回性能的需要。彼时，工程团队都是自行封装 Faiss，开发保护挑战较大，加上整个 SmartNews 正在扩充和深入机器学习的利用，于是 AI 基础架构团队决定提供通用的向量治理和近邻搜寻服务。
通过近两个月的调研选型，有多种语言 SDK、反对在线继续更新、曾经领有上千家企业用户的开源向量数据库 Milvus 进入了 AI 基础设施工程师 Shu 的视线。
以向量计算实现广告举荐
在 SmartNew 的广告业务中，为了解决海量的用户和千万级的动静广告（Dynamic Ads）的匹配和举荐，向量数据库 Milvus 成了 SmartNews 的非结构化数据处理神剑——通过将两种无奈比拟的数据映射成计算机能辨认的向量、实现对他们的计算，连贯用户与商品。往年第二季度，Shu 在 SmartNews 公司内 Kubernetes 集群上实现 Milvus 1.0（单机/集群、CPU/GPU）的部署。
Milvus 部署教程（文档地址：https://milvus.io/docs）
Milvus 1.0 上线后的第一个应用案例是由广告团队提出的广告向量召回我的项目，初期约百万级的向量数据，严格要求 P99 latency < 10ms。通过重复的试验和基准测试（benchmark），Shu 和业务团队一起选定了速度更快的 Milvus 1.0 单机模式。
6 月上旬，Shu 和算法团队同学将 Milvus 数据库利用于更多的相干业务场景，在 SmartNews 尝试了线上实时更新数据/索引并进行聚合。
截止目前，Milvus 数据库在 SmartNews 的数个案例场景中被应用，包含广告举荐等。
从单向调用到共同开发「表重命名」
技术的跃迁要求每一个开发者必须充分利用别人的常识、教训和额定的智力来解决一直呈现的新问题。
对 Milvus 数据库逐步上手之后，Shu 等 SmartNews 开发人员又发现了动静重加载（hot reload）、向量主动过期（item TTL）、同 ID 笼罩向量（item update/replace）等新的向量数据库相干性能需要。与此同时，Milvus 社区中有不少用户存在相似需要，SmartNews AI 基础设施负责人 Dennis Zhao 就决定向社区奉献动静重加载相干性能，由 SmartNews 的工程团队次要负责设计开发参加设计。Dennis Zhao 示意：“SmartNews 团队始终受害于 Milvus 社区，如果一个性能既是咱们产品亟需的又是对社区搭档们有用的，咱们很乐意去实现和分享。”
动静重加载是一种在调试过程中进行代码编辑的性能。有了这一性能，开发者们不须要在代码断点进行或者重启应用程序，就能够对代码进行批改，并立刻看到代码批改的成果。
7月下旬，SmartNews 工程师 Yusup 向 Milvus 社区提出用表重命名（collection alias）形式实现动静重加载性能的设计方案。所谓表重命名，即开发者对特定数据仓库的诉求是内容可变的状况下名字不变，就如同一个柜子的编号和地位长期不变、柜子中拿进拿出的货色总是在随工夫而变动。
因为模型的一直迭代以及动静广告的不断更新，SmartNews 须要每天更新近一亿向量，而过后 Milvus 数据库的更新机制是先删除再插入，以这种机制更新上亿向量，往往须要消耗数小时。从新创立新的汇合寄存更新的向量，就会波及到新旧汇合的切换，不停为新的内容打造新的「柜子」。如何让切换更加平滑， 对下层业务没有感知，表重命名就显得很必要了。
从这一需要登程， Milvus 社区的工程师着手帮忙 SmartNews 团队了解 Milvus 的架构，一个半月后，Milvus 社区收到并承受了由 Yusup 提交的动静重加载残缺实现代码，并公布在了不久后上线的 Milvus 2.0 rc7 中。目前，由 AI 基础设施团队牵头，SmartNews 正进行着Milvus 2.0的部署，并开始迁徙现有的 Milvus 1.0 我的项目。
Milvus CLI 文档：create alias
Milvus 数据库反对表重命名之后，企业进行线上业务切换时更加平滑，尤其对于一些用户申请量比拟大的互联网企业，极大地晋升了用户体验。负责沟通 SmartNews 的 Milvus 社区数据工程师小龙说：“表重命名来源于 SmartNews 的理论业务需要，也由 SmartNews 开发实现，让 Milvus 真正做到了从用户中来，到用户中去，期待将来 Milvus 能有更多这样的贡献者，独特建设更凋敝的社区。”
“目前 SmartNews 曾经在一些广告业务中采纳 Milvus 数据库作为离线计算的向量数据库。随同着 Milvus 2.0 正式版的邻近，特地是动静重加载性能的实现，SmartNews 的工程团队期待将来更多的业务场景中，借助 Milvus 数据库构建更加实时、牢靠的零碎和服务。” Dennis Zhao 说道。
彩蛋
作为开源社区的一员，SmartNews 对于技术人才的开源我的项目也颇为关注哦
在交换过程中，SmartNews AI 基础设施负责人 Dennis Zhao 示意，如果候选人的 GitHub 中的我的项目代码优雅、正文清晰且保持保护，这对候选人是大大的加分项。目前 SmartNews 北京和上海办公室的算法/后端/ 前端等热招岗位继续招聘中，对打造信息流产品感兴趣的开发小伙伴，欢送关注公众号「SmartNews CN」或点击下方链接理解更多详情！
热招职位｜SmartNews中国区研发核心继续招聘中
Zilliz 以从新定义数据迷信为愿景，致力于打造一家寰球当先的开源技术创新公司，并通过开源和云原生解决方案为企业解锁非结构化数据的暗藏价值。
Zilliz 构建了 Milvus 向量数据库，以放慢下一代数据平台的倒退。Milvus 数据库是 LF AI & Data 基金会的毕业我的项目，可能治理大量非结构化数据集，在新药发现、举荐零碎、聊天机器人等方面具备宽泛的利用。