关于lucene:活动预告‖基于Lucene实现万亿级多维检索与实时分析的实践之路

49次阅读

共计 687 个字符,预计需要花费 2 分钟才能阅读完成。

— QCon 寰球软件开发大会(北京)—

Lucene 是业界最罕用的搜素引擎,咱们所熟知的 solr 和 elasticsearch 都是基于 Lucene 所实现。然而随着数据体量的一直减少,当处于万亿数据的场景之下,所有的惯例操作都会面临海量数据带来的微小压力,如何在保留 Lucene 高效的全文检索能力的状况下应答万亿数据的挑战,同时突破大数据技术栈各组件性能繁多,适配简单的问题。针对于此,咱们将会在本次 QCon 寰球软件开发大会上分享咱们这些年在实现基于 Lucene 的万亿数据挑战中所遇到的问题和解决方案。

01 讲师介绍

郑其华 录信数软 技术总监

原 FNST(富士通南大)资深工程师,富士通零碎监督中间件产品项目经理,10 年以上软件开发与保护教训

富士通中间件 Lifecycle Management 和 Job Management 认证专家

曾负责华为 RTOS(实时嵌入式操作系统)的保护,对 Linux 内核、零碎监督等方面有丰盛教训

中汽研《2020 汽车企业数字化研讨会》受邀演讲嘉宾

02 内容预报

万亿数据的挑战与实现

万亿挑战之一:数据存储

如何解决读写不平衡问题,让磁盘盲目分工,实现主动平衡?

如何解决数据安全问题,防止磁盘损坏、误删失落对于生产的影响?

如何解决数据存储老本过高,适度依赖于 SSD 盘的硬件困局?

万亿挑战之二,检索性能

如何实现在万亿数据的全文检索中的秒级响应?

万亿挑战之三,多维统计

如何升高 IO 耗费,实现百万条数据霎时导出?

万亿挑战之四,区域检索

如何晋升地理位置检索能力,晋升地理位置检索的精确性?

万亿挑战之五,计算框架

如何晋升 Spark 性能从而大幅提高零碎的响应工夫?

5 月 29 日,咱们北京见!

正文完
 0