乐趣区

搜索引擎ElasticSearch入门

前言

最近项目上需要用到搜索引擎,由于之前自己没有了解过,所以整理了一下搜索引擎的相关概念知识。

正文

想查数据就免不了搜索,搜索就离不开搜索引擎,百度、谷歌都是一个非常庞大复杂的搜索引擎,他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说,肯定就没必要用这么复杂的技术了,如果我们想实现自己的搜索引擎,方便存储和检索,可以快速地储存、搜索和分析海量数据。搜索引擎有很多种,我这里主要讲两种比较流行的搜索引擎框架 Elasticsearch 和 Lucene 搜索引擎。

一、搜索引擎实现核心

Lucene/Elasticsearch 实现快速搜索的核心就是倒排索引,Lucene/Elasticsearch 就是尽量将磁盘里的东西搬进内存,减少磁盘随机读取次数 (同时也利用磁盘顺序读特性),结合各种压缩算法,高效使用内存,从而达到快速搜索的特性。

核心概念 :https://www.cnblogs.com/valor…

​ https://blog.csdn.net/sinat_4…

二、Lucene 搜索引擎

百度百科: 是 Apache 软件基金会 4 Jakarta 项目组的一个子项目,是一个开放源代码的全文检索引擎工具包(实际就是一个 Jar 包),但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎。Lucene 是一套信息检索工具包,并不包含搜索引擎系统,它包含了索引结构、读写索引工具、相关性工具、排序等功能,因此在使用 Lucene 时仍需要关注搜索引擎系统,例如数据获取、解析、分词等方面的东西。Lucene 提供了一个简单却强大的应用程式接口,能够做全文索引和搜寻。

Lucene,最先进、功能最强大的搜索库,直接基于 Lucene 开发,非常复杂,Api 复杂(实现一些简单的功能,写大量的 java 代码),需要深入理解原理(各种索引结构)。Lucene 只是一个库。想要使用它,你必须使用 Java 来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene 的配置及使用非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。

三、ElasticSearch 搜索引擎

百度百科:ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用 Java 语言开发的,并作为 Apache 许可条款下的开放源码发布,是一种流行的企业级搜索引擎。ElasticSearch 用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

ElasticSearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到 Elastic Search 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。

Elasticsearch,基于 Lucene,隐藏复杂性,提供简单易用的 R estful Api 接口、Java Api 接口(还有其他语言的 Api 接口)

  • 分布式的文档存储引擎
  • 分布式的搜索引擎和分析引擎
  • 分布式,支持 PB 级数据

四、Lucene 和 ElasticSearch 优缺点对比

这两种搜索引擎各自都有自己的特点,现在我来总结一下:

联系 :ElasticSearch 封装了 Lucene,让使用变得更简单,ElasticSearch 除了拥有 Lucene 所有优点以外,还有自己的优点:

可用性:支持集群没有单点障碍,

扩展性:支持集群扩展 - 高并发

在集群环境中使用:大项目使用

  • ElasticSearch 全文检索服务器,所有项目都统一访问索引服务器,支持在集群环境中使用,Lucene 全文检索引擎工具包,必须集成到项目中使用,不支持在集群环境下使用。
  • ElasticSearch 支持多种语言,Lucene 只支持 java
  • ElasticSearch 简单,都是 http 请求,而 Lucene 复杂,都需要调用 API 执行一大推操作。
  • 一般 Lucene 在中小型项目中使用,ElasticSearch 都适用(大中小),因为 ES 支持在集群环 境中使用,并且自身也支持集群。
  • Luncene 需要二次开发,才能使用。不能像百度或谷歌一样,它只是提供一个接口需要被实现才能使用。ElasticSearch 直接拿来用。
  • 封装了更多高级的功能,例如聚合分析的功能,基于地理位置的搜索
  • ES 自动可以将海量数据分散到多台服务器上去存储和检索

综上所述:搜索引擎选择用 ElasticSearch

五、SpringBoot 整合 ElasticSearch

SpringBoot 整合 Elasticsearch 常用的方式有以下三种:

  • Java API

这种方式基于 TCP 和 ES 通信,官方已经明确表示在 ES 7.0 版本中将弃用 TransportClient 客户端,且在 8.0 版本中完全移除它, 所以不提倡。

  • REST Client

上面的方式 1 是基于 TCP 和 ES 通信的 (而且 TransPort 将来会被抛弃……),官方也给出了基于 HTTP 的客户端 REST Client(推荐使用),官方给出来的 REST Client 有 Java Low Level REST Client 和 Java Hight Level REST Client 两个,前者兼容所有版本的 ES,后者是基于前者开发出来的,只暴露了部分 API,待完善

  • Spring-Data-Elasticsearch(推荐)

除了上述方式,Spring 也提供了本身基于 SpringData 实现的一套方案 Spring-Data-Elasticsearch。为什们推荐这种呢,因为这种方式 Spring 为我们封装了常见的 es 操作。和使用 Jpa 操作数据库一样方便。

在 ES 中一个 Index 可以理解为一个库,Type 就是一张表,一个 Index 可以对应多个 Type,或者一个 Index 只能对应一个 Type(从 6.0.0 起就是一对一)。

六、Elasticsearch 的安装

从网上把 Elasticsearch 的安装包下载下来之后,直接解压,进入 bin 目录下, 双击执行 Elasticsearch.bat,看到 Started 说明启动成功, 打开浏览器测试一下,输入 http://localhost:9200/,则成功。

Elasticsearch-Head 插件

Elasticsearch-Head 将是一款专门针对于 Elasticsearch 的客户端工具,类似 Mysql 的 Sqlyog 或者 Navicat 数据库软件可视化界面。

运行 head 插件:grunt server

访问:localhost:9100

七、ElasticSearch 实现联表查询

SpringBoot 整合 ElasticSearch+ 父子查询

相关链接:https://blog.csdn.net/a_lllk/…

父子关系的 type 和映射关系要提前建立好。

这里讲一下三种实现方式:

  • 嵌套查询 Nested Query:文档包含 nested 类型的字段。这些字段用来索引数组对象,其中每个对象作为独立的文档可以被检索(使用 nested 查询)。
  • 父子查询 Has_Child 和 Has_Parent:父子关系可以在一个单独的索引中的两个文档类型间存在。has_child 查询返回了父文档,其子文档匹配了特定的查询。而 has_parent 查询返回子文档,其父文档匹配了特定的查询。(类似于主外键) 要点: 父子关系元数据映射,用于确保查询时候的高性能,但是有一个限制,就是父子数据必须存在于一个 shard 中
  • 应用层联接

八、Nested 和 Parent-Child 的区别以及使用场景

嵌套查询和父子查询的主要区别

由于存储结构的不同,Nested 和 Parent-Child 的方式有不同的应用场景,Nested 所有实体存储在同一个文档,而 Parent-Child 模式得子 Type 和 父 Type 存储在不同的文档里。所以查询效率上 Nested 要高于 Parent-Child,但是更新的时候 Nested 模式下,ElasticSearch 会删除整个文档再创建,而 Parent-Child 只会删除你更新的文档在重新创建,不影响其他文档。所以更新效率上 Parent-Child 要高于 Nested。

嵌套查询和父子查询的具体的使用场景

Nested:在少量子文档,并且不会经常改变的情况下使用。比如:订单里面的产品,一个订单不可能会有成千上万个不同的产品,一般不会很多,并且一旦下单后,下单的产品是不可更新的。

Parent-Child:在大量文档,并且会经常发生改变的情况下使用。比如:用户的浏览记录,浏览记录会很大,并且会频繁更新

总结

以上就是我关于搜索引擎的相关总结,当然这篇文章只能算是对搜索引擎的一个入门,后面我还会出相关的文章的哦。


最后,最近很多小伙伴找我要 Linux 学习路线图 ,于是我根据自己的经验,利用业余时间熬夜肝了一个月,整理了一份电子书。无论你是面试还是自我提升,相信都会对你有帮助!

免费送给大家,只求大家金指给我点个赞!

电子书 | Linux 开发学习路线图

也希望有小伙伴能加入我,把这份电子书做得更完美!

有收获?希望老铁们来个三连击,给更多的人看到这篇文章

推荐阅读:

  • 干货 | 程序员进阶架构师必备资源免费送
  • 神器 | 支持搜索的资源网站
退出移动版