乐趣区

搜索引擎ElasticSearch入门

jiezi

前言

最近项目上需要用到搜索引擎，由于之前自己没有了解过，所以整理了一下搜索引擎的相关概念知识。

正文

想查数据就免不了搜索，搜索就离不开搜索引擎，百度、谷歌都是一个非常庞大复杂的搜索引擎，他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，肯定就没必要用这么复杂的技术了，如果我们想实现自己的搜索引擎，方便存储和检索，可以快速地储存、搜索和分析海量数据。搜索引擎有很多种，我这里主要讲两种比较流行的搜索引擎框架 Elasticsearch 和 Lucene 搜索引擎。

一、搜索引擎实现核心

Lucene/Elasticsearch 实现快速搜索的核心就是倒排索引，Lucene/Elasticsearch 就是尽量将磁盘里的东西搬进内存，减少磁盘随机读取次数 (同时也利用磁盘顺序读特性)，结合各种压缩算法，高效使用内存，从而达到快速搜索的特性。

核心概念 ：https://www.cnblogs.com/valor…

​ https://blog.csdn.net/sinat_4…

二、Lucene 搜索引擎

百度百科： 是 Apache 软件基金会 4 Jakarta 项目组的一个子项目，是一个开放源代码的全文检索引擎工具包（实际就是一个 Jar 包），但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。Lucene 是一套信息检索工具包，并不包含搜索引擎系统，它包含了索引结构、读写索引工具、相关性工具、排序等功能，因此在使用 Lucene 时仍需要关注搜索引擎系统，例如数据获取、解析、分词等方面的东西。Lucene 提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。

Lucene，最先进、功能最强大的搜索库，直接基于 Lucene 开发，非常复杂，Api 复杂（实现一些简单的功能，写大量的 java 代码），需要深入理解原理（各种索引结构）。Lucene 只是一个库。想要使用它，你必须使用 Java 来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene 的配置及使用非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。

三、ElasticSearch 搜索引擎

百度百科：ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 语言开发的，并作为 Apache 许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch 用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

ElasticSearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到 Elastic Search 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。

Elasticsearch，基于 Lucene，隐藏复杂性，提供简单易用的 R estful Api 接口、Java Api 接口（还有其他语言的 Api 接口）

  • 分布式的文档存储引擎
  • 分布式的搜索引擎和分析引擎
  • 分布式，支持 PB 级数据

四、Lucene 和 ElasticSearch 优缺点对比

这两种搜索引擎各自都有自己的特点，现在我来总结一下：

联系 ：ElasticSearch 封装了 Lucene，让使用变得更简单，ElasticSearch 除了拥有 Lucene 所有优点以外，还有自己的优点：

可用性：支持集群没有单点障碍，

扩展性：支持集群扩展 - 高并发

在集群环境中使用：大项目使用

  • ElasticSearch 全文检索服务器，所有项目都统一访问索引服务器，支持在集群环境中使用，Lucene 全文检索引擎工具包，必须集成到项目中使用，不支持在集群环境下使用。
  • ElasticSearch 支持多种语言，Lucene 只支持 java
  • ElasticSearch 简单，都是 http 请求，而 Lucene 复杂，都需要调用 API 执行一大推操作。
  • 一般 Lucene 在中小型项目中使用，ElasticSearch 都适用（大中小），因为 ES 支持在集群环 境中使用，并且自身也支持集群。
  • Luncene 需要二次开发，才能使用。不能像百度或谷歌一样，它只是提供一个接口需要被实现才能使用。ElasticSearch 直接拿来用。
  • 封装了更多高级的功能，例如聚合分析的功能，基于地理位置的搜索
  • ES 自动可以将海量数据分散到多台服务器上去存储和检索

综上所述：搜索引擎选择用 ElasticSearch

五、SpringBoot 整合 ElasticSearch

SpringBoot 整合 Elasticsearch 常用的方式有以下三种：

  • Java API

这种方式基于 TCP 和 ES 通信，官方已经明确表示在 ES 7.0 版本中将弃用 TransportClient 客户端，且在 8.0 版本中完全移除它, 所以不提倡。

  • REST Client

上面的方式 1 是基于 TCP 和 ES 通信的 (而且 TransPort 将来会被抛弃……)，官方也给出了基于 HTTP 的客户端 REST Client(推荐使用)，官方给出来的 REST Client 有 Java Low Level REST Client 和 Java Hight Level REST Client 两个，前者兼容所有版本的 ES，后者是基于前者开发出来的，只暴露了部分 API，待完善

  • Spring-Data-Elasticsearch（推荐）

除了上述方式，Spring 也提供了本身基于 SpringData 实现的一套方案 Spring-Data-Elasticsearch。为什们推荐这种呢，因为这种方式 Spring 为我们封装了常见的 es 操作。和使用 Jpa 操作数据库一样方便。

在 ES 中一个 Index 可以理解为一个库，Type 就是一张表，一个 Index 可以对应多个 Type，或者一个 Index 只能对应一个 Type（从 6.0.0 起就是一对一）。

六、Elasticsearch 的安装

从网上把 Elasticsearch 的安装包下载下来之后，直接解压，进入 bin 目录下, 双击执行 Elasticsearch.bat，看到 Started 说明启动成功, 打开浏览器测试一下，输入 http://localhost:9200/，则成功。

Elasticsearch-Head 插件

Elasticsearch-Head 将是一款专门针对于 Elasticsearch 的客户端工具，类似 Mysql 的 Sqlyog 或者 Navicat 数据库软件可视化界面。

运行 head 插件：grunt server

访问：localhost:9100

七、ElasticSearch 实现联表查询

SpringBoot 整合 ElasticSearch+ 父子查询

相关链接：https://blog.csdn.net/a_lllk/…

父子关系的 type 和映射关系要提前建立好。

这里讲一下三种实现方式：

  • 嵌套查询 Nested Query：文档包含 nested 类型的字段。这些字段用来索引数组对象，其中每个对象作为独立的文档可以被检索（使用 nested 查询）。
  • 父子查询 Has_Child 和 Has_Parent：父子关系可以在一个单独的索引中的两个文档类型间存在。has_child 查询返回了父文档，其子文档匹配了特定的查询。而 has_parent 查询返回子文档，其父文档匹配了特定的查询。（类似于主外键） 要点： 父子关系元数据映射，用于确保查询时候的高性能，但是有一个限制，就是父子数据必须存在于一个 shard 中
  • 应用层联接 。

八、Nested 和 Parent-Child 的区别以及使用场景

嵌套查询和父子查询的主要区别 ：

由于存储结构的不同，Nested 和 Parent-Child 的方式有不同的应用场景，Nested 所有实体存储在同一个文档，而 Parent-Child 模式得子 Type 和 父 Type 存储在不同的文档里。所以查询效率上 Nested 要高于 Parent-Child，但是更新的时候 Nested 模式下，ElasticSearch 会删除整个文档再创建，而 Parent-Child 只会删除你更新的文档在重新创建，不影响其他文档。所以更新效率上 Parent-Child 要高于 Nested。

嵌套查询和父子查询的具体的使用场景 ：

Nested：在少量子文档，并且不会经常改变的情况下使用。比如：订单里面的产品，一个订单不可能会有成千上万个不同的产品，一般不会很多，并且一旦下单后，下单的产品是不可更新的。

Parent-Child：在大量文档，并且会经常发生改变的情况下使用。比如：用户的浏览记录，浏览记录会很大，并且会频繁更新

总结

以上就是我关于搜索引擎的相关总结，当然这篇文章只能算是对搜索引擎的一个入门，后面我还会出相关的文章的哦。

最后，最近很多小伙伴找我要 Linux 学习路线图 ，于是我根据自己的经验，利用业余时间熬夜肝了一个月，整理了一份电子书。无论你是面试还是自我提升，相信都会对你有帮助！

免费送给大家，只求大家金指给我点个赞！

电子书 | Linux 开发学习路线图

也希望有小伙伴能加入我，把这份电子书做得更完美！

有收获？希望老铁们来个三连击，给更多的人看到这篇文章

推荐阅读：

  • 干货 | 程序员进阶架构师必备资源免费送
  • 神器 | 支持搜索的资源网站
退出移动版