Java全文搜索引擎Solr

33次阅读

共计 5166 个字符,预计需要花费 13 分钟才能阅读完成。

全文检索

倒排索引

根据文档创建索引,再对索引进行查询获取文档。

相比与顺序查询:不需要那么多的查询(一个文档一个文档找索引,找到就匹配,需要全部查询,效率很低),而且可以在索引上定位,出现在哪个文档哪个地方,支持高亮

Lucene

Lucene 是一个基于 Java 的全文检索库,可以看成一个持久层框架,与 Lucene 索引交互

倒排索引存储信息

左边保存的是一系列字符串,称为 词典

每个字符串都指向包含此字符串的文档 (Document) 链表 (每个节点还包含文档中出现该索引的频率),此文档链表称为 倒排表(Posting List)。

如果我们需要查询包含两个索引的文档,只需要将两个文档共有的文档标号连接成链表

索引创建

  • 对文档进行分词,使用 Tokenizer,得到 词元

分词器一般使用训练的模型,WordIK

  1. 去除标点
  2. 去除停用词(我、是)
  • 还需要把词元传递给语言处理器组件处理

英文:复数 -> 单数,大写 -> 小写

  • 若索引库存在相同索引,需要合并成一个链表

索引查询

  • 输入查询关键字词
keyword:Java
  • 进行语法分析得到一棵语法分析树

  • 搜索索引库,得到符合的文档以及索引的信息
  • 得到文档后,根据频率,相关性排序,分数越高的排在越前面

过程

1. 索引过程:

1) 有一系列被索引文件

2) 被索引文件经过语法分析和语言处理形成一系列词(Term)

3) 经过索引创建形成词典和反向索引表。

4) 通过索引存储将索引写入硬盘。

2. 搜索过程:

a) 用户输入查询语句。

b) 对查询语句经过语法分析和语言分析得到一系列词(Term)

c) 通过语法分析得到一个查询树。

d) 通过索引存储将索引读入到内存。

e) 利用查询树搜索索引,从而得到每个词 (Term) 的文档链表,对文档链表进行交,差,并得到结果文档。

f) 将搜索到的结果文档对查询的相关性进行排序。

g) 返回查询结果给用户。

Solr

Solr 是 Lucene 的封装,提供分布式索引,负载均衡查询,配置式使用,基本只支持 Java

  • 安装:官网
  • API:SolrJ、SpringBoot 中的 SolrClient
  • core:相当于一张数据库的表
  • 创建 core:solr create -c“name”
  • web 客户端:http://localhost:8983/solr
  • core 目录:solr-8.2.0/server/solr 下

配置

  • managed-schema

在其中配置 core 的 field 字段、分词器等

name:数据库字段,type:类型,indexed:是否索引,stored:是否缓存,required:是否必须,multiValued:是否多值

    <!-- ik 分词器 -->
    <fieldType name="text_ik" class="solr.TextField">
      <analyzer type="index">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

    
    <!-- 数据库字段 -->
    <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
    <field name="shoes_name" type="text_ik" indexed="true" stored="true" multiValued="false"/>
    <field name="price" type="string" indexed="false" stored="true" multiValued="false"/>
    <field name="details" type="text_ik" indexed="true" stored="true" multiValued="false"/>
    <field name="url" type="string" indexed="false" stored="true" multiValued="false"/>
    <field name="pic_url" type="string" indexed="false" stored="true" multiValued="false"/>
  • solrconfig.xml

当你需要使用 web 客户端 dataimport 时,需要添加:

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
      <lst name="defaults">
        <str name="config">data-config.xml</str>
      </lst>
    </requestHandler>
  • 在统计目录下创建一个 data-config.xml,建立数据库字段和 core field 映射
 <dataConfig>
    <dataSource type="JdbcDataSource" driver="com.mysql.cj.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/priceCompare_goods" user="dzou" password="1234"/>
    <document>
       <entity name="adidas_goods" transformer="DateFormatTransformer" query="SELECT id,shoes_name,details,pic_url,price,url,store_name,comment,shoes_kind FROM adidas_goods">
          <field column="id" name="id"/>
          <field column="shoes_name" name="shoes_name"/>
          <field column="price" name="price"/>
          <field column="details" name="details"/>
          <field column="url" name="url"/>
          <field column="pic_url" name="pic_url"/>
          <field column="shoes_kind" name="shoes_kind"/>
          <field column="store_name" name="store_name"/>
          <field column="score" name="score">
        </entity>
        
    </document>
</dataConfig>

SolrClient API 调用

  • 依赖
<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-solr</artifactId>
        </dependency>
  • 添加记录到 core
@RequestMapping("/add")
    public String add() throws IOException, SolrServerException {SolrInputDocument doc = new SolrInputDocument();
        doc.setField();
        doc.setField();
        doc.setField();
        solrClient.add("",doc);
        solrClient.commit("");
        return "";
    }
  • 删除 core 记录
@RequestMapping("/delete")
    public String delete(String id) throws IOException, SolrServerException {solrClient.deleteById(id);
        solrClient.commit("");
        return "";
    }
    
/**
     * 删除所有的索引
     * @return
     */
    @RequestMapping("deleteAll")
    public String deleteAll(){
        try {solrClient.deleteByQuery("","*:*");
            solrClient.commit("");

            return "success";
        } catch (Exception e) {e.printStackTrace();
        }
        return "error";
    }
  • 更新记录
Map<String, String> map = new HashMap<>();
map.put("set", o.getScore());
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", o.getId());
doc.addField("score", map);
solrClient.add("am_goods", doc);
solrClient.commit("am_goods");
  • 查询记录
    /**
     * 根据 id 查询索引
     * @return
     * @throws Exception
     */
    @RequestMapping("getById")
    public String getById() throws Exception {SolrDocument document = solrClient.getById("collection1", "536563");
        System.out.println(document);
        return document.toString();}

    /**
     * 综合查询: 在综合查询中, 有按条件查询, 条件过滤, 排序, 分页, 高亮显示, 获取部分域信息
     * @return
     */
    @RequestMapping("search/{keyword}")
    public String search(@PathVariable("keyword")String keyword){

        try {SolrQuery params = new SolrQuery();
            // 查询条件, 这里的 q 对应 下面图片标红的地方
            params.set("q", "shoes_name:"+keyword);
            // 过滤条件
            //params.set("fq", "product_price:[100 TO 100000]");
            // 排序
            params.addSort("price", SolrQuery.ORDER.asc);
            // 分页
            params.setStart(0);
            params.setRows(20);
            // 默认域
            params.set("df", "shoes_name");
            // 只查询指定域
            //params.set("fl", "id,shoes_name,shoes_kind,shop_name");
            // 高亮
            // 打开开关
            params.setHighlight(true);
            // 指定高亮域
            params.addHighlightField("shoes_name");
            // 设置前缀
            params.setHighlightSimplePre("<span style='color:red'>");
            // 设置后缀
            params.setHighlightSimplePost("</span>");
            QueryResponse queryResponse = solrClient.query(params);
            /*SolrDocumentList results = queryResponse.getResults();
            results.forEach(System.out::println);*/
            List<HupuGoods> s = queryResponse.getBeans(HupuGoods.class);
            return s.toString();} catch (Exception e) {e.printStackTrace();
        }
        return null;
    }

ES 和 Solr 区别

  • Solr 是配置式,ES 是基于 RestFul 的
  • ES 除了搜索还可以处理分析查询
  • Solr 更面向文本搜索,对于已有数据的查询 Solr 更快
  • ES 更轻量,发展很快,使用量已经超越 Solr

正文完
 0