Java全文搜索引擎Solr

46次阅读

共计 5166 个字符，预计需要花费 13 分钟才能阅读完成。

全文检索

倒排索引

根据文档创建索引，再对索引进行查询获取文档。

相比与顺序查询：不需要那么多的查询(一个文档一个文档找索引，找到就匹配，需要全部查询，效率很低)，而且可以在索引上定位，出现在哪个文档哪个地方，支持高亮

Lucene

Lucene 是一个基于 Java 的全文检索库，可以看成一个持久层框架，与 Lucene 索引交互

倒排索引存储信息

左边保存的是一系列字符串，称为 词典。

每个字符串都指向包含此字符串的文档 (Document) 链表 (每个节点还包含文档中出现该索引的频率)，此文档链表称为 倒排表(Posting List)。

如果我们需要查询包含两个索引的文档，只需要将两个文档共有的文档标号连接成链表

索引创建

  • 对文档进行分词，使用 Tokenizer，得到 词元

分词器一般使用训练的模型，Word、IK等

  1. 去除标点
  2. 去除停用词(我、是)
  • 还需要把词元传递给语言处理器组件处理

英文：复数 -> 单数，大写 -> 小写

  • 若索引库存在相同索引，需要合并成一个链表

索引查询

  • 输入查询关键字词
keyword:Java
  • 进行语法分析得到一棵语法分析树

  • 搜索索引库，得到符合的文档以及索引的信息
  • 得到文档后，根据频率，相关性排序，分数越高的排在越前面

过程

1. 索引过程：

1) 有一系列被索引文件

2) 被索引文件经过语法分析和语言处理形成一系列词(Term)。

3) 经过索引创建形成词典和反向索引表。

4) 通过索引存储将索引写入硬盘。

2. 搜索过程：

a) 用户输入查询语句。

b) 对查询语句经过语法分析和语言分析得到一系列词(Term)。

c) 通过语法分析得到一个查询树。

d) 通过索引存储将索引读入到内存。

e) 利用查询树搜索索引，从而得到每个词 (Term) 的文档链表，对文档链表进行交，差，并得到结果文档。

f) 将搜索到的结果文档对查询的相关性进行排序。

g) 返回查询结果给用户。

Solr

Solr 是 Lucene 的封装，提供分布式索引，负载均衡查询，配置式使用，基本只支持 Java

  • 安装：官网
  • API：SolrJ、SpringBoot 中的 SolrClient
  • core：相当于一张数据库的表
  • 创建 core：solr create -c“name”
  • web 客户端：http://localhost:8983/solr
  • core 目录：solr-8.2.0/server/solr 下

配置

  • managed-schema

在其中配置 core 的 field 字段、分词器等

name：数据库字段，type：类型，indexed：是否索引，stored：是否缓存，required：是否必须，multiValued：是否多值

    <!-- ik 分词器 -->
    <fieldType name="text_ik" class="solr.TextField">
      <analyzer type="index">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

    
    <!-- 数据库字段 -->
    <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
    <field name="shoes_name" type="text_ik" indexed="true" stored="true" multiValued="false"/>
    <field name="price" type="string" indexed="false" stored="true" multiValued="false"/>
    <field name="details" type="text_ik" indexed="true" stored="true" multiValued="false"/>
    <field name="url" type="string" indexed="false" stored="true" multiValued="false"/>
    <field name="pic_url" type="string" indexed="false" stored="true" multiValued="false"/>
  • solrconfig.xml

当你需要使用 web 客户端 dataimport 时，需要添加：

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
      <lst name="defaults">
        <str name="config">data-config.xml</str>
      </lst>
    </requestHandler>
  • 在统计目录下创建一个 data-config.xml，建立数据库字段和 core field 映射
 <dataConfig>
    <dataSource type="JdbcDataSource" driver="com.mysql.cj.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/priceCompare_goods" user="dzou" password="1234"/>
    <document>
       <entity name="adidas_goods" transformer="DateFormatTransformer" query="SELECT id,shoes_name,details,pic_url,price,url,store_name,comment,shoes_kind FROM adidas_goods">
          <field column="id" name="id"/>
          <field column="shoes_name" name="shoes_name"/>
          <field column="price" name="price"/>
          <field column="details" name="details"/>
          <field column="url" name="url"/>
          <field column="pic_url" name="pic_url"/>
          <field column="shoes_kind" name="shoes_kind"/>
          <field column="store_name" name="store_name"/>
          <field column="score" name="score">
        </entity>
        
    </document>
</dataConfig>

SolrClient API 调用

  • 依赖
<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-solr</artifactId>
        </dependency>
  • 添加记录到 core
@RequestMapping("/add")
    public String add() throws IOException, SolrServerException {SolrInputDocument doc = new SolrInputDocument();
        doc.setField();
        doc.setField();
        doc.setField();
        solrClient.add("",doc);
        solrClient.commit("");
        return "";
    }
  • 删除 core 记录
@RequestMapping("/delete")
    public String delete(String id) throws IOException, SolrServerException {solrClient.deleteById(id);
        solrClient.commit("");
        return "";
    }
    
/**
     * 删除所有的索引
     * @return
     */
    @RequestMapping("deleteAll")
    public String deleteAll(){
        try {solrClient.deleteByQuery("","*:*");
            solrClient.commit("");

            return "success";
        } catch (Exception e) {e.printStackTrace();
        }
        return "error";
    }
  • 更新记录
Map<String, String> map = new HashMap<>();
map.put("set", o.getScore());
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", o.getId());
doc.addField("score", map);
solrClient.add("am_goods", doc);
solrClient.commit("am_goods");
  • 查询记录
    /**
     * 根据 id 查询索引
     * @return
     * @throws Exception
     */
    @RequestMapping("getById")
    public String getById() throws Exception {SolrDocument document = solrClient.getById("collection1", "536563");
        System.out.println(document);
        return document.toString();}

    /**
     * 综合查询: 在综合查询中, 有按条件查询, 条件过滤, 排序, 分页, 高亮显示, 获取部分域信息
     * @return
     */
    @RequestMapping("search/{keyword}")
    public String search(@PathVariable("keyword")String keyword){

        try {SolrQuery params = new SolrQuery();
            // 查询条件, 这里的 q 对应 下面图片标红的地方
            params.set("q", "shoes_name:"+keyword);
            // 过滤条件
            //params.set("fq", "product_price:[100 TO 100000]");
            // 排序
            params.addSort("price", SolrQuery.ORDER.asc);
            // 分页
            params.setStart(0);
            params.setRows(20);
            // 默认域
            params.set("df", "shoes_name");
            // 只查询指定域
            //params.set("fl", "id,shoes_name,shoes_kind,shop_name");
            // 高亮
            // 打开开关
            params.setHighlight(true);
            // 指定高亮域
            params.addHighlightField("shoes_name");
            // 设置前缀
            params.setHighlightSimplePre("<span style='color:red'>");
            // 设置后缀
            params.setHighlightSimplePost("</span>");
            QueryResponse queryResponse = solrClient.query(params);
            /*SolrDocumentList results = queryResponse.getResults();
            results.forEach(System.out::println);*/
            List<HupuGoods> s = queryResponse.getBeans(HupuGoods.class);
            return s.toString();} catch (Exception e) {e.printStackTrace();
        }
        return null;
    }

ES 和 Solr 区别

  • Solr 是配置式，ES 是基于 RestFul 的
  • ES 除了搜索还可以处理分析查询
  • Solr 更面向文本搜索，对于已有数据的查询 Solr 更快
  • ES 更轻量，发展很快，使用量已经超越 Solr

正文完
发表至： java
2019-11-15
 0
关于java:DGIoT-开源项目职业教育助力解决过度补课难题
关于java:SpringBoot工程下Spring-MVC技术的应用bug合集
关于java:电子面单接口源码一次接入四通一达百世邮政顺丰德邦京东
Mysql对指定账户授权任何ip远程连接访问