关于后端:在elasticsearch中简单的使用scriptfields

1、背景

在咱们应用es时,有些时候须要动静返回一些字段,而这些字段是通过动静计算得出的,那么此时该如何操作呢? 比方:咱们索引中有一个sex字段,保留的是1或0,而在页面上须要展现,那么这个时候就能够应用script_fields来解决。可能有些人说,我通过后盾进行格式化一下不就行了吗,然而假如咱们须要在kibana等可视化工具上展现呢?

2、筹备数据

2.1 mapping

PUT /index_script_fields
{
  "mappings": {
    "properties": {
      "name":{
        "type": "keyword"
      },
      "sex":{
        "type": "integer"
      },
      "hobbies":{
        "type":"keyword"
      },
      "address":{
        "properties": {
          "province":{
            "type":"keyword"
          },
          "city":{
            "type":"keyword"
          }
        }
      }
    }
  }
}

留神:

  1. hobbies其实是一个数组类型
  2. address是一个Object类型,即是一个简单类型

2.2 插入数据

PUT /index_script_fields/_bulk
{"index":{"_id":1}}
{"name":"张三","sex":1,"hobbies":["足球","篮球"],"address":{"province":"湖北","city":"city01"}}
{"index":{"_id":2}}
{"name":"张三","sex":2,"address":{"province":"北京","city":"city01"}}
{"index":{"_id":3}}
{"name":"张三","hobbies":["足球"],"address":{"province":"湖北","city":"city01"}}

留神:

  1. 须要留神一下id=3的数据是没有sex属性的,那么在painless脚本中如何保障不报错。

3、案例

3.1 格式化性别 1-男 2-女 -1-未知 如果不存在sex字段,则显示– 其余的显示 **

3.1.1 dsl

GET /index_script_fields/_search
{
  "query": {
    "match_all": {}
  },
  "_source": ["*"], 
  "script_fields": {
    "sex_format": {
      "script": {
        "lang": "painless",
        "source": """
          
          // 判断 sex 字段是否存在
          if(doc['sex'].size() == 0){
            return "--";
          }
        
          if(doc['sex'].value == 1){
            return "男";
          }else if(doc['sex'].value == 2){
            return "女";
          }else if(doc['sex'].value == -1){
            return "未知";
          }else{
            return "**";
          }
        """
      }
    }
  }
}

须要留神 sex 字段不存在,该如何判断,见上方的代码

3.1.2 java代码

@Test
@DisplayName("格式化性别 1-男 2-女 -1-未知 如果不存在sex字段,则显示-- 其余的显示 **")
public void test01() throws IOException {
    SearchRequest request = SearchRequest.of(searchRequest ->
            searchRequest.index(INDEX_NAME)
                    .query(query -> query.matchAll(matchAll -> matchAll))
                    // 不加这句,则 _source 不会返回,值返回 fields
                    .source(config -> config.filter(filter -> filter.includes("*")))
                    .scriptFields("sex_format", field ->
                            field.script(script ->
                                    script.inline(inline ->
                                            inline.lang(ScriptLanguage.Painless)
                                                    .source(" // 判断 sex 字段是否存在\n" +
                                                            "          if(doc['sex'].size() == 0){\n" +
                                                            "            return \"--\";\n" +
                                                            "          }\n" +
                                                            "        \n" +
                                                            "          if(doc['sex'].value == 1){\n" +
                                                            "            return \"男\";\n" +
                                                            "          }else if(doc['sex'].value == 2){\n" +
                                                            "            return \"女\";\n" +
                                                            "          }else if(doc['sex'].value == -1){\n" +
                                                            "            return \"未知\";\n" +
                                                            "          }else{\n" +
                                                            "            return \"**\";\n" +
                                                            "          }")
                                    )
                            )
                    )
                    .size(100)
    );

    System.out.println("request: " + request);
    SearchResponse<Object> response = client.search(request, Object.class);
    System.out.println("response: " + response);
}

3.1.3 运行后果

3.2 判断用户是否有某个喜好

3.2.1 dsl

GET /index_script_fields/_search
{
  "_source": ["*"], 
  "query": {"match_all": {}},
  "script_fields": {
    "has_hobby": {
      "script": {
        "lang": "painless",
        "source": """
          // 没有hobbies字段,间接返回 false
          if(doc['hobbies'].size() == 0){
            return false;
          }
          return doc['hobbies'].indexOf(params.hobby) > -1;
        """,
        "params": {
          "hobby":"篮球"
        }
      }
    }
  }
}

3.2.2 java代码

@Test
@DisplayName("判断用户是否有某个喜好")
public void test02() throws IOException {
    SearchRequest request = SearchRequest.of(searchRequest ->
            searchRequest.index(INDEX_NAME)
                    .query(query -> query.matchAll(matchAll -> matchAll))
                    // 不加这句,则 _source 不会返回,值返回 fields
                    .source(config -> config.filter(filter -> filter.includes("*")))
                    .scriptFields("has_hobby", field ->
                            field.script(script ->
                                    script.inline(inline ->
                                            inline.lang(ScriptLanguage.Painless)
                                                    .source(" // 没有hobbies字段,间接返回 false\n" +
                                                            "          if(doc['hobbies'].size() == 0){\n" +
                                                            "            return false;\n" +
                                                            "          }\n" +
                                                            "          return doc['hobbies'].indexOf(params.hobby) > -1;")
                                                    .params("hobby", JsonData.of("篮球"))
                                    )
                            )
                    )
                    .size(100)
    );

    System.out.println("request: " + request);
    SearchResponse<Object> response = client.search(request, Object.class);
    System.out.println("response: " + response);
}

3.2.3 运行后果

3.3 统计湖北的用户有几个

3.3.1 dsl

GET /index_script_fields/_search
{
  "query": {"match_all": {}}, 
  "aggs": {
    "agg_province": {
      "sum": {
        "script": {
          "lang": "painless",
          "source": """
            // 因为 address 是一个简单类型,因而不可间接通过 doc 来拜访
            if(params['_source']['address']['province'] == '湖北'){
              return 1;
            }
            return 0;
          """
        }
      }
    }
  }
}

因为 address 是一个简单类型,因而不可间接通过 doc 来拜访,只能通过 params[_source]来拜访

3.3.2 java代码

@Test
@DisplayName("统计湖北省下的用户有几个")
public void test03() throws IOException {
    SearchRequest request = SearchRequest.of(searchRequest ->
            searchRequest.index(INDEX_NAME)
                    .query(query -> query.matchAll(matchAll -> matchAll))
                    // 不加这句,则 _source 不会返回,值返回 fields
                    .source(config -> config.filter(filter -> filter.includes("*")))
                    .aggregations("agg_province", agg->
                            agg.sum(sum ->
                                    sum.script(script ->
                                            script.inline(inline ->
                                                    inline.lang(ScriptLanguage.Painless)
                                                            // 因为 address 是一个简单类型,因而不可间接通过 doc 来拜访, 只可通过 params['_source']来拜访
                                                            .source("// 因为 address 是一个简单类型,因而不可间接通过 doc 来拜访\n" +
                                                                    "            if(params['_source']['address']['province'] == '湖北'){\n" +
                                                                    "              return 1;\n" +
                                                                    "            }\n" +
                                                                    "            return 0;")
                                            )
                                    )
                            )
                    )
                    .size(100)
    );

    System.out.println("request: " + request);
    SearchResponse<Object> response = client.search(request, Object.class);
    System.out.println("response: " + response);
}

3.3.3 运行后果

![运行后果![](https://img-blog.csdnimg.cn/5…)

4、doc[..]和params_source有何不同

通过下面的案例,咱们发现,咱们有些时候是通过doc[..]来拜访属性的,有些时候是通过params['_source'][..]来拜访,那么这2种拜访形式有何不同呢?

doc[..]:应用doc关键字,将导致该字段的术语被加载到内存(缓存),这将导致更快的执行,但更多的内存耗费。此外,doc[…]表示法只容许简略的值字段(您不能从中返回json对象),并且仅对非剖析或基于单个术语的字段有意义。然而,如果可能的话,应用doc依然是拜访文档值的举荐办法。
params[_source][..]: 每次应用_source都必须加载和解析, 因而应用_source会相对而言要慢点。

尽管拜访_source比拜访doc values要慢,然而script_fields只对须要返回文档执行脚本,因而也不会太影响性能,除非返回的数据特地多。

5、残缺代码

https://gitee.com/huan1993/spring-cloud-parent/blob/master/es/es8-api/src/main/java/com/huan/es8/script/ScriptFieldApi.java

6、参考文档

1、https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-fields.html#script-fields

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据