Elasticsearch之RestClient的简单操作(附java代码案例)

2024-08-20 23:52

本文主要是介绍Elasticsearch之RestClient的简单操作(附java代码案例),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

前言

1. 案例Demo前期准备

1.1 sql数据

1.2 项目结构

1.3 mapping映射分析

1.4 初始化RestClient

2.索引库操作

2.1 创建索引库

2.1.1 代码解读

2.1.2 完整代码示例

2.2 判断索引库是否存在

2.3 删除索引库操作

2.4 索引库操作总结

3.RestClient操作文档

3.1 新增文档

3.1.1 索引库实体类

3.1.2 语法说明

3.1.3 完整代码

3.2 查询文档

3.2.1 语法说明

3.2.2 完整代码

3.3 删除文档

3.4 修改文档

3.4.1 语法说明

3.4.2 完整代码

3.5 批量导入文档

3.5.1 语法说明

3.5.2 完整代码

3.6 文档操作总结


前言

ES官方提供了各种不同语言的客户端,来操作ES。这些客户端的本质就是组装DSL语句,通过http请求发送给ES。官方文档地址:Elasticsearch Clients | Elastic 。

其中的Java Rest Client又包括两种:

  • Java Low Level Rest Client

  • Java High Level Rest Client

本文介绍的就是Java HighLevel Rest Client客户端API。

1. 案例Demo前期准备

本文用的Hotel-Demo可以在我的百度网盘中下载。

链接: https://pan.baidu.com/s/1zkih8w6prpiQNbQ-j_F93w?pwd=1234

提取码: 1234

1.1 sql数据

这里用到的是tb_hotel.sql,数据结构如下:

CREATE TABLE `tb_hotel` (`id` bigint(20) NOT NULL COMMENT '酒店id',`name` varchar(255) NOT NULL COMMENT '酒店名称;例:7天酒店',`address` varchar(255) NOT NULL COMMENT '酒店地址;例:航头路',`price` int(10) NOT NULL COMMENT '酒店价格;例:329',`score` int(2) NOT NULL COMMENT '酒店评分;例:45,就是4.5分',`brand` varchar(32) NOT NULL COMMENT '酒店品牌;例:如家',`city` varchar(32) NOT NULL COMMENT '所在城市;例:上海',`star_name` varchar(16) DEFAULT NULL COMMENT '酒店星级,从低到高分别是:1星到5星,1钻到5钻',`business` varchar(255) DEFAULT NULL COMMENT '商圈;例:虹桥',`latitude` varchar(32) NOT NULL COMMENT '纬度;例:31.2497',`longitude` varchar(32) NOT NULL COMMENT '经度;例:120.3925',`pic` varchar(255) DEFAULT NULL COMMENT '酒店图片;例:/img/1.jpg',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

1.2 项目结构

项目结构如图:

这里的mysql配置都是我自己的数据库,你们如果上传的数据不同的话,记得修改这里。url,用户名,密码都检查一遍,不然会报错。

1.3 mapping映射分析

创建索引库,最关键的是mapping映射,而mapping映射要考虑的信息包括:

  • 字段名
  • 字段数据类型
  • 是否参与搜索
  • 是否需要分词
  • 如果分词,分词器是什么?

其中:

  • 字段名、字段数据类型,可以参考数据表结构的名称和类型
  • 是否参与搜索要分析业务来判断,例如图片地址,就无需参与搜索
  • 是否分词呢要看内容,内容如果是一个整体就无需分词,反之则要分词
  • 分词器,我们可以统一使用ik_max_word

来看下酒店数据的索引库结构:

PUT /hotel
{"mappings": {"properties": {"id": {"type": "keyword"},"name":{"type": "text","analyzer": "ik_max_word","copy_to": "all"},"address":{"type": "keyword","index": false},"price":{"type": "integer"},"score":{"type": "integer"},"brand":{"type": "keyword","copy_to": "all"},"city":{"type": "keyword","copy_to": "all"},"starName":{"type": "keyword"},"business":{"type": "keyword"},"location":{"type": "geo_point"},"pic":{"type": "keyword","index": false},"all":{"type": "text","analyzer": "ik_max_word"}}}
}

几个特殊字段说明:

  • id:酒店id,一般不允许分开,所以用的是keyword
  • location:地理坐标,里面包含精度、纬度
  • all:一个组合字段,其目的是将多字段的值 利用copy_to合并,提供给用户搜索

地理坐标说明:

copy_to说明:

1.4 初始化RestClient

在elasticsearch提供的API中,与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中,必须先完成这个对象的初始化,建立与elasticsearch的连接。

分为三步:

1)引入es的RestHighLevleClient依赖:

<!--RestHighLevleClient依赖-->
<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>

2)因为SpringBoot默认的ES版本是7.6.2,所以我们需要覆盖默认的ES版本:

<properties><java.version>1.8</java.version><elasticsearch.version>7.12.1</elasticsearch.version>
</properties>

 3)初始化RestHighLevelClient:

初始化的代码如下:

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("es部署的主机IP:9200")
));

这里为了单元测试方便,我们在cn.itcast.hotel包下创建一个测试类HotelIndexTest,然后将初始化的代码编写在@BeforeEach方法中:

package cn.itcast.hotel;import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;import java.io.IOException;public class HotelIndexTest {private RestHighLevelClient client;@BeforeEachvoid setUp() {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("ES部署的主机IP:9200")));}@AfterEachvoid tearDown() throws IOException {this.client.close();}
}

2.索引库操作

2.1 创建索引库

2.1.1 代码解读

创捷索引库的代码如下:

代码分为三步:

1)创建Request对象。因为是创建索引库的操作,因此Request是CreateIndexRequest。

2)添加请求参数,其实就是DSL的JSON参数部分。因为JSON字符串有点长,这里定义了静态字符串常量MAPPING_TEMPLATE,让代码看起来更加优雅。

3)发送请求,client.indices()方法的返回值就是IndicesClient类型,里面封装了所有与索引库操作有关的方法。

2.1.2 完整代码示例

在hotel-demo的cn.itcast.hotel.constants包下,创建一个类,定义mapping映射的JSON字符串常量:

package cn.itcast.hotel.constants;public class HotelConstants {public static final String MAPPING_TEMPLATE = "{\n" +"  \"mappings\": {\n" +"    \"properties\": {\n" +"      \"id\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"name\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_max_word\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"address\":{\n" +"        \"type\":\"keyword\",\n" +"        \"index\": false\n" +"      },\n" +"      \"price\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"score\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"brand\":{\n" +"        \"type\": \"keyword\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"city\":{\n" +"        \"type\": \"keyword\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"starName\":{\n" +"        \"type\": \"keyword\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"business\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"location\":{\n" +"        \"type\": \"geo_point\"\n" +"      },\n" +"      \"pic\":{\n" +"        \"type\": \"keyword\",\n" +"        \"index\": false\n" +"      },\n" +"      \"all\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_max_word\"\n" +"      }\n" +"    }\n" +"  }\n" +"}";
}

在hotel-demo中的HotelIndexTest测试类中,编写单元测试,实现创建索引:

@Test
void testCreateHotelIndex() throws IOException {//1. 创建Request对象CreateIndexRequest request = new CreateIndexRequest("hotel");//2. 准备请求参数request.source(MAPPING_TEMPLATE, XContentType.JSON);//3. 发送请求client.indices().create(request, RequestOptions.DEFAULT);
}

在es的图形图形化界面查询是否创建成功,可以看到下图:

2.2 判断索引库是否存在

判断索引库是否存在,本质就是查询,对应的DSL是:

GET /hotel

与创建索引库相比:

  • 请求方式从PUT变为GET
  • 请求路径不变
  • 无请求参数

所以代码的差异,注意体现在Request对象上。依然是三步走:

1)创建Request对象。这次是GetIndexRequest对象

2)准备参数。这里是无参

3)发送请求。改用exists方法

在hotel-demo中的HotelIndexTest测试类中,编写单元测试,实现判断索引是否存在:

@Test
void testExistsHotelIndex() throws IOException {//1.创建Request对象GetIndexRequest request = new GetIndexRequest("hotel");//2.发送请求boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);//3.输出判断结果System.out.println(exists ? "索引库存在!" : "索引库不存在!");
}

运行测试方法之后,可以在控制台看见:

2.3 删除索引库操作

删除索引库的DSL语句非常简单,与判断索引库是否存在一样:

DELETE /hotel

 因此删除索引库与判断索引库是否存在的Java代码流程是类似的。依然是三步走:

1)创建Request对象。这次是DeleteIndexRequest对象

2)准备参数。这里是无参

3)发送请求。改用delete方法

在hotel-demo中的HotelIndexTest测试类中,编写单元测试,实现删除索引:

@Test
void testDeleteHotelIndex() throws IOException {//1.创建Request对象DeleteIndexRequest request = new DeleteIndexRequest("hotel");//2.发送请求client.indices().delete(request,RequestOptions.DEFAULT);
}

运行完之后,我们去es的图形化kibana界面查询一下:

这里说没有找到hotel索引,说明被删除了。

2.4 索引库操作总结

JavaRestClient操作elasticsearch的流程基本类似。核心是client.indices()方法来获取索引库的操作对象。

索引库操作的基本步骤:

  • 初始化RestHighLevelClient

  • 创建XxxIndexRequest。XXX是Create、Get、Delete

  • 准备DSL( Create时需要,其它是无参)

  • 发送请求。调用RestHighLevelClient#indices().xxx()方法,xxx是create、exists、delete

特别需要注意的是,es索引库是不能修改已存在的字段,所以这里没有修改的方法。 

3.RestClient操作文档

为了与索引库操作分离,我们再次参加一个测试类,做两件事情:

  • 初始化RestHighLevelClient
  • 我们的酒店数据在数据库,需要利用IHotelService去查询,所以注入这个接口
package cn.itcast.hotel;import cn.itcast.hotel.service.IHotelService;
import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.io.IOException;@SpringBootTest
public class HotelDocumentTest {@Autowiredprivate IHotelService hotelService;private RestHighLevelClient client;@BeforeEachvoid setUp() {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://ES部署的主机IP:9200")));}@AfterEachvoid tearDown() throws IOException {this.client.close();}
}

3.1 新增文档

我们要将数据库的酒店数据查询出来,写入elasticsearch中。

3.1.1 索引库实体类

数据库查询后的结果是一个Hotel类型的对象。结构如下:

package cn.itcast.hotel.pojo;import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;@Data
@TableName("tb_hotel")
public class Hotel {@TableId(type = IdType.INPUT)private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String longitude;private String latitude;private String pic;
}

与我们的索引库结构存在差异:

  • longitude和latitude需要合并为location

因此,我们需要定义一个新的类型,与索引库结构吻合:

package cn.itcast.hotel.pojo;import lombok.Data;
import lombok.NoArgsConstructor;@Data
@NoArgsConstructor
public class HotelDoc {private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String location;private String pic;public HotelDoc(Hotel hotel) {this.id = hotel.getId();this.name = hotel.getName();this.address = hotel.getAddress();this.price = hotel.getPrice();this.score = hotel.getScore();this.brand = hotel.getBrand();this.city = hotel.getCity();this.starName = hotel.getStarName();this.business = hotel.getBusiness();this.location = hotel.getLatitude() + ", " + hotel.getLongitude();this.pic = hotel.getPic();}
}
3.1.2 语法说明

新增文档的DSL语句如下:

POST /{索引库名}/_doc/{文档编号}
{"info":"我欲扶摇九万里","email":"hi@yahoo.com","name":{"fistName":"yf","lastName":"l"}
}

对应的java代码如图:

可以看到与创建索引库类似,同样是三步走:

1)创建Request对象

2)准备请求参数,也就是DSL中的JSON文档

3)发送请求

变化的地方在于,这里直接使用client.xxx()的API,不再需要client.indices()了。

3.1.3 完整代码

我们导入酒店数据,基本流程一致,但是需要考虑几点变化:

  • 酒店数据来自于数据库,我们需要先查询出来,得到hotel对象
  • hotel对象需要转为HotelDoc对象
  • HotelDoc需要序列化为json格式

因此,代码整体步骤如下:

1)根据id查询酒店数据Hotel

2)将Hotel封装为HotelDoc

3)将HotelDoc序列化为JSON

4)创建IndexRequest,指定索引库名和id

5)准备请求参数,也就是JSON文档

6)发送请求

在hotel-demo的HotelDocumentTest测试类中,编写单元测试:

@Test
void testCreateHotelDocument() throws IOException {//1.根据id查询酒店数据Hotel,id是数据库随便找的Hotel hotel = hotelService.getById(36934L);//2.将Hotel封装为HotelDocHotelDoc hotelDoc = new HotelDoc(hotel);//3.创建IndexRequest对象,指定索引库名和idIndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());//4.准备请求参数,也就是json文档request.source(JSON.toJSONString(hotelDoc), XContentType.JSON);//5.发送请求client.index(request, RequestOptions.DEFAULT);
}

3.2 查询文档

3.2.1 语法说明

查询的DSL语句如下:

GET /hotel/_doc/{id}

非常简单,因此代码大概分两步:

  • 准备Request对象

  • 发送请求

不过查询的目的是得到结果,解析为HotelDoc,因此难点是结果的解析。完整代码如下:

可以看到,结果是一个JSON,其中文档放在一个_source属性中,因此解析就是拿到_source,反序列化为Java对象即可。

与之前类似,也是三步走:

1)准备Request对象。这次是查询,所以是GetRequest

2)发送请求,得到结果。因为是查询,这里调用client.get()方法

3)解析结果,就是对JSON做反序列化

3.2.2 完整代码

在hotel-demo的HotelDocumentTest测试类中,编写单元测试:

@Test
void testGetHotelDocumentById() throws IOException {//1.创建request对象,指定索引库和idGetRequest request = new GetRequest("hotel").id("36934");//2.发送请求GetResponse response = client.get(request, RequestOptions.DEFAULT);//3.解析结果String json = response.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);//4.输出结果System.out.println(hotelDoc);
}

 运行之后,在控制台日志中可以看到输出的结果:

3.3 删除文档

删除的DSL为是这样的:

DELETE /hotel/_doc/{id}

与查询相比,仅仅是请求方式从DELETE变成GET,可以想象Java代码应该依然是三步走:

1)准备Request对象,因为是删除,这次是DeleteRequest对象。要指定索引库名和id

2)准备参数,无参

3)发送请求。因为是删除,所以是client.delete()方法

在hotel-demo的HotelDocumentTest测试类中,编写单元测试:

@Test
void testDeleteHotelDocument() throws IOException {//1.创建request对象,指定索引库和idDeleteRequest request = new DeleteRequest("hotel").id("36934");//2.准备请求参数//3.发送请求client.delete(request,RequestOptions.DEFAULT);
}

运行成功之后,在kibana界面可以发现已经成功删除了:

3.4 修改文档

3.4.1 语法说明

修改我们讲过两种方式:

  • 全量修改:本质是先根据id删除,再新增
  • 增量修改:修改文档中的指定字段值

在RestClient的API中,全量修改与新增的API完全一致,判断依据是ID:

  • 如果新增时,ID已经存在,则修改
  • 如果新增时,ID不存在,则新增

这里不再赘述,我们主要关注增量修改。

索引文档右边是es中存储的文档信息,左边是文档增量修改的语句,跟代码对比如下:

这里的文档更新比较特殊,是修改的参数名称和参数数据之间以逗号为区分,如果还有其他参数的话,在第一组数据后面加上逗号,继续添加。后台会自动识别,两个为一组。 

运行成功之后,在kibana界面可以看到,执行成功的文档:

与之前类似,也是三步走:

1)准备Request对象。这次是修改,所以是UpdateRequest

2)准备参数。也就是JSON文档,里面包含要修改的字段

3)更新文档。这里调用client.update()方法

3.4.2 完整代码

在hotel-demo的HotelDocumentTest测试类中,编写单元测试:

@Test
void testUpdateHotelDocument() throws IOException {//1.创建request对象,指定索引库和idUpdateRequest request = new UpdateRequest("csdn","1");//2.准备请求参数request.doc("email","123456789@qq.com");//3.发送请求client.update(request,RequestOptions.DEFAULT);
}

3.5 批量导入文档

案例需求:利用BulkRequest批量将数据库数据导入到索引库中。

步骤如下:

  • 利用mybatis-plus查询酒店数据
  • 将查询到的酒店数据(Hotel)转换为文档类型数据(HotelDoc)
  • 利用JavaRestClient中的BulkRequest批处理,实现批量新增文档
3.5.1 语法说明

批量处理BulkRequest,其本质就是将多个普通的CRUD请求组合在一起发送。

其中提供了一个add方法,用来添加其他请求:

可以看到,能添加的请求包括:

  • IndexRequest,也就是新增
  • UpdateRequest,也就是修改
  • DeleteRequest,也就是删除

因此Bulk中添加了多个IndexRequest,就是批量新增功能了。示例:

其实还是三步走:

1)创建Request对象。这里是BulkRequest

2)准备参数。批处理的参数,就是其它Request对象,这里就是多个IndexRequest

3)发起请求。这里是批处理,调用的方法为client.bulk()方法

 我们在导入酒店数据时,将上述代码改造成for循环处理即可。

3.5.2 完整代码

在hotel-demo的HotelDocumentTest测试类中,编写单元测试:

@Test
void testBulk() throws IOException {//1.批量查询酒店数据List<Hotel> hotels = hotelService.list();//2.创建Bulk请求BulkRequest request = new BulkRequest();//3.准备参数,添加多个新增的Requestfor (Hotel hotel: hotels) {//转换为文档类型HotelDocHotelDoc hotelDoc = new HotelDoc(hotel);//创建新增文档的Request对象request.add(new IndexRequest("hotel").id(hotelDoc.getId().toString()).source(JSON.toJSONString(hotelDoc),XContentType.JSON));}//4.发起请求client.bulk(request,RequestOptions.DEFAULT);
}

运行成功之后,去kibana界面查询是否成功:

3.6 文档操作总结

文档操作的基本步骤:

  • 初始化RestHighLevelClient
  • 创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk
  • 准备参数(Index、Update、Bulk时需要)
  • 发送请求。调用RestHighLevelClient#.xxx()方法,xxx是index、get、update、delete、bulk
  • 解析结果(Get时需要)

这篇关于Elasticsearch之RestClient的简单操作(附java代码案例)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1091537

相关文章

Redis实现高效内存管理的示例代码

《Redis实现高效内存管理的示例代码》Redis内存管理是其核心功能之一,为了高效地利用内存,Redis采用了多种技术和策略,如优化的数据结构、内存分配策略、内存回收、数据压缩等,下面就来详细的介绍... 目录1. 内存分配策略jemalloc 的使用2. 数据压缩和编码ziplist示例代码3. 优化的

Java Stream 并行流简介、使用与注意事项小结

《JavaStream并行流简介、使用与注意事项小结》Java8并行流基于StreamAPI,利用多核CPU提升计算密集型任务效率,但需注意线程安全、顺序不确定及线程池管理,可通过自定义线程池与C... 目录1. 并行流简介​特点:​2. 并行流的简单使用​示例:并行流的基本使用​3. 配合自定义线程池​示

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

解决升级JDK报错:module java.base does not“opens java.lang.reflect“to unnamed module问题

《解决升级JDK报错:modulejava.basedoesnot“opensjava.lang.reflect“tounnamedmodule问题》SpringBoot启动错误源于Jav... 目录问题描述原因分析解决方案总结问题描述启动sprintboot时报以下错误原因分析编程异js常是由Ja

Java Kafka消费者实现过程

《JavaKafka消费者实现过程》Kafka消费者通过KafkaConsumer类实现,核心机制包括偏移量管理、消费者组协调、批量拉取消息及多线程处理,手动提交offset确保数据可靠性,自动提交... 目录基础KafkaConsumer类分析关键代码与核心算法2.1 订阅与分区分配2.2 拉取消息2.3

Python自动化处理PDF文档的操作完整指南

《Python自动化处理PDF文档的操作完整指南》在办公自动化中,PDF文档处理是一项常见需求,本文将介绍如何使用Python实现PDF文档的自动化处理,感兴趣的小伙伴可以跟随小编一起学习一下... 目录使用pymupdf读写PDF文件基本概念安装pymupdf提取文本内容提取图像添加水印使用pdfplum

SpringBoot集成XXL-JOB实现任务管理全流程

《SpringBoot集成XXL-JOB实现任务管理全流程》XXL-JOB是一款轻量级分布式任务调度平台,功能丰富、界面简洁、易于扩展,本文介绍如何通过SpringBoot项目,使用RestTempl... 目录一、前言二、项目结构简述三、Maven 依赖四、Controller 代码详解五、Service

Python 基于http.server模块实现简单http服务的代码举例

《Python基于http.server模块实现简单http服务的代码举例》Pythonhttp.server模块通过继承BaseHTTPRequestHandler处理HTTP请求,使用Threa... 目录测试环境代码实现相关介绍模块简介类及相关函数简介参考链接测试环境win11专业版python

Java中HashMap的用法详细介绍

《Java中HashMap的用法详细介绍》JavaHashMap是一种高效的数据结构,用于存储键值对,它是基于哈希表实现的,提供快速的插入、删除和查找操作,:本文主要介绍Java中HashMap... 目录一.HashMap1.基本概念2.底层数据结构:3.HashCode和equals方法为什么重写Has

Python从Word文档中提取图片并生成PPT的操作代码

《Python从Word文档中提取图片并生成PPT的操作代码》在日常办公场景中,我们经常需要从Word文档中提取图片,并将这些图片整理到PowerPoint幻灯片中,手动完成这一任务既耗时又容易出错,... 目录引言背景与需求解决方案概述代码解析代码核心逻辑说明总结引言在日常办公场景中,我们经常需要从 W