ElasticSearch新增IK扩展词后,让历史数据生效方法

本文主要是介绍ElasticSearch新增IK扩展词后,让历史数据生效方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

ElasticSearch新增IK扩展词后,让历史数据生效方法

一、前言

ES词库新增一个关键词、同义词、简繁体和停止词之后，发现只有新数据进入到索引才会生效，对于之前已经存储到索引的数据，还是按照之前的方式来做分词，这个问题应该如何解决呢？

我在网上发现有三种方式：

第一种就是将之前的索引的索引数据重新再刷一次，这种做法比较伤身体，不太推荐。

第二种方式就是采用reindex，这种方法一般用于解决索引结构调整比较大的问题，需要新建一个副本索引，把数据全部迁移到副本索引上，然后将原有索引删除，最后再将副本索引取一个别名，名字为原有索引的名称。

第三种方式就是采用update_by_query，这种方式可以不创建新索引，在已有索引基础上，将数据根据现有结构重新刷新一次，刷新之后，索引的历史数据就会采用词库新增词建立倒排索引了。

二、ES实现

2.1 参数简介

POST article/_update_by_query?conflicts=proceed&wait_for_completion=false&scroll_size=100
{"query": {"match_all": {}}
}

conflicts: 当更新遇到版本冲突是否继续执行，proceed为继续执行，abort为停止执行

wait_for_completion： 发送请求后之后等待返回结果，如果设置为false，ES将会开启一个后台任务，并且返回一个任务编号；如何设置为true，发送请求之后将会一直等待任务执行完毕才会返回结果，如果数据量比较大，不建议设置为true，因为容易出现请求超时502 Bad Request的情况。

scroll_size： 任务每次批量执行多少条数据，默认设置为1000条，如果一条数据执行时间比较长，可以考虑设置为100。

query： 此处的query你可以任意的发挥你的想象，这个就类似与数据库中的update table set column = value where field = condition中的where子句一样，可以过滤非必要更新数据并较少刷新时间。

2.2 获取任务执行详情

get _tasks/H9tGBF8FS-il0WyDNnhtSA:44192641

返回结果

{"completed": false,"task": {"node": "H9tGBF8FS-il0WyDNnhtSA","id": 44283452,"type": "transport","action": "indices:data/write/update/byquery","status": {"total": 94759,"updated": 33199,"created": 0,"deleted": 0,"batches": 333,"version_conflicts": 1,"noops": 0,"retries": {"bulk": 0,"search": 0},"throttled_millis": 0,"requests_per_second": -1,"throttled_until_millis": 0},"description": "update-by-query [article]","start_time_in_millis": 1696666800258,"running_time_in_nanos": 524996978138,"cancellable": true,"cancelled": false,"headers": {}}
}

2.3 获取ES任务列表

get _tasks?detailed=true&actions=*byquery&pretty

2.4 取消任务

POST _tasks/H9tGBF8FS-il0WyDNnhtSA:44161765/_cancel

2.5 进度条

如果你认为执行时间太长了，可以考虑做个进度条给在界面上展示，毕竟没有人会想点击刷新之后世界进入茫然无知的状况。下面是进度条的简短代码。

@Override
public BarVO getBar(String taskId) {if (taskId == null || !taskId.contains(":")){throw new RuntimeException("任务编号不合法");}// 1. 查询进度条GetTasksResponse tasksResponse = null;try {tasksResponse = elasticsearchClient.tasks().get(taskQueryBuilder -> taskQueryBuilder.taskId(taskId));} catch (IOException e) {throw new RuntimeException(e);}TaskStatus taskStatus = tasksResponse.task().status();BarVO barVO = new BarVO();barVO.setFail(taskStatus.versionConflicts());barVO.setSuccess(taskStatus.updated());barVO.setTotal(taskStatus.total());String percent = MathUtil.getPercent(barVO.getFail() + barVO.getSuccess(), barVO.getTotal());barVO.setRage(percent);barVO.setTaskId(taskId);return barVO;
}

请求结果展示

{"code": 200,"msg": "操作成功","result": {"timestamp": null,"total": 94759,"success": 79642,"fail": 5658,"rage": "90.02%","taskId": "H9tGBF8FS-il0WyDNnhtSA:44316655"}
}