ES2.x版本的javaAPI使用实例

2024-02-20 06:38
文章标签 java 使用 实例 api 版本 es2

本文主要是介绍ES2.x版本的javaAPI使用实例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前段时间做用户标签系统,使用的es2.2来存储查询。其中涉及到了es的javaAPI的使用。这里把笨小葱用到的一些函数分享一下。

首先是es的连接获取操作实例。


import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.sort.SortOrder;import java.net.InetAddress;
import java.net.UnknownHostException;/*** Created by cc on 2016/4/4.*/
public class Es_Client {public static final String CLUSTER_NAME = "razor_es"; //实例名称private static final String IP = "192.168.1.1";private static final int PORT = 9300;  //端口//1.设置集群名称:默认是elasticsearch,并设置client.transport.sniff为true,使客户端嗅探整个集群状态,把集群中的其他机器IP加入到客户端//对ES2.0有效private static Settings settings = Settings.settingsBuilder().put("cluster.name", CLUSTER_NAME).put("client.transport.sniff", true).build();//创建私有对象private static TransportClient client;static {try {client = TransportClient.builder().settings(settings).build().addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(IP), PORT));} catch (UnknownHostException e) {e.printStackTrace();}}//取得实例public static  TransportClient getTransportClient() {return client;}}




然后是一些函数操作:


import com.tesla.razor.dao.TagDAO;
import com.tesla.razor.util.Es_Client;
import net.sf.json.JSONArray;
import net.sf.json.JSONObject;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.sort.SortOrder;import java.util.ArrayList;
import java.util.List;public class TagDAOimpl implements TagDAO {@Overridepublic JSONObject getUserInfoList(String productid, String startdate, String stopdate) throws Exception {BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();boolQueryBuilder.must(QueryBuilders.matchQuery("product_id", productid));boolQueryBuilder.must(QueryBuilders.rangeQuery("localtime").from(startdate).to(stopdate));SearchResponse response = Es_Client.getTransportClient().prepareSearch("razor_cd").setTypes("clientdata").setQuery(boolQueryBuilder)/* .addAggregation(AggregationBuilders.terms("agg").field("user_id").size(20))*/.addAggregation(AggregationBuilders.cardinality("agg1").field("user_id"))//.addAggregation(AggregationBuilders.dateRange("range1").field("localtime").addRange(startdate,stopdate)).addSort("localtime", SortOrder.DESC).setSize(2000).execute().actionGet();JSONObject object=new JSONObject();object.put("total",response.getAggregations().getProperty("agg1.value").toString());JSONArray arr = new JSONArray();//取前20条不重复的useridList<String> userIds=new ArrayList<String>();SearchHit[]  hits= response.getHits().getHits();for(SearchHit hit : hits){if(userIds.size()<20){String userid = hit.getSource().get("user_id").toString();int flag = 1;for (String s : userIds) {if (s.equals(userid)) {flag = 0;break;}}if (flag == 1)//flag为1表示还没有记录该用户{userIds.add(userid);arr.add(hit.getSourceAsString());}}}object.put("userList",arr);//System.out.println(object);return object;}@Overridepublic JSONObject getUserInfoListById(String productid, String startdate, String stopdate,String userid) throws Exception {BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();boolQueryBuilder.must(QueryBuilders.matchQuery("product_id", productid));boolQueryBuilder.must(QueryBuilders.regexpQuery("user_id", ".*" + userid + ".*"));boolQueryBuilder.must(QueryBuilders.rangeQuery("localtime").from(startdate).to(stopdate));SearchResponse response = Es_Client.getTransportClient().prepareSearch("razor_cd").setTypes("clientdata").setQuery(boolQueryBuilder)     // Filter/*.addAggregation(AggregationBuilders.terms("agg").field("user_id").size(20))*/.addAggregation(AggregationBuilders.cardinality("agg1").field("user_id")).addSort("localtime",SortOrder.DESC).setSize(2000).execute().actionGet();JSONObject object=new JSONObject();object.put("total",response.getAggregations().getProperty("agg1.value").toString());JSONArray arr = new JSONArray();//取前20条不重复的useridList<String> userIds=new ArrayList<String>();SearchHit[]  hits= response.getHits().getHits();for(SearchHit hit : hits){if(userIds.size()<20){String user_id = hit.getSource().get("user_id").toString();int flag = 1;for (String s : userIds) {if (s.equals(user_id)) {flag = 0;break;}}if (flag == 1)//flag为1表示还没有记录该用户{userIds.add(user_id);arr.add(hit.getSourceAsString());}}}object.put("userList",arr);//System.out.println(object);return object;}@Overridepublic JSONObject getUserInfoListByTags(String productid, String tags) throws Exception {String[] tags_arr=tags.split(";");BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();boolQueryBuilder.must(QueryBuilders.matchQuery("product_id", productid));for(String tag : tags_arr){if(tag.contains("c_channel_")){boolQueryBuilder.must(QueryBuilders.matchQuery("channel_id", tag.substring(10)));}else if(tag.contains("c_provinc_")){boolQueryBuilder.must(QueryBuilders.matchQuery("region", tag.substring(10)));}else{boolQueryBuilder.must(QueryBuilders.matchQuery("app_tags.tag_name", tag));}}SearchResponse response = Es_Client.getTransportClient().prepareSearch("razor_tag").setTypes("user_tag").setQuery(boolQueryBuilder)//.addField("user_id").setSize(20).execute().actionGet();//System.out.println(response.toString());//根据查询出的用户id去clientdata中二次查询详细信息JSONObject object=new JSONObject();object.put("total",response.getHits().getTotalHits());JSONArray arr = new JSONArray();//取前20条不重复的useridList<String> userIds=new ArrayList<String>();SearchHit[]  hits= response.getHits().getHits();for(SearchHit hit : hits){<span style="white-space:pre">		</span>......<span style="white-space:pre">	</span>}return object;}@Overridepublic String getUserDetailTags(String productid, String userid) throws Exception {GetResponse usertag= Es_Client.getTransportClient().prepareGet("razor_tag", "user_tag", userid + "|" + productid).get();return usertag.getSourceAsString();}@Overridepublic JSONArray getUserDetail(String productid, String startdate, String stopdate,String userid) throws Exception {BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();boolQueryBuilder.must(QueryBuilders.matchQuery("product_id", productid));boolQueryBuilder.must(QueryBuilders.regexpQuery("user_id", userid));boolQueryBuilder.must(QueryBuilders.rangeQuery("localtime").from(startdate).to(stopdate));SearchResponse response = Es_Client.getTransportClient().prepareSearch("razor_cd").setTypes("clientdata").setQuery(boolQueryBuilder)     // Filter.addSort("localtime", SortOrder.DESC).setSize(20).execute().actionGet();//Map<String,List<String>> map=new HashMap<String, List<String>>();JSONArray arr = new JSONArray();SearchHit[]  hits= response.getHits().getHits();String tmp="";int flag=1;for(SearchHit hit : hits){System.out.println(hit.getSourceAsString());JSONObject jsonObject = new JSONObject();String sessionid=hit.getSource().get("session_id").toString();if(flag==1)  //表示取第一条记录{tmp=sessionid;flag=0;}else {    //取第1条之后的记录if(tmp.equals(sessionid))  //重复的sessionid,直接结束,进入下次循环{continue;}else {tmp=sessionid;}}//1.添本次session的clientdata数据jsonObject.put("clientdata",hit.getSourceAsString());//2.添本次session的usinglogGetResponse usinglog= Es_Client.getTransportClient().prepareGet("razor_usinglog", "usinglog", userid + "|" + sessionid).get();jsonObject.put("usinglog", usinglog.getSourceAsString());//3.添本次session的eventGetResponse event= Es_Client.getTransportClient().prepareGet("razor_event", "event", userid + "|" + sessionid).get();jsonObject.put("event",event.getSourceAsString());arr.add(jsonObject);}return arr;}@Overridepublic String getTagTop(String productid) throws Exception {BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();boolQueryBuilder.must(QueryBuilders.matchQuery("product_id", productid));//boolQueryBuilder.must(QueryBuilders.rangeQuery("add_time").from(startdate).to(stopdate));SearchResponse response = Es_Client.getTransportClient().prepareSearch("razor_tag").setTypes("user_tag").setQuery(boolQueryBuilder)     .addAggregation(AggregationBuilders.terms("agg").field("app_tags.tag_name").size(20)).addAggregation(AggregationBuilders.cardinality("agg1").field("app_tags.tag_name")).setSize(0).execute().actionGet();return response.toString();}}


这篇关于ES2.x版本的javaAPI使用实例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/727341

相关文章

springboot集成easypoi导出word换行处理过程

《springboot集成easypoi导出word换行处理过程》SpringBoot集成Easypoi导出Word时,换行符n失效显示为空格,解决方法包括生成段落或替换模板中n为回车,同时需确... 目录项目场景问题描述解决方案第一种:生成段落的方式第二种:替换模板的情况,换行符替换成回车总结项目场景s

SpringBoot集成redisson实现延时队列教程

《SpringBoot集成redisson实现延时队列教程》文章介绍了使用Redisson实现延迟队列的完整步骤,包括依赖导入、Redis配置、工具类封装、业务枚举定义、执行器实现、Bean创建、消费... 目录1、先给项目导入Redisson依赖2、配置redis3、创建 RedissonConfig 配

SpringBoot中@Value注入静态变量方式

《SpringBoot中@Value注入静态变量方式》SpringBoot中静态变量无法直接用@Value注入,需通过setter方法,@Value(${})从属性文件获取值,@Value(#{})用... 目录项目场景解决方案注解说明1、@Value("${}")使用示例2、@Value("#{}"php

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

线上Java OOM问题定位与解决方案超详细解析

《线上JavaOOM问题定位与解决方案超详细解析》OOM是JVM抛出的错误,表示内存分配失败,:本文主要介绍线上JavaOOM问题定位与解决方案的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一、OOM问题核心认知1.1 OOM定义与技术定位1.2 OOM常见类型及技术特征二、OOM问题定位工具

基于 Cursor 开发 Spring Boot 项目详细攻略

《基于Cursor开发SpringBoot项目详细攻略》Cursor是集成GPT4、Claude3.5等LLM的VSCode类AI编程工具,支持SpringBoot项目开发全流程,涵盖环境配... 目录cursor是什么?基于 Cursor 开发 Spring Boot 项目完整指南1. 环境准备2. 创建

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

Python一次性将指定版本所有包上传PyPI镜像解决方案

《Python一次性将指定版本所有包上传PyPI镜像解决方案》本文主要介绍了一个安全、完整、可离线部署的解决方案,用于一次性准备指定Python版本的所有包,然后导出到内网环境,感兴趣的小伙伴可以跟随... 目录为什么需要这个方案完整解决方案1. 项目目录结构2. 创建智能下载脚本3. 创建包清单生成脚本4

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security?—— 核心思想二、如何在 Java 项目中使用?——

SpringBoot+RustFS 实现文件切片极速上传的实例代码

《SpringBoot+RustFS实现文件切片极速上传的实例代码》本文介绍利用SpringBoot和RustFS构建高性能文件切片上传系统,实现大文件秒传、断点续传和分片上传等功能,具有一定的参考... 目录一、为什么选择 RustFS + SpringBoot?二、环境准备与部署2.1 安装 RustF