Elasticsearch同步mysql(logstash-input-jdbc)和一些查询问题

本文主要是介绍Elasticsearch同步mysql(logstash-input-jdbc)和一些查询问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

linux环境下:

安装logstash:
1.下载公共密钥

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2.添加yum源

vim  /etc/yum.repos.d/logstash.repo
文件中写入:
[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3.使用yum安装

yum install logstash

4.验证是否安装成功
进入 logstash 安装目录

cd /usr/share/logstash
运行

bin/logstash -e 'input { stdin { } } output { stdout {} }'
等待几秒钟 出现

The stdin plugin is now waiting for input:

然后输入
hello world

看到出现输入内容为成功


安装logstash-input-jdbc插件:

1.修改ruby仓库镜像
如果没有安装 gem 的话 安装gem

yum install gem
替换国内的镜像

gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/
验证是否成功

gem sources -l

出现上面的url为成功


修改Gemfile的数据源地址:

whereis logstash # 查看logstash安装的位置, 默认在 /usr/share/logstash目录

cd /usr/share/logstash
vim Gemfile
修改 source 的值 为: "https://gems.ruby-china.org/"

vim  Gemfile.jruby-1.9.lock # 找到 remote 修改它的值为:https://gems.ruby-china.org/

然后开始安装
bin/logstash-plugin  install logstash-input-jdbc
安装过程没有进度条,所以不要以为一直卡着,我之前以为一直卡着手动停止一次


2.开始同步 mysql 数据

需要的文件有:  一个  .conf文件, X个 .sql 文件(X>=0,可以不需要)

去mysql官网下载一个 mysql 的Java 驱动包  : mysql-connector-java-5.1.44-bin.jar

下面是导入多张表的.conf配置文件:

input {stdin {}jdbc {# 需要连接的数据库jdbc_connection_string => "jdbc:mysql://xxx.xxx.xxx.xxx:3306/dbname"jdbc_user => "root"jdbc_password => "xxxxx"# jdbc驱动所在的路径jdbc_driver_library => "mysql-connector-java-5.1.44-bin.jar"# 默认jdbc_driver_class => "com.mysql.jdbc.Driver"# 默认jdbc_paging_enabled => "true"# 默认jdbc_page_size => "50000"# 需要执行的sql文件statement_filepath => "estest1.sql"# statement => "这样可以直接写sql语句而不用sql文件,适合短sql"schedule => "* * * * *"# 这个type有用,但是如果你的表中有type字段,并且你需要这个字段,要么sql中用as重命名,要么这里的type改名字type => "a_data"}jdbc {jdbc_connection_string => "jdbc:mysql://xxx.xxx.xxx.xxx:3306/dbname"jdbc_user => "root"jdbc_password => "xxxx"jdbc_driver_library => "mysql-connector-java-5.1.44-bin.jar"jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"statement_filepath => "esztest2.sql"schedule => "* * * * *"type => "b_data"}jdbc {jdbc_connection_string => "jdbc:mysql://xxx.xxx.xxx.xxx:3306/dbname"jdbc_user => "root"jdbc_password => "xxxx"jdbc_driver_library => "mysql-connector-java-5.1.44-bin.jar"jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"statement_filepath => "estest3.sql"schedule => "* * * * *"type => "c_data"}
}output {# 通过上面定义的type来区分if[type] == "a_data"{elasticsearch {hosts  => "xxx.xxx.xxx.xxx:9200"# 索引index => "estest"# 文档typedocument_type => "a_data"# 文档id,这个是将sql中的id字段当作文档id,如果sql中没有id找一个唯一值字段as成iddocument_id => "%{id}"}}if[type] == "b_data"{elasticsearch {hosts  => "xxx.xxx.xxx.xxx:9200"index => "estest"document_type => "b_data"document_id => "%{id}"}}if[type] == "exit_data"{elasticsearch {hosts  => "xxx.xxx.xxx.xxx:9200"index => "estest"document_type => "c_data"document_id => "%{id}"}}# 控制台输出内容stdout {codec => json_lines}
}

这样就同步四张表

sql文件就按各自需求写

SELECT * FROM xxx WHERE update_time> :sql_last_value 

可以通过update_time这段进行增量同步(也可以通过唯一id),如果没有where就全量同步


在es查询中出现一个问题,至今没有找到原因,搜索长的long数据无法搜索到,但是一两位的long数据却可以搜素到,这个很无解,我只能在同步时将mysql的数字类型通过CONVERT函数进行类型转换

SELECT CONVERT(e.`xx_id`,CHAR) as xx_id, FROM xxx e WHERE update_time> :sql_last_value
这样进入es中的数据都是字符串


有时候将es取代mysql复杂查询,sql中有类似(a or b) and (c or d or e or f)  and g 这样的判断语句

es的查询如下:

{"query": {"bool": {# must是完全匹配,相当于AND"must": [{"match": {"g": "1111"}},{"bool": {# should 相当于OR"should": [{"match": {"a": "1789104"}},{"match": {"b": "1789104"}}]}},{"bool": {"should": [{"match": {"c": "有限公司"}},{"match": {"d": "有限公司"}},{"match": {"e": "有限公司"}},{"match": {"f": "有限公司"}}]}}],# must_not 不能匹配"must_not": [],"should": []}},# 起始数据"from": 0,# 结尾数据"size": 20,"sort": [],"aggs": {}
}
这条查询语句就是sql的(a or b) and (c or d or e or f)  and g

就是通过must(AND),should(OR),bool包裹的组合来实现复杂的匹配查询

es搜索中碰到无法确定关键字是中英文还是数字,但是要做到相对精准的匹配,可以使用通配符或者正则(正则我没有用过不清楚,通配符在字母数字或者两者组合有效)

下面是一个(a or b) and (c or d)的匹配,其中c用到了“wildcard“这个关键字是用于通配符模式,这里有点要注意的,因为ES内部的机制,即使head中看到的数据是大写字母,但是用大写字母是匹配是匹配不到的,只有用小写才可以,所以为了用户体验好点,可以将用户输入的字母都转成小写再匹配

{"query": {"bool": {"must": [{"bool": {"should": [{"match": {"a": "18396893"}},{"match": {"b": "18396893"}}]}},{"bool": {"should": [{"wildcard": {"c": "*3zz*"}},{"match": {"d": "项目名称"}}]}}],"must_not": [],"should": []}},"from": 0,"size": 20,"sort": [],"aggs": {}
}




这篇关于Elasticsearch同步mysql(logstash-input-jdbc)和一些查询问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1110791

相关文章

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数

解决Entity Framework中自增主键的问题

《解决EntityFramework中自增主键的问题》:本文主要介绍解决EntityFramework中自增主键的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录Entity Framework中自增主键问题解决办法1解决办法2解决办法3总结Entity Fram

k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)

《k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)》本文记录在K8s上运行的MySQL/MariaDB备份方案,通过工具容器执行mysqldump,结合定时任务实... 目录前言一、获取需要备份的数据库的信息二、备份步骤1.准备工作(X86)1.准备工作(arm)2.手

详解MySQL中DISTINCT去重的核心注意事项

《详解MySQL中DISTINCT去重的核心注意事项》为了实现查询不重复的数据,MySQL提供了DISTINCT关键字,它的主要作用就是对数据表中一个或多个字段重复的数据进行过滤,只返回其中的一条数据... 目录DISTINCT 六大注意事项1. 作用范围:所有 SELECT 字段2. NULL 值的特殊处

MySQL 用户创建与授权最佳实践

《MySQL用户创建与授权最佳实践》在MySQL中,用户管理和权限控制是数据库安全的重要组成部分,下面详细介绍如何在MySQL中创建用户并授予适当的权限,感兴趣的朋友跟随小编一起看看吧... 目录mysql 用户创建与授权详解一、MySQL用户管理基础1. 用户账户组成2. 查看现有用户二、创建用户1. 基

MySQL 打开binlog日志的方法及注意事项

《MySQL打开binlog日志的方法及注意事项》本文给大家介绍MySQL打开binlog日志的方法及注意事项,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录一、默认状态二、如何检查 binlog 状态三、如何开启 binlog3.1 临时开启(重启后失效)

SQL BETWEEN 语句的基本用法详解

《SQLBETWEEN语句的基本用法详解》SQLBETWEEN语句是一个用于在SQL查询中指定查询条件的重要工具,它允许用户指定一个范围,用于筛选符合特定条件的记录,本文将详细介绍BETWEEN语... 目录概述BETWEEN 语句的基本用法BETWEEN 语句的示例示例 1:查询年龄在 20 到 30 岁

MySQL DQL从入门到精通

《MySQLDQL从入门到精通》通过DQL,我们可以从数据库中检索出所需的数据,进行各种复杂的数据分析和处理,本文将深入探讨MySQLDQL的各个方面,帮助你全面掌握这一重要技能,感兴趣的朋友跟随小... 目录一、DQL 基础:SELECT 语句入门二、数据过滤:WHERE 子句的使用三、结果排序:ORDE

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

mysql中insert into的基本用法和一些示例

《mysql中insertinto的基本用法和一些示例》INSERTINTO用于向MySQL表插入新行,支持单行/多行及部分列插入,下面给大家介绍mysql中insertinto的基本用法和一些示例... 目录基本语法插入单行数据插入多行数据插入部分列的数据插入默认值注意事项在mysql中,INSERT I