Solr Centos6.5下搭建solr-7.7.2集群solrcloud+DIH操作

2023-10-24 17:59

本文主要是介绍Solr Centos6.5下搭建solr-7.7.2集群solrcloud+DIH操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上一篇介绍了单机版的搭建,现在来介绍集群版的搭建

什么是SolrCloud

        SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud满足这些需求。

         SolrCloud不同于redis集群自带集群,SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能:

1)集中式的配置信息

2)自动容错

3)近实时搜索

4)查询时自动负载均衡

SolrCloud结构        SolrCloud为了降低单机的处理压力,需要由多台服务器共同来完成索引和搜索任务。实现的思路是将索引数据进行Shard(分片)拆分,每个分片由多台的服务器共同完成,当一个索引或搜索请求过来时会分别从不同的Shard的服务器中操作索引。

        SolrCloud需要Solr基与zookeeper部署,Zookeeper是一个集群管理软件,由于SolrCloud需要由多台服务器组成,由zookeeper来进行协调管理。

下图是一个SolrCloud应用的例子:

物理结构:

        三个Solr实例( 每个实例包括两个Core),组成一个SolrCloud。

逻辑结构:

        索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。

core:

        每个Core是Solr中一个独立运行单位,提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

Master&Slave:

        Master是master-slave构中的主结点(通常说主服务器),Slave是master-slave结构中的从结点(通常说从服务器或备服务器)。同一个Shard下master和slave存储的数据是一致的,这是为了达到高可用目的

SolrCloud搭建

1.先从hadoop-001复制已经配置好的Tomcat和solrhome到hadoop-002,hadoop-003,如下图

 

搭建环境

OS:CentOS 6.5

JDK:jdk 1.8.0

Tomcat:tomcat 8.5

zookeeper:zookeeper 3.4.6

solr:solr 7.7.2

让每一台solr和zookeeper关联:

        修改每一份solr的tomcat的bin目录下的catalina.sh文件,加入DzkHost指定zookeeper服务器地址,将zookeeper地址列表作为参数传过去:


   JAVA_OPTS="-DzkHost=hadoop-001:2181,hadoop-003:2181,hadoop-002:2181"


       注:JAVA_OPTS赋值的位置一定要放在引用该变量之前,可以使用vim查找功能查找到JAVA_OPTS的定义位置,然后添加

 

分别对hadoop-001、hadoop-002、hadoop-003,修改solrhome中的solr.xml!!!!!!!!!!!巨坑


<str name="host">${host:hadoop-001}</str>
<int name="hostPort">8080</int>
<str name="hostContext">${hostContext:solr}</str>


访问solrCloud

访问集群中的任意一台solr均可,可以看到相较于单机版,多了一个Cloud:

在solrhome下·建立new_core文件夹

把/home/hadoop/solr-7.7.2/server/solr/configsets/_default/conf复制到该文件夹下面


cp -r /home/hadoop/solr-7.7.2/server/solr/configsets/_default/conf  /home/hadoop/solrhome/new_core


在solrconfig.xml上添加如下配置 


<requestHandler name="/dataimport" class="solr.DataImportHandler"> <lst name="defaults"> <str name="config">data-config.xml</str> </lst> </requestHandler>


新建data-config.xml文件如下


<?xml version="1.0" encoding="UTF-8" ?><dataConfig><dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://hadoop-001:3306/solr" user="root" password="123456" /><document><entity name="product" query="select * from product"><field column="pid" name="id" /><field column="pname" name="pname" /><field column="catalog" name="catalog" /><field column="catalog_name" name="catalog_name" /><field column="price" name="price" /><field column="description" name="description" /> <field column="picture" name="picture" /></entity> </document> </dataConfig>


在managed-schema上添加以下配置


<!-- Product --><!--配置从数据库导入到sorl中的数据的字段内容,所以每次要从数据库导入什么就需要配置什么--><field name="pname" type="text_ik" indexed="true" stored="true"/><field name="price" type="pfloat" indexed="true" stored="true"/><field name="description" type="text_ik" indexed="true" stored="false"/><field name="picture" type="string" indexed="false" stored="true"/><field name="catalog_name" type="string" indexed="true" stored="true"/><field name="keywords" type="text_ik" indexed="true" stored="false" multiValued="true" /><copyField source="pname" dest="keywords" /><copyField source="description" dest="keywords" />


solrCloud集群配置

 使用zookeeper统一管理solr配置文件:

        使用zookeeper统一管理solr的配置文件(主要是schema.xml、solrconfig.xml),solrCloud各各节点使用zookeeper管理的配置文件,由于这里是直接复制的之前单机版配置好的solrhome(添加了一个中文分词器,定义了业务域)所以配置文件就不需要再修改了,直接交给zookeeper管理就好了。

        进入/home/hadoop/solr-7.7.2/server/scripts/cloud-scripts目录下:


/home/hadoop/solr-7.7.2/server/scripts/cloud-scripts/zkcli.sh  -zkhost hadoop-001:2181,hadoop-002:2181,hadoop-003:2181 -cmd upconfig -confdir /home/hadoop/solrhome/new_core/conf -confname productconf


 

 如下图,即可创建collection

如下图·,关于new_core2,有三个shard分片,而shard1有一个主节点和一个备份节点

 进行DIH操作

数据库数据文件如下

导入数据

 查询如下:

这篇关于Solr Centos6.5下搭建solr-7.7.2集群solrcloud+DIH操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/276848

相关文章

sysmain服务可以禁用吗? 电脑sysmain服务关闭后的影响与操作指南

《sysmain服务可以禁用吗?电脑sysmain服务关闭后的影响与操作指南》在Windows系统中,SysMain服务(原名Superfetch)作为一个旨在提升系统性能的关键组件,一直备受用户关... 在使用 Windows 系统时,有时候真有点像在「开盲盒」。全新安装系统后的「默认设置」,往往并不尽编

Python自动化处理PDF文档的操作完整指南

《Python自动化处理PDF文档的操作完整指南》在办公自动化中,PDF文档处理是一项常见需求,本文将介绍如何使用Python实现PDF文档的自动化处理,感兴趣的小伙伴可以跟随小编一起学习一下... 目录使用pymupdf读写PDF文件基本概念安装pymupdf提取文本内容提取图像添加水印使用pdfplum

Python从Word文档中提取图片并生成PPT的操作代码

《Python从Word文档中提取图片并生成PPT的操作代码》在日常办公场景中,我们经常需要从Word文档中提取图片,并将这些图片整理到PowerPoint幻灯片中,手动完成这一任务既耗时又容易出错,... 目录引言背景与需求解决方案概述代码解析代码核心逻辑说明总结引言在日常办公场景中,我们经常需要从 W

Linux搭建ftp服务器的步骤

《Linux搭建ftp服务器的步骤》本文给大家分享Linux搭建ftp服务器的步骤,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录ftp搭建1:下载vsftpd工具2:下载客户端工具3:进入配置文件目录vsftpd.conf配置文件4:

使用Python的requests库来发送HTTP请求的操作指南

《使用Python的requests库来发送HTTP请求的操作指南》使用Python的requests库发送HTTP请求是非常简单和直观的,requests库提供了丰富的API,可以发送各种类型的HT... 目录前言1. 安装 requests 库2. 发送 GET 请求3. 发送 POST 请求4. 发送

Redis中哨兵机制和集群的区别及说明

《Redis中哨兵机制和集群的区别及说明》Redis哨兵通过主从复制实现高可用,适用于中小规模数据;集群采用分布式分片,支持动态扩展,适合大规模数据,哨兵管理简单但扩展性弱,集群性能更强但架构复杂,根... 目录一、架构设计与节点角色1. 哨兵机制(Sentinel)2. 集群(Cluster)二、数据分片

Python使用python-pptx自动化操作和生成PPT

《Python使用python-pptx自动化操作和生成PPT》这篇文章主要为大家详细介绍了如何使用python-pptx库实现PPT自动化,并提供实用的代码示例和应用场景,感兴趣的小伙伴可以跟随小编... 目录使用python-pptx操作PPT文档安装python-pptx基础概念创建新的PPT文档查看

MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

《MySQL数据库表操作完全指南:创建、读取、更新与删除实战》本文系统讲解MySQL表的增删查改(CURD)操作,涵盖创建、更新、查询、删除及插入查询结果,也是贯穿各类项目开发全流程的基础数据交互原... 目录mysql系列前言一、Create(创建)并插入数据1.1 单行数据 + 全列插入1.2 多行数据

MySQL 临时表与复制表操作全流程案例

《MySQL临时表与复制表操作全流程案例》本文介绍MySQL临时表与复制表的区别与使用,涵盖生命周期、存储机制、操作限制、创建方法及常见问题,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友跟随小... 目录一、mysql 临时表(一)核心特性拓展(二)操作全流程案例1. 复杂查询中的临时表应用2. 临时

MySQL 数据库表与查询操作实战案例

《MySQL数据库表与查询操作实战案例》本文将通过实际案例,详细介绍MySQL中数据库表的设计、数据插入以及常用的查询操作,帮助初学者快速上手,感兴趣的朋友跟随小编一起看看吧... 目录mysql 数据库表操作与查询实战案例项目一:产品相关数据库设计与创建一、数据库及表结构设计二、数据库与表的创建项目二:员