企业高并发的成熟解决方案

2024-04-07 11:58

本文主要是介绍企业高并发的成熟解决方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

高并发初期解决方案:

一、系统或服务器级别解决方案:

①增大服务器的CPU

②增加内存条

③增加硬盘个数,对硬盘做Radis

④换掉免费的tomcat,使用商用weblogic(美国Oracle公司出品的)

⑤增加到二块网卡

⑥聘请系统架构师优化Linux内核

⑦甚至花高价直接购买高性能的服务器

随着业务的不断增加,服务器性能很快又达到瓶颈

二、 应用级别的解决方案

① 网页HTML静态化(需要CMS项目支持)

②图片服务器分离(常用解决方案)

③缓存(常用解决方案)上上策为分布式缓存

④ 镜像(下载较多)

三、解决用户IP多了的办法是?

开始使用DNS:

缺点:虽然循环复用DNS是一个普遍使用的在Web服务器上负载平衡的解决方案,但是,该方式有它自身的缺陷。循环复用DNS将传入的IP请求映射到定义的一系列循环形式的服务器。一旦发生服务器故障,循环复用DNS继续把请求发送到这个故障服务器,一直到把该服务器从DNS中移走为止。这样许多用户必须等到DNS连接超时以后才能成功的访问目的网站。

终极解决方案:

采用负载均衡技术

四 、负载均衡

(1) 负载均衡服务器的三大功能:

 ①转发:在用户请求,转发请求的功能

②故障移除:如果这一台机器挂了,负载均衡服务器不会再把请求转发到这台服务器

③恢复添加:如果这一台机器恢复正常了,负载均衡服务器会把它重新添加回来

(2)负载均衡服务器种类--通过软硬件角度:

①通过硬件来解决:NetScaler、F5、Radware和Array等商用的负载均衡器,它们性能好,但是价格比较昂贵的

②通过软件来解决(反向代理服务器 缓存服务器等),三大软件:

LVS(Linux Virtual Server):最好的软件策略,有备机有主机,无单点问题,国产(阿里章文嵩博士)开源项目,工作在网络四层上

Nginx:Ngnix有”单点故障“的问题,如果挂了,会带来很多的麻烦。到了后期Web服务器继续增加,它本身可能会成为系统的瓶颈

nginx最高支持50000个并发连接数,工作在网路七层上

Apache:web服务器第一,但不是最好的负载均衡服务器,工作在网路七层上

LVS对比NGinx

负载度: LVS KO Ngnix

功能多少:Nginx KO LVS

稳定度:LVS KO Nginx

服务器性能要求:LVS KO Nginx

效率最高的负载均衡技术中,最高的就是IP负载均衡技术。IP虚拟服务器软件(IPVS)是在Linux内核中实现的,LVS就是使用的IP负载均衡技术

(3) 常用的高可用方案(HA)都包括两种机器,LVS:

主机    备机

(4) 常用的服务器

tomcat

weblogic(大公司,追求稳定)

(5) 常用数据库

mysql 、oracle 、mssql

称为高可用(HA)

(6) 高并发发生在两处

① 负载均衡服务器

②数据库

(7) 应用服务器会出现的问题和解决方案

①多台服务器下用户登录了,session是如何共享的

②用户请求一号机器时候产生了session,用户请求二号机时候就没有session了,后果就是程序把用户踢到登录页面

解决方案(三种):

①可以把用户的session放在cookie中

优点:解决了session没有的问题

缺点:session放在了用户的浏览器中,是不安全的

②可以把用户的session放在数据库中

优点:解决了session没有的问题

缺点:网站是一个成千上万用户的网站,如果把session放在数据库中,会造成数据库压力太大,从而使得网站不能正常运转

③可以把用户的session放在缓存服务器中

最好的解决方案是放在缓存服务器中

推荐两种缓存服务器:Memcache、Redis

要求:Memecache、Redis必须是集群

(8) 数据库并发

①要求:随着业务量的不断增大,数据库承载能力也要增大

②要求:数据安全,不能丢失

③要求:支持备份+容灾

(9)Hadoop集群和RDMS之间数据处理流程:

①通过sqoop把关系型数据库的数据导入到HDFS中

②把HDFS中的数据经过MapReduce进行计算及处理

③将处理后的解决数据写回到HDFS文件系统

④把结果数据倒回关系型数据库

⑤将关系型数据库的数据形成报表展示

4.分析完企业整体架构后,开始搭建负载均衡服务器,并演示效果

4.1搭建LVS负载均衡,场景描述:

开启四台Linux系统(Centos6.4)

第一台:负载均衡主机

第二台:负载均衡备机

第三台:真实服务器(http服务器)

第四台:真实服务器(http服务器)

http服务器是Apache公司的服务器,在linux系统上自带的,可以直接使用,方便快捷

4.2 准备开始搭建,搭建成功后,演示刚才说的那三个功能

4.2.1验证功能:

①转发功能

②故障移除的功能

③恢复添加的功能

④主机关了,备机是否接管它的工作

环境:window7 系统

VMware虚拟机,在虚拟机上启动四台Centos6.4服务器

i5cpu  500G磁盘  内存:8G

心跳检测机制

4.2.2 三种IP:

负载均衡IP:所在服务器IP

VIP:LVS这个软件的IP,正是我们要访问的IP

192.168.200.201  访问IP

真实服务器RIP(realIP)

4.2.3 IP分配

149: 负载均衡服务器

150: 负载均衡服务器

151: Http服务器

152: Http服务器

4.2.4  启动Http服务器

启动Http服务器命令:

service httpd start

查看防火墙的状态:

service iptable status

关闭防火墙:

service iptables stop

彻底关闭防火墙:

chkconfig iptables off

Http服务器应该不一样,转发的时候才能知道转发到哪里了

cd /var/www/html/

vim index.html

输入内容: I am http 151,保存退出

然后再两台服务器上添加端口

cd  /etc/init.d/

vim  realserver

粘贴内容,保存退出

chmod 755 realserver

service realserver start

ifconfig查看,如果出现一个虚拟ip(lo:0   192.168.200.201),则说明启动成功

4.2.5 搭建负载均衡主机

安装keepalived软件

uname -a 查看当前机器系统内核

上传keepalived软件到服务器目录下:

安装keepalived软件命令:

rpm -ivh keepalived-版本号

查看软件安装在哪里:

rpm -ql   keepalived-版本号

查找配置文件的位置,然后编辑配置文件:

vim /etc/keepalived/keepalived.conf

> /etc/keepalived/keepalived.conf  (>可以用于清除内容)

vim /etc/keepalived/keepalived.conf,复制配置到配置文件里面,wq保存

149防火墙也要记得关闭

启动服务:

service keepalived start

tail -f  /var/message,查看日志信息

4.2.6 验证三大功能

搭建完成,在浏览器输入访问IP(VIP)查看

 VIP(访问IP)http://192.168.200.201 访问IP

1)转发功能:151  152,发现可以在两台HTTP服务器之间切换

2)故障移除: 把152机器手动关掉,再查看效果

service  httpd stop,访问152出现没法连接的效果

在访问VIP发现始终是访问的151机器,证明负载均衡有故障移除的功能

3) 恢复添加

把152机器再手动启动,再查看效果

service httpd start,发现152重新启动了,再 访问VIP发现可以重新再两台ftp服务器之间切换了

证明:负载均衡有恢复添加的功能

4)负载均衡主机关了,备机是否接管它的工作

搭建备机,150机器上搭建,和上面的步骤一样

配置文件中将state  Master修改成state  BACKUP

搭建备机成功

关闭负载均衡主机149机器,查看150机器是否接管它的工作

service keepalived stop

证明负载均衡主机关闭了,备用机确实接管了他的工作

负载均衡主机备机搭建成功,负载均衡的功能验证通过!


备注:

1.201IP是LVS的IP,访问IP(VIP)

2.LVS比例:权重是可以分配的,上面的演示是1:1

3.http是Centos自带的,用tomcat也是可以的,但是用tomcat,要安装JDK,为了节约时间才选用http服务器的

4.两台tomcat服务器和两台Http服务器使用方法是一样的,就是给Tomcat的默认8080端口改成80端口

5.LVS要安装吗?

不需要安装,LVS linux虚拟机,是linux自带的,要求内核是2.6版本以后就支持了,不需要安装

6.windows下安装是非常不专业的,企业级服务器都是用linux服务器(redHat、centos)

7.LVS主机配置的Master,备机配置的BACKUP

8.通过心跳检查机制检查主机宕机了,然后切换到备机(RPC)

9.主机和备机  属性Master和Backup 优先级

原文地址:http://my.oschina.net/bigdataer/blog/486770

这篇关于企业高并发的成熟解决方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/882538

相关文章

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM

MyBatis Plus 中 update_time 字段自动填充失效的原因分析及解决方案(最新整理)

《MyBatisPlus中update_time字段自动填充失效的原因分析及解决方案(最新整理)》在使用MyBatisPlus时,通常我们会在数据库表中设置create_time和update... 目录前言一、问题现象二、原因分析三、总结:常见原因与解决方法对照表四、推荐写法前言在使用 MyBATis

Java死锁问题解决方案及示例详解

《Java死锁问题解决方案及示例详解》死锁是指两个或多个线程因争夺资源而相互等待,导致所有线程都无法继续执行的一种状态,本文给大家详细介绍了Java死锁问题解决方案详解及实践样例,需要的朋友可以参考下... 目录1、简述死锁的四个必要条件:2、死锁示例代码3、如何检测死锁?3.1 使用 jstack3.2

html 滚动条滚动过快会留下边框线的解决方案

《html滚动条滚动过快会留下边框线的解决方案》:本文主要介绍了html滚动条滚动过快会留下边框线的解决方案,解决方法很简单,详细内容请阅读本文,希望能对你有所帮助... 滚动条滚动过快时,会留下边框线但其实大部分时候是这样的,没有多出边框线的滚动条滚动过快时留下边框线的问题通常与滚动条样式和滚动行

Oracle修改端口号之后无法启动的解决方案

《Oracle修改端口号之后无法启动的解决方案》Oracle数据库更改端口后出现监听器无法启动的问题确实较为常见,但并非必然发生,这一问题通常源于​​配置错误或环境冲突​​,而非端口修改本身,以下是系... 目录一、问题根源分析​​​二、保姆级解决方案​​​​步骤1:修正监听器配置文件 (listener.

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》:本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas

Java空指针异常NullPointerException的原因与解决方案

《Java空指针异常NullPointerException的原因与解决方案》在Java开发中,NullPointerException(空指针异常)是最常见的运行时异常之一,通常发生在程序尝试访问或... 目录一、空指针异常产生的原因1. 变量未初始化2. 对象引用被显式置为null3. 方法返回null

python多线程并发测试过程

《python多线程并发测试过程》:本文主要介绍python多线程并发测试过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、并发与并行?二、同步与异步的概念?三、线程与进程的区别?需求1:多线程执行不同任务需求2:多线程执行相同任务总结一、并发与并行?1、

宝塔安装的MySQL无法连接的情况及解决方案

《宝塔安装的MySQL无法连接的情况及解决方案》宝塔面板是一款流行的服务器管理工具,其中集成的MySQL数据库有时会出现连接问题,本文详细介绍两种最常见的MySQL连接错误:“1130-Hostisn... 目录一、错误 1130:Host ‘xxx.xxx.xxx.xxx’ is not allowed