FairScheduler源码队列饥饿

2024-06-16 20:08

本文主要是介绍FairScheduler源码队列饥饿,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

小于最低资源保障量的队列,呈饥饿状态。

 protected Resource resToPreempt(FSLeafQueue sched, long curTime) {long minShareTimeout = sched.getMinSharePreemptionTimeout();long fairShareTimeout = sched.getFairSharePreemptionTimeout();Resource resDueToMinShare = Resources.none();Resource resDueToFairShare = Resources.none();if (curTime - sched.getLastTimeAtMinShare() > minShareTimeout) {  /sched.getLastTimeAtMinShare(),主要他不是饥饿的就会一直更新该时间Resource target = Resources.min(RESOURCE_CALCULATOR, clusterResource,sched.getMinShare(), sched.getDemand());resDueToMinShare = Resources.max(RESOURCE_CALCULATOR, clusterResource,Resources.none(), Resources.subtract(target, sched.getResourceUsage()));}///FSleafQueuepublic void updateStarvationStats() {long now = scheduler.getClock().getTime();if (!isStarvedForMinShare()) {setLastTimeAtMinShare(now);}if (!isStarvedForFairShare()) {setLastTimeAtFairShareThreshold(now);}}/*** Is a queue being starved for its min share.*/@VisibleForTestingboolean isStarvedForMinShare() {return isStarved(getMinShare());}//是否有问题//1、最低100,当前需要120 ,desiredShare返回100,看已使用是否小于100,这个没问题//2、最低100,当前需要50,,desiredShare返回50,看已使用是否小于50,已使用为40,bug?private boolean isStarved(Resource share) {Resource desiredShare = Resources.min(FairScheduler.getResourceCalculator(),scheduler.getClusterResource(), share, getDemand());/share为最小资源 getDemand如果大于最大资源则取最大资源return Resources.lessThan(FairScheduler.getResourceCalculator(),scheduler.getClusterResource(), getResourceUsage(), desiredShare);}


这篇关于FairScheduler源码队列饥饿的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1067420

相关文章

Java中常见队列举例详解(非线程安全)

《Java中常见队列举例详解(非线程安全)》队列用于模拟队列这种数据结构,队列通常是指先进先出的容器,:本文主要介绍Java中常见队列(非线程安全)的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一.队列定义 二.常见接口 三.常见实现类3.1 ArrayDeque3.1.1 实现原理3.1.2

C++ RabbitMq消息队列组件详解

《C++RabbitMq消息队列组件详解》:本文主要介绍C++RabbitMq消息队列组件的相关知识,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. RabbitMq介绍2. 安装RabbitMQ3. 安装 RabbitMQ 的 C++客户端库4. A

golang实现延迟队列(delay queue)的两种实现

《golang实现延迟队列(delayqueue)的两种实现》本文主要介绍了golang实现延迟队列(delayqueue)的两种实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录1 延迟队列:邮件提醒、订单自动取消2 实现2.1 simplChina编程e简单版:go自带的time

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂?别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图(Line Plot)——趋势分析2. 柱状图(Bar Chart)——对比分析3

Android实现一键录屏功能(附源码)

《Android实现一键录屏功能(附源码)》在Android5.0及以上版本,系统提供了MediaProjectionAPI,允许应用在用户授权下录制屏幕内容并输出到视频文件,所以本文将基于此实现一个... 目录一、项目介绍二、相关技术与原理三、系统权限与用户授权四、项目架构与流程五、环境配置与依赖六、完整

Android实现定时任务的几种方式汇总(附源码)

《Android实现定时任务的几种方式汇总(附源码)》在Android应用中,定时任务(ScheduledTask)的需求几乎无处不在:从定时刷新数据、定时备份、定时推送通知,到夜间静默下载、循环执行... 目录一、项目介绍1. 背景与意义二、相关基础知识与系统约束三、方案一:Handler.postDel

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

Redis消息队列实现异步秒杀功能

《Redis消息队列实现异步秒杀功能》在高并发场景下,为了提高秒杀业务的性能,可将部分工作交给Redis处理,并通过异步方式执行,Redis提供了多种数据结构来实现消息队列,总结三种,本文详细介绍Re... 目录1 Redis消息队列1.1 List 结构1.2 Pub/Sub 模式1.3 Stream 结

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

SpringKafka错误处理(重试机制与死信队列)

《SpringKafka错误处理(重试机制与死信队列)》SpringKafka提供了全面的错误处理机制,通过灵活的重试策略和死信队列处理,下面就来介绍一下,具有一定的参考价值,感兴趣的可以了解一下... 目录引言一、Spring Kafka错误处理基础二、配置重试机制三、死信队列实现四、特定异常的处理策略五