adainf专题

AdaInf: Data Drift Adaptive Scheduling 阅读笔记

论文原文链接 文章目录 摘要一、背景、动机和主要贡献背景动机主要问题研究挑战 主要贡献 二、实验分析数据漂移对准确性的影响推理的早期退出结构最优请求批处理大小GPU内存通信 三、AdaInf系统设计概览数据漂移感知再训练-推理DAG生成决定数据漂移影响生成再训练推理DAG 数据漂移感知GPU时空分配GPU space division among applications应用程序的DAG顶点