信息存储系统教育部重点实验室 English Version

博士生于金玉论文《TERMS: Task Management Policies to Achieve High Performance for Mixed Workloads Using Surplus Resources》被JPDC录用

点击次数:发布时间:2022-08-31 16:27作者:

为了降低运营成本,互联网企业将多种工作负载部署在同一集群中。虽然负载不同的资源需求使得部署混合负载部署成为可能,但是该方法使得负载面临资源竞争和性能干扰等问题,严重影响应用的服务质量。现有解决方案通过从批量作业中抢占资源来满足延迟敏感型任务的资源需求,进而保证敏感延迟服务的服务质量。但是直接抢占批处理任务资源的方式会导致批处理作业有很大的性能损失。此外,谷歌、阿里巴巴等企业开源的集群跟踪数据显示集群中许多任务并没有充分利用分配给它们的资源,从而导致集群资源浪费。

信息存储与光显示功能实验室博士生于金玉,在冯丹教授、童薇副教授的指导下,基于CERES设计实现了面向混合负载的使用冗余资源改善性能的任务管理策略TERMS。TERMS主要包括三类管理策略。任务调度策略可以根据任务的关联性预先放置新的任务。任务选择策略根据任务资源需求和公平性来选择资源回收与恢复的批处理任务。必要时,节点选择策略可以根据任务相关性和节点资源信息选择合适的目标节点,以便在消除掉队任务时进行任务在线迁移。测试结果表明TERMS可以进一步提高延迟敏感型服务和批量作业的性能,减少管理开销并避免出现操作失败的情形。

Top