信息存储系统教育部重点实验室 English Version

博士生干创的论文被会议FAST 2025录用

点击次数:发布时间:2025-01-06 16:15作者:干创

纠删码(Erasure Code)被广泛部署在分布式存储系统中来保证数据可靠性,同时降低存储成本。最小存储再生码(Minimum-storage regenerating codes, MSR码)是修复理论最优的纠删码,它能在保证最优存储效率的前提下,最小化修复带宽开销。当前对于编码理论和系统领域的研究,主要聚焦于系统(Systematic)MSR 码,系统MSR码存储的条带中会保留原始数据块以便系统直接访问。然而,现有系统MSR码会将数据块分成许多小的分片,在修复时通过访问非连续的多个分片来最小化带宽开销。而系统MSR码的实际修复性能会受非连续的I/O操作影响而导致性能降低,当数据块大小较小时性能下降尤为严重。

图1 RS码,非系统MSR码和系统MSR码的单块修复对比图

信息存储及应用实验室博士生干创,在胡燏翀教授的指导下,撰写的研究论文“Revisiting Network Coding for Warm Blob Storage”围绕再生码在warm blob storage的实际应用展开了深入研究。Warm blob storage最初由Facebook提出,用于存储大量不经常访问,但又需要在一定时间内能够获取的数据(例如朋友圈的历史照片)。该论文针对warm blob storage中大量小blob对象,提出了低分片的再生码方案,解决了现有理论最优系统MSR码因分片数过多而导致小blob对象降级读性能大幅下降的问题,并结合blob对象的访问局部性保障了低分片再生码的正常读性能。同时结合所提低分片再生码方案和理论最优系统MSR码方案的优势设计并实现了基于混合再生码的blob存储系统NCBlob。在微软Azure云提供的真实blob数据集上的实验结果表明,与现有最优的系统 MSR 码方案相比,NCBlob在单块修复时间上最多降低了45.0%,在全节点修复时间上最多降低了38.4%,而读取吞吐量最低仅损失了2.1%。

图2 针对具有不同局部性blob的两种编码方案示意图

Top