分布式文件系统在大规模数据处理场景中被广泛使用。在分布式文件系统中,元数据服务位于关键路径,往往成为性能瓶颈。现有的元数据服务方案采用扁平化的元数据管理和全路径索引来保证容量和带宽的高可扩展性。然而,这些方法无法提供可靠延迟。首先,为了保证安全,文件系统具有分层权限检测机制,这与全路径索引方式产生冲突,无法充分发挥后者的优势。其次,分布式文件系统中包含超大规模目录,对扁平化元数据管理方式提出挑战。
信息存储与光显示功能实验室博士生董超,在王芳教授的指导下,提出了针对分布式文件系统设计的低延迟可扩展的全路径索引元数据服务Duplex。首先,Duplex包含两类支持分层权限检查机制的访问路径,分别为低延迟的快速路径和高可扩展的慢速路径。在快速路径上,用户请求通过单节点的权限服务器完成权限查询。在慢速路径上,Duplex并行解析路径获取权限查询结果。其次,Duplex设计了压缩权限树方案来减轻单节点权限服务器的负载。最后,Duplex基于双层哈希的方式提出了一种新的扁平化元数据管理方式,减少了超大规模目录的访问延迟。与现有先进的元数据管理方案相比,Duplex在基准测试MDTest中减少了84%的平均延迟和88.2%的P99延迟。