分布式存储系统中的纠删码技术:可局部再生修复技术
首页>>后端开发>>正文

目录






    01

    分布式存储系统与纠删码技术背景

    分布式存储是当代大数据的基本存在形式,在工业界和学术界已经得到深入研究和高度重视,为了解决大规模存储带来的磁盘故障,跨节点直接复制数据包存储是最简单的解决方案。分布式存储能增强存储系统可靠性、柔性生存力、抗数据损毁风险;是实现网络热点访问负载均衡的技术途径、提高边缘计算的处理效率;能达成数据共享服务和隐私保护的便利性。





    02

    存储系统局部再生修复技术的兴起

    数据编码分布式存储有明显的短板,从而提出分布式存储的局部可修复问题和热数据节点负载平衡问题。归纳为发展局部再生修复编码技术的源动力包括减少修复成本以提高维护效率,负载均衡与边缘计算服务。当今分布式存储的新需求是节点数据间接访问的局部重构开销问题和节点数据的局部修复开销问题。


    03

    局部可修复码LRC及其技术发展态势

    分布式存储的局部修复码LRC是一个欲求解的科学问题,分布式数据的局部再生的性能参数直接的制约博弈关系。分布式存储的局部修复码研究现状:LRC码性能界的上限和LRC纠删码的具体构造办法,此处列举了实例和成果。


    04

    Remarks and Summary

    从应用需求看,LRC或RGC纠删码尚存在的不足和倾向如下:

    LRC和RGC纠删码的研究存在瓶颈,未来十年需要大家一起挑战存储纠删码,提升优异技术性能。


    随着计算机技术和存储技术的发展,数据正以爆炸式的速度增长,海量数据对存储系统提出了巨大的挑战。纠删码技术以牺牲CPU计算量和网络负载为代价,提高存储空间利用率,同时提供近似副本的可靠性。
    本篇文章聚焦于分布式存储系统中的纠删码技术,将丰富的理论和工程实践经验加以糅合,探讨可局部再生修复纠删码技术用于提高分布式存储可靠性的实质问题,有助于存储产业在分布式存储架构层面上不断探索和完善。



    参考链接:https://mp.weixin.qq.com/s/BSihIID8nOEF9_cda5M70Q






    给TA打赏
    共{{data.count}}人
    人已打赏

    相关文章

    英特尔进军比特币挖矿设备市场

    英特尔进军比特币挖矿设备市场

    本文由半导体产业纵横综合   英特尔总部位于加利福尼亚州圣克拉拉   英特尔公司的新比特币挖矿芯片可能会成为多年来主导市场的中国挖矿设备制造商的第一个主要挑战者。   这家总部位于加利福尼亚州圣克拉拉的芯片制造巨头本月早些时候公布了其加密挖矿计划,并于1月份推出了第一代Bonanza Mine芯片。Jack Dorsey 的数字支付公司Block Inc.以及两家矿业公司Griid Infrastructure 和Argo Blockchain将在今年晚些时候收到第一批芯片。 &nbs

    浅谈铁电存储器:如何实现下一代内存计算?

    浅谈铁电存储器:如何实现下一代内存计算?

    本文由半导体产业纵横编译自technews 因应人工智能、物联网、5G、车载等新兴科技所迎来的巨量资讯分析需求,近年来各国政府及国际知名大厂皆积极地投注大量资源,加速开发兼具提升运算速度以及降低耗能的下世代存储器。而新兴存储器技术选项中,当属铁电存储器最被看好,其原理、技术挑战与未来机会为何?(本文出自中国台湾清华大学工程与系统科学系巫勇贤教授,于闳康科技“科技新航道合作专栏”介绍《铁电存储器的原理、挑战与展望》文稿,经科技新报修编为上下两篇,此篇为上篇。)    Memory-Centric

    利用 eBPF 支撑大规模 Kubernetes Service

    利用 eBPF 支撑大规模 Kubernetes Service

    本文翻译自 2019 年 Daniel Borkmann 和 Martynas Pumputis 在 Linux Plumbers Conference 的一篇分享:《Making the Kubernetes Service Abstraction Scale using eBPF》。翻译时对大家耳熟能详或已显陈旧的内容(Kubernetes 介绍、Cilium 1.6 之前的版本对 Service 实现等)略有删减,如有需要请查阅原 PDF(文末有下载方式)。 实际上,一年之后 Daniel 和 Martyna

    Cilium:基于 BPF/XDP 实现 Kubernetes Service 负载均衡

    Cilium:基于 BPF/XDP 实现 Kubernetes Service 负载均衡

    本文翻译自 2020 年 Daniel Borkmann 和 Martynas Pumputis 在 Linux Plumbers Conference 的一篇分享:《Kubernetes service load-balancing at scale with BPF & XDP》。文章介绍了 Kubernetes 的一些核心网络模型和设计、Cilium 对 Kubernetes Service 的实现、BPF/XDP 性能优化,以及他们从中得到的一些实践经验,全是干货。 去年我们也参加了这个大会(LPC
    后端开发

    分布式锁在存储系统中的技术实践

    2021-5-28 15:20:54

    云原生后端开发

    60道重要的Kubernetes面试题

    2021-5-28 15:41:05

    0 条回复 A文章作者 M管理员
      暂无讨论,说说你的看法吧
    个人中心
    购物车
    优惠劵
    今日签到
    有新私信 私信列表
    搜索