美光异构内存存储引擎HSE:针对存储级内存和闪存进行优化
首页>>企业存储>>正文

目录


    40多年来,美光一直是创新领域的领导者。存储社区之前介绍过与之相关的DRAM,NAND,SSD,GDDR,NVDIMM和3D XPoint等技术方面的突破,这在存储和内存领域是相当成功的!不可否认对于硬件厂商而言这是一个很好的的卖点,但是软件方面呢?


    最近美光宣布将为开源社区贡献一个异构内存存储引擎(Heterogeneous-Memory Storage Engine),简称为HSEHSE是为基于NAND闪存或永久性存储器的SSD设计的可嵌入键值存储。HSE通过协调跨DRAM和多种SSD或其他固态存储的数据放置来优化性能和耐久性。


    值得说明的是异构内存存储引擎HSE是主机级软件,而不是设备级软件。HSE可与SSD和存储类内存配合使用,并可扩展到新接口和存储设备,以用于跨数据库,IoT,5G,AI,HPC和对象存储的应用程序。

    该软提供了一个数据库存储引擎,可以加速各种存储应用程序(例如数据库和对象存储)的性能。存储引擎将数据库之类的应用程序连接到存储驱动器及其控制器,并使它们能够直接与驱动器通信,但它却不是实际的驱动器控制器。美光的HSE代码位于主机中,并取代了现有标准的存储IO堆栈,因此需要与应用程序集成,而美光通过将HSE开源从而促进了这种集成。


    美光公司已经使用YCSB(Yahoo Cloud Serving Benchmark)工作负载和四个Micron 9300 SSD在RocksDB存储引擎上测试了启用HSE的工作负载。HSE将性能吞吐量提高了6倍,将延迟降低了11倍,并将闪存寿命延长了7倍。它通过减少写入放大(WA:write amplification)来实现。


    美光还将HSE与MongoDB集成在一起,并声称吞吐量提高了8倍。以下是它的主要特点和好处。


    主要特点

    • 标准和高级键值运算符

    • 快照隔离的完整事务跨越多个独立的键值集合

    • 用于遍历快照视图的游标

    • 用于在单个数据存储中优化混合用例工作负载的数据模型

    • 灵活的耐用性控制

    • 可配置的数据编排方案

    • 可以嵌入任何应用程序中的C API库


    好处

    • 每个存储可扩展至TB级数据和数千亿个密钥

    • 有效处理数千个并发操作

    • 与许多工作负载的常见替代方案相比,显着提高了吞吐量,延迟,写放大和读放大

    • (可选)结合多种固态存储,以优化性能和耐用性




    我们认为,美光的HSE计划在某种程度上是为了鼓励第三方供应商修改其应用程序,以使其与即将推出的3D XPoint SSD驱动器一起使用。


    Ceph是HSE潜在的集成候选者,红帽企业Linux副总裁兼总经理Stefanie Chiras在公告中说:“我们看到美光科技正在引入的技术具有巨大的潜力,特别是因为它采用了创新的方法来降低计算,内存和存储资源之间的延迟。”


    对象存储供应商Scality的CTO布拉德·金(Brad King)支持说到:“我们的存储软件不仅可以在成本最低的商品硬件上以最简单的工作负载运行(便宜而好用),它也可以利用闪存,存储类内存和SSD等技术的性能优势满足非常苛刻的工作负载。”


    美光的HSE技术无需权衡就可以增强并不断优化闪存性能,延迟和SSD耐久性的能力,相信在不久的将来可以为NoSQL,软件定义存储(SDS),高性能计算(HPC),大数据,物联网(IoT)和人工智能(AI)解决方案提供动力。




    参考链接:

    https://blocksandfiles.com/2020/04/29/micron-reinvents-storage-io-stack-for-ssd-age/

    https://github.com/hse-project/hse/wiki

    https://www.micron.com/about/blog/2020/april/micron-contributes-performance-improving-software-to-open-source-community





    欣赏

    2020年NAND预计将增长40%

    存储系统SPC性能测试排行榜TOP 10

    独家报道:2020年存储用户调查报告(附23页PPT)

    IDC预测2020年服务器和存储市场将萎缩

    给TA打赏
    共{{data.count}}人
    人已打赏

    相关文章

    到 2026 年,中国将消耗 21% 的国内芯片产量

    到 2026 年,中国将消耗 21% 的国内芯片产量

    IC Insights报道称,中国距离半导体自给自足还有很长的路要走。虽然到 2026 年中国的芯片产量将占其国内 IC 市场的 21.2%,但三星、SK 海力士和台积电等外国公司预计将在此期间占中国 IC 产量的 50% 以上。 中国政府在“十四五”规划中将发展半导体产业列为国家优先事项,并计划到 2025 年将 70% 的芯片在中国制造。 IC Insights 将中国的 IC 市场与中国本土的 IC 生产区分开来。尽管中国自 2005 年以来一直是世界上最大的芯片消费国,但这并不一定意味着中国的 IC 产量会

    芯片光刻领导者ASML在中国扩展业务,销售额增长至34%

    芯片光刻领导者ASML在中国扩展业务,销售额增长至34%

    据中国新闻媒体澎湃新闻报道,荷兰芯片光刻领导者ASML周一表示,其在中国的所有项目都在按计划进行,并计划今年招聘200多名员工以扩大市场业务。 在美国千方百计阻止ASML将其最尖端的光刻系统运往中国的背景下,该公司加大对市场的投资充分表明,无论美国多么不愿看到,全球巨头在像 ASML 这样的半导体行业正在中国这个全球最大的半导体消费国进行业务扩张。 生意就是生意。从投资回报率来看,ASML在中国拓展业务是完全合理的选择。据媒体报道,今年第一季度,ASML 在中国大陆的销售额占其光刻系统总销售额的 34%。 中美确实

    英特尔进军比特币挖矿设备市场

    英特尔进军比特币挖矿设备市场

    本文由半导体产业纵横综合   英特尔总部位于加利福尼亚州圣克拉拉   英特尔公司的新比特币挖矿芯片可能会成为多年来主导市场的中国挖矿设备制造商的第一个主要挑战者。   这家总部位于加利福尼亚州圣克拉拉的芯片制造巨头本月早些时候公布了其加密挖矿计划,并于1月份推出了第一代Bonanza Mine芯片。Jack Dorsey 的数字支付公司Block Inc.以及两家矿业公司Griid Infrastructure 和Argo Blockchain将在今年晚些时候收到第一批芯片。 &nbs

    浅谈铁电存储器:如何实现下一代内存计算?

    浅谈铁电存储器:如何实现下一代内存计算?

    本文由半导体产业纵横编译自technews 因应人工智能、物联网、5G、车载等新兴科技所迎来的巨量资讯分析需求,近年来各国政府及国际知名大厂皆积极地投注大量资源,加速开发兼具提升运算速度以及降低耗能的下世代存储器。而新兴存储器技术选项中,当属铁电存储器最被看好,其原理、技术挑战与未来机会为何?(本文出自中国台湾清华大学工程与系统科学系巫勇贤教授,于闳康科技“科技新航道合作专栏”介绍《铁电存储器的原理、挑战与展望》文稿,经科技新报修编为上下两篇,此篇为上篇。)    Memory-Centric
    企业存储后端开发

    2020年NAND预计将增长40%

    2020-4-15 14:26:55

    企业存储后端开发

    一篇文章文看懂Portworx存储集群体系结构

    2020-5-2 15:59:43

    0 条回复 A文章作者 M管理员
      暂无讨论,说说你的看法吧
    个人中心
    购物车
    优惠劵
    今日签到
    有新私信 私信列表
    搜索