加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • 应数据之景
    • 解数据之怠
    • CORTX 有哪些本领?
    • 幕后英雄
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

海量数据奔涌,存储巨头希捷如何解题?

2020/11/12
296
阅读需 11 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

谁能想到,硬朗、稳重了四十年的希捷也开始卖萌玩梗,紧跟潮流了。

对于李雪琴的“世界有尽头”,希捷表示“数据没有尽头”。

在没有尽头的数据里,希捷又出什么新动作?

近日,在“Let’s Rethink Data”希捷科技 Datasphere 峰会上,希捷发布了对象存储软件 CORTX 以及 CORTX 开源社区,以及 Lyve Drive Rack,这一基于 CORTX 软件平台,开放灵活、可作为融合基础架构部署的参考架构。

当硬汉变得柔情,希捷可能比你想象的更懂企业所苦所需。

应数据之景

在了解希捷的最新产品之前,我们不妨回顾下如今的数据现状。

其一,数据在以一种不可阻挡的势头增长。

IDC 预测,未来两年企业数据将以每年 42.2%的速度增长。到 2025 年,全球数据圈将增至 175ZB(1ZB 约为 1 万亿 GB),而中国预计将以 48.6ZB 的数据量成为全球最大数据圈。

其二,大部分数据并未被企业消化吸收。

IDC 统计,在可用的企业数据中,仅 32%被投入使用,剩余的 68%并未得到利用。与此同时,在创建的 175ZB 中,仅有 17ZB 得以被存储,剩余 90%的数据未得到存储。

人人都知数据是不可或缺的生产要素,但如何用这要素做出一桌好菜,百业心心念念,却未有完美正解。有效地获取、存储、分析以及变现数据,一直被上下求索。

微观来看,眼下最要紧的不外乎两点:

一则,面对物联网人工智能5G 带来的海量数据,企业对超大规模数据存储与治理的需求与日俱增;

二则,这些数据中,20%为结构化数据,80%为非结构化数据。视频、音频、图片等非结构数据的占比大幅提升,成为数据治理之踵。

数据成本和价值成为风暴的核心,数据管理、数据运营成为破题的关键。

IDC 调研显示,只有 10%的企业全面实施了数据运营,但事实证明,数据运营结合其它数据管理解决方案,能够显著改善业务效果,包括提高客户忠诚度、收入、利润、节约成本以及其它许多裨益。

数据的存储和运营可以往何处行进?存储巨头希捷给出了答案。

解数据之怠

BAT、谷歌、Facebook 等互联网巨头是海量数据的最早发源地之一,也是最早对海量数据存储产生需求、从中获得商业回报之流。

高居行业头部,这类公司财力、人力和技术实力俱佳。本身就是软件公司,拥有独立的数据算法与架构优化工程师团队,可以通过系统软件调优,快速地采用大容量硬盘,享受到数据中心 TCO 降低的益处。但对大多数中小企业和传统企业来讲,他们既没有足够的资金,也没有精力和技术。

CORTX 正是基于这样的背景,应运而生。

CORTX 有哪些本领?

存储量是最基本的需求,CORTX 尤为擅长大规模数据存储。

CORTX 是对象存储平台,这种存储方式主要是解决海量图片、文档、音视频等非结构数据的存储。

但这并不意味着 CORTX 受限于硬盘,混用不同容量点硬盘同时,CORTX 的性能和兼容性并不为所累。

换言之,CORTX 软件不仅可以使用不同代数、不同结构、甚至不同容量点实现利旧的最大化,还能针对用户的硬件进行定制化配置。

要知道,对于小容量硬盘的随机读写等性能需求,在对象存储使用环境中并不利于解决 I/O 模式,但百万行代码的 CORTX,脱胎于全新的设计理念,可方便地集成其他第三方组件。

成本是最关心的诉求,CORTX 增大容量、增长寿命,降低总成本。

公有云超大规模存储基础架构依靠大容量设备的成本效率来降低存储成本,降低成本的途径之一,就是通过新技术增加硬盘容量。

希捷使用热辅助磁记录 HAMR 技术——通过在磁记录过程中使用激光加热来降低介质的矫顽力,借助 HAMR 技术提高单碟存储密度,进而降低总体拥有成本。

通过使用 CORTX,结合高密度存储硬件,对比使用传统的 Ceph,在 11 个 9 的可用性的前提下,通过 CORTX 每 TB 可以降低一半的造价。

除此之外,HAMR 能够增加可用区域的数据存储量(磁密度),让硬盘产品长久不衰。希捷官方资料显示,HAMR 的年写入量已经达到 3.2PB,达到普通企业级 CMR 硬盘写入量 500TB/ 年的 6 倍以上。

企业对存储快速、简单、高效、安全的期待,CORTX 一个不落。

怎么做到更快?CORTX 平台支持下,数据是可以直接写入磁盘的,从而跳过了繁琐而复杂的文件系统,直接访问和解锁每个驱动器

如何扩展?CORTX 元数据是通过键值的形式来管理,可以非常方便地进行横向扩展。

另外,针对人工智能和机器学习等数据主流应用领域,CORTX 有针对性地进行调优,通过希捷内置的内存介质,用户可直接在 CORTX 上对数据进行标注,并实时、高效检索。

多副本+纠删码以及监控是 CORTX 保护数据的阀门。

CORTX 的多副本,简单易用,可靠性极高,而多层纠删码,可在更大规模数据存储的场景下实现数据的高可用性。在对象存储实际生产环境中,对于热数据会使用多副本策略来冗余,冷数据则使用纠删码。

而且,希捷的自动化监控和监控管理也能加固数据安全。

Lyve Drive Rack 作为一个开放、灵活的融合存储基础架构,可为用户提供成熟的参考架构,用于部署 CORTX 并构建自己的大容量私有云。也可以根据用户做定制化的配置,针对企业实际应用中对随机读写性能以及小块文件 IO 优化上进行个性化调优。

Lyve Drive Rack 集成的芯片,对纠删码配置内存做了优化,节约了内存消耗带来的成本。目前 Lyve Drive Rack 的机箱容量由 1.34PB 起。

如果说以上是 CORTX 客观上的解题实力,那么开源就是希捷主观上的解题战略。

前文所言,传统企业没有优化数据中心之能,希捷重磅推出的 CORTX 软件目的并非盈利,而是希望通过其软件、兼容、开源之利,让大容量硬盘不再只是巨头的囊中物,降低企业成本,让其不再囿于反复权衡数据成本和价值。

CORTX 所有的功能和路线图都由开源社区驱动,用户可从 GitHub 直接下载,并进行协作开发。

而且,CORTX 全段开源,用户可以方便地添加自己所需特性,另外,CORTX 和所有主流公有云厂家所使用的对象存储软件完全兼容。

不捆绑用户是存储巨头希捷特有的大气与胸径,CORTX 软件并非和希捷硬件绑定,客户可以随意选择硬件,免于供应商锁定之忧。

事实上,在 CORTX 产品发布前,已经不乏尝鲜者,纷纷给出五星好评。

法国原子能和提点能源委员会(CEA)测试 CORTX 开发版本多年,对 CORTX 的使用体验颇有感触:对于超大规模数据存储,高效且灵活,可与存储工具和不同类型的存储接口配合。CORTX 和 CORTX 社区也俘获了英特尔和 WekaIO 等一众巨头的芳心。

其实,对于开源生态,希捷并非盲目推陈出新,长期战略是希捷的初衷,其内部对于 CORTX 已经有五年规划,生态内伙伴可放心进入希捷的开源怀抱。

幕后英雄

自 1979 年成立,如今四十一周岁的希捷已是全球最大的硬盘、磁盘和读写磁头制造商,产品覆盖全球几千个城市,为数十亿人提供便捷数据服务。

40 多年征途中,性能和容量是希捷不变的目标,通过 HAMR 以及 MACH.2 技术创新不断打破密度、容量和性能的边界,通过 CORTX 和数据存储系统实现海量数据硬盘普惠,降低企业成本。

数字化转型时代,市场需要奋勇向前的企业,也需要为企业降本增效,解除后顾之忧的后勤主管。

指数增长的数据洪流面前,需要世界顶尖的存储厂商提供容量更大,性能更强,稳定性、安全性更好的存储产品去积极应对数据挑战。

 

时代选择了希捷,希捷也在无形中成就了时代。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
IS31AP4991-GRLS2-TR 1 Integrated Silicon Solution Inc Audio Amplifier, 1.46W, 2 Channel(s), 1 Func, PDSO8, SOP-8
$0.68 查看
ADV7511WBSWZ-RL 1 Analog Devices Inc 165 MHz High Performance HDMI Transmitter

ECAD模型

下载ECAD模型
$17.05 查看
FDA2100BLV 1 STMicroelectronics 2 x 180 W / 1 x 300 W PWM digital input automotive power amplifier with built-in diagnostics features and step-up drive

ECAD模型

下载ECAD模型
$10.66 查看
希捷

希捷

40 年来,Seagate 凭借突破性的硬盘、固态硬盘、系统和恢复服务实现了指数级数据增长。我们提供跨监控、NAS、数据中心、消费者数据存储等领域的端到端数据管理解决方案。

40 年来,Seagate 凭借突破性的硬盘、固态硬盘、系统和恢复服务实现了指数级数据增长。我们提供跨监控、NAS、数据中心、消费者数据存储等领域的端到端数据管理解决方案。收起

查看更多

相关推荐

电子产业图谱