第三媒体电脑硬件业界渠道厂商动态 → 海量数据推动云计算和IPFS发展 存储器向大容量高性能演进 TTL

海量数据推动云计算和IPFS发展 存储器向大容量高性能演进

上传:没有我你     来源:信息存储服务     日期:2021-04-19

[摘要]  
   据IDC的预测,到2024年,全球将创建、复制和消费143ZB的数据,其中中国创建的数据为36ZB,占25%。如此庞大的数据有多少被存储下来了呢?西部数据认为只有不到1.5%的数据被存储下来了。业界更是有人认为这个估计过于乐观,被存储下来的数据其实是低于这个比例的
 
[正文]    

   据IDC的预测,到2024年,全球将创建、复制和消费143ZB的数据,其中中国创建的数据为36ZB,占25%。如此庞大的数据有多少被存储下来了呢?西部数据认为只有不到1.5%的数据被存储下来了。业界更是有人认为这个估计过于乐观,被存储下来的数据其实是低于这个比例的。

海量数据推动云计算和IPFS发展 存储器向大容量高性能演进


企业级存储架构面临挑战

   为什么会出现这种情况呢?几年前业界就在宣传数据是当代石油,是发展的动力。那这么多宝贵的石油就这样流失掉了,没有进行挖掘和分析处理,不是很浪费吗?

   西部数据公司副总裁兼中国区业务总经理刘钢认为,这么多数据没有被存储下来的主要原因是因为存储的架构和存储的技术没有及时跟上,因此大部分的数据都没有办法被存储下来并及时使用。

海量数据推动云计算和IPFS发展 存储器向大容量高性能演进


图:西部数据公司副总裁兼中国区业务总经理刘钢

   这也就是说,目前企业级的存储架构正面临着一些不可避免的挑战,包括数据增长迅速、存储性能需求倍增、TCO成本负担增加,及更绿色能耗体系标准的挑战。

   人们需要大容量、能快速访问、并且成本更低,能耗更低的存储。那么,有没有一个存储设备,或者一种存储介质能够同时满足这四个方面的要求呢?

   刘钢在不久前的2021深圳国际大数据与存储峰会上表示,能满足这四个要求的单一存储介质或者存储设备的确是非常难找到。但幸运的是,人们可以通过创新的架构,用系统来满足用户各方面、各种存储场景的需求。“因为用户的数据是要进行分层的,用户的数据有不同的类型,不同类型的数据对存储的要求也是不一样的。”

创新存储架构应对海量数据需求

   在刘钢看来,数据是有分层的,因此他把数据分成了极热数据、热数据、温数据、冷数据和极冷数据五层。并且还划分了每层对应的应用场景。

   而对于不同层的数据,需要采用的存储介质和存储设备是不一样的。比如对于冷数据和极冷数据而言,业界目前常用的方案是高密度的大容量企业级硬盘

海量数据推动云计算和IPFS发展 存储器向大容量高性能演进


   刘钢对媒体表示,目前高密度企业级硬盘已经进化到了18T。针对极冷存储,西部数据利用软件和技术优化,采用了SMR叠瓦式的硬盘能做到20T的高密度企业应用。

   谈到具体产品,刘钢介绍说,20TB Ultrastar DC HC650主机管理SMR HDD和16TB与18TB Ultrastar DC HC550 CMR HDD已经于2019年9月发布,是优先进入商业化实施阶段的EAMR技术。凭借西部数据HelioSeal技术提供的出色功耗以及机械创新(例如提高磁头定位精度并提供更大容量功能的TSA),这些HDD可提供领先的面密度,九磁碟硬盘还使客户能够更有效地配置和扩展数据中心环境,同时提供更低的总体拥有成本。

 海量数据推动云计算和IPFS发展 存储器向大容量高性能演进

   单位TB价格( $/TB) 是存储服务器购置成本的关键组成部分,也是构建现代云数据中心的一个考量核心。相比较于$/TB这一维度,TCO则更能体现准确的数据中心运营成本:TCO 的降低并不限于降低 $/TB。每个硬盘的容量越大,意味着更少的服务器拥有更大的储存容量,从而节省资本支出和运营成本。例如从14TB迁移到18TB呈现出显著的TCO收益:服务器减少了22%;TCO降低了11%。鉴于数据中心占用空间有限,通过更高的HDD容量进行更密集的存储部署,还可以产生更多的收入。

   存储服务器的成本通常要求控制在数据中心总体运营成本的60%以内。而实际上,更高容量的HDD可以更有效地平衡这一需求。西部数据持续进行多项技术的创新,例如能量辅助、机械设计、材料和记录技术,帮助所有数据中心客户,无论是超大规模云客户,大型企业还是中小企业来有效应对他们的数据基础架构挑战。

海量数据推动云计算和IPFS发展 存储器向大容量高性能演进


 图:从左到右依次为:西部数据Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB

   刘钢还透露了一个消息,那就头部的云服务商硬盘在过去4年当中,从8T进化到了18T。而的IPFS的服务商则在以更快的速度进化,他们几乎在过去四个季度就走完了云服务商过去4年的演进过程,也从8T进化到了18T。

海量数据推动云计算和IPFS发展 存储器向大容量高性能演进


图:云服务商与IPFS服务商使用硬盘的演进过程。

   为什么数据中心能迅速从8T进化到18T呢?其实是当数据中心只是从14T升级到18T,为了达到同样存储的容量,服务器数量会减少约22%,而且不仅是服务器数量减少了,存储密度也提高了,而且单位功耗还降低了约21%,因此部署成本降低了,运维成本也降低了。

   除了大数据之外,还有一部分的数据用户需要能够快速访问,比如像热存储、温存储等,这些数据指的就是快速据。西部数据把SSD划分成了两类,一类是主流的SSD,还有一类是针对写密集、计算密集的高性能SSD。

   据刘钢介绍,西部数据推出了新的Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD。应用到IPFS里面,尤其是针对封装计算机、封装服务器的时候用SSD,对于IPFS的封装机器来讲,4个7.68T的SSD能提供非常好的加速。

   谈到SSD,目前其主要容量点是3.84T和7.68T。“SSD的主要成本在闪存(Flash),Flash决定了SSD硬盘的成本和性能。所以一家SSD的供应商需要有大规模的产能,能够保证供应,同时能够降低成本,还要有领先的Flash技术能够提供高性能Flash、有自主可控的控制器和部件来纵向地优化SSD的产品,提供一致稳定的高性能,而不只是某个时间的高性能或者峰值的高性能。”他指出。

海量数据推动云计算和IPFS发展 存储器向大容量高性能演进


   刘钢还提到了他们刚刚发布的第6代3D闪存技术,162层的3D闪存技术,该技术会进一步地缩小芯片的尺寸,降低成本、提高性能。它的程序性能可以提高两倍以上,输入/输出的IOPS提高约66%。

 海量数据推动云计算和IPFS发展 存储器向大容量高性能演进

   在刘钢看来,西部数据最大的优势是纵向集成的优势。他们不仅有控制器及其固件,再将它们与Flash纵向集成后,可以达到非常稳定的一致性。

 海量数据推动云计算和IPFS发展 存储器向大容量高性能演进

与合作伙伴的成功案例

   截止目前,西部数据已经与诸多行业领先的公司开展了合作,致力于依靠行业领先的技术和整体解决方案来支持客户与合作伙伴。

1.Dropbox超大容量企业级HDD全球应用

   Dropbox与西部数据携手,为确保流畅无缝地实现向SMR的迁移,Dropbox针对其特定机箱配置进行内部测试,采用SMR技术替换原有CMR技术后存储密度增加了10%-20%,节约了20%的TCO。

 海量数据推动云计算和IPFS发展 存储器向大容量高性能演进

   作为率先认证Ultrastar 20TB SMR HDD的企业之一,Dropbox利用数据中心的大容量、高效率和扩展能力,应对满足全球企业、团队和个人对云存储和服务不断增长的前沿需求。Dropbox日前成为首批认证西部数据主机管理叠瓦式磁记录 SMR HDD — Ultrastar DC HC650 20TB — 的企业之一。通过将西部数据SMR HDD用作定制的EB级存储平台的存储基石,Dropbox遵循其战略路线,以更好总体拥有成本(TCO)实现更高的存储密度。

2浪潮、星辰天合的IPFS解决方案

   西部数据、浪潮、星辰天合多方携手,联合推出IPFS 解决方案,在软件层面,该解决方案搭载了专为 IPFS 场景而生的 XSFS(XSKY Scalable File System)系统,通过全新的存储技术手段,基于通用的 X86 服务器构建了一个无限扩容、持续在线的高性价比存储架构体系,在保证数据高安全性的同时,打破存储规模壁垒,降低 IPFS 建设的投入,满足 IPFS 业务存储需求。

海量数据推动云计算和IPFS发展 存储器向大容量高性能演进
 

   在硬件层面,该解决方案包括浪潮英信服务器 NF5466M5、西部数据 Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盘以及 Ultrastar Data60 JBOD 存储平台。通过搭载 44 块/36 块大容量的 Ultrastar DC HC550,NF5466M5 为 IPFS 存储提供了海量的存储空间,并借助硬盘的高稳定性,显著降低复制证明和时空证明提交过程中出现错误的几率。

3联手杉岩数据打造IPFS解决方案

   杉岩数据联合西部数据,共同推出搭载了杉岩 MOS 海量对象存储系统以及西部数据SSD, HDD与JBOD存储平台,并针对 IPFS 进行了优化的解决方案。该系统能够满足算力集群数据写入需要的高吞吐量存储集群性能,并对时空证明请求进行了优化,使其可以获取多个文件的多段内容。同时,杉岩数据还在该方案中部署了 EC(22+2)冗余技术,实现了高达 91.6% 的存储空间利用率。

 海量数据推动云计算和IPFS发展 存储器向大容量高性能演进

   该解决方案搭载了西部数据 Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD,Ultrastar DC HC550 18TB大容量HDD,以及 Ultrastar Data102 JBOD 存储平台,可以全面满足 IPFS 存储集群需求。得益于西部数据在存储硬件方面的优势以及杉岩数据卓越的存储系统设计,该解决方案能够帮助 IPFS 服务提供商显著提升性能、稳定性并提升投资回报率。其中 Ultrastar DC HC550 HDD 18TB的超大容量以及 Ultrastar Data102 的组合有利于实现集约性的空间设计,使得组建 IPFS集群所需要的机柜空间、电源功耗、硬件成本大大降低。

4联手长城超云打造IPFS新范式

   长城超云与西部数据联手打造出多款完美贴合IPFS场景的产品级解决方案,在IPFS行业种得到广泛的应用。方案主要以西部数据高性能大容量企业级硬盘Ultrastar DC HC550系列的18TB HDD为基础,设计了异构产品组合的集群测试方案,包括Miner、Worker和Storage,大幅提升了客户的业务效率,从而增强了客户在IPFS领域的核心竞争力。通过优越的产品配置与算法调优使得整体效率提升50%以上,同时单T有效算力硬件成本大幅降低。

 海量数据推动云计算和IPFS发展 存储器向大容量高性能演进

   (新闻稿 2021-04-19)


硬盘(HardDisk)频道首页 】【 评论 】 【 打印 】 【 字体:
   上一篇:被“傍名牌”? 鸿雁电器商标侵权案胜诉,获赔25万元
   下一篇:未来不足1.5%的数据被存储!IPFS存储架构应用正在爆发
硬盘(HardDisk)导航:硬盘报价 | 硬盘大全 | 硬盘排行榜 | 产品大全 | 参量 | 订阅 
 Advertisement
 十大最受关注的硬盘(HardDisk)新闻
1  金士顿位居2023年固态硬盘渠道出货量排行榜榜首
2  高速固态扩容“战机”新游戏需要多少G容量
3  西部数据推出针对OEM厂商的全新商用SSD,树立下一代QLC产品性能标杆
4  金士顿全新推出高品质工业级i-Temp固态硬盘
5  手机存储扩容 金士顿移动固态硬盘
 十大最受关注的硬盘产品
1  日立250G/5400转/8M/串口/笔记本硬盘 ¥235元
2  日立500G/7200转/16M/串口(HDP725050GLA360)硬盘 ¥320元
3  日立Z7K500/500G/7200转/32MB/SATA3(TT7SAE500... ¥350元
4  日立320G/5400转/8M/串口/笔记本硬盘 ¥280元
5  西部数据500G/5400转/8MB/SATA2(WD5000LPVT)笔... ¥300元
6  希捷(Seagate)500G ST9500325AS 5400转8M SA... ¥280元
7  希捷(Seagate)500G ST500DM002 7200转16M SA... ¥300元
8  西部数据320G/7200转/8M/串口 蓝盘(WD3200AAJS... ¥250元
9  希捷(Seagate)2TB ST2000NM0011 7200转64M S... ¥810元
10  西部数据Travelstar 5K1500硬盘 ¥800元
 十大热门硬盘(HardDisk)驱动/软件下载
1  [硬盘驱动]西数 硬盘修复诊断程序 Win DLG(Data Lifeguar...
2  [硬盘驱动]Fujitsu富士通 硬盘专用ATA Diagnostic Tool磁...
3  [硬盘驱动]日立 硬盘Drive Fitness Test工具4.02版
4  [硬盘驱动]日立 硬盘Feature Tool工具1.97版
5  [硬盘工具]西部数据 硬盘Data Lifeguard Diagnostics工具...
6  [硬盘驱动]日立 硬盘Drive Fitness Test工具4.01版
7  [硬盘工具]Hitachi日立 (IBM)硬盘Drive Fitness Test检测...
8  [硬盘工具]富士通 硬盘专用ATA Diagnostic Tool磁盘检测 ...
9  [硬盘工具]Hitachi日立 (IBM)硬盘Feature Tool工具2.10 B...
 十大最受关注的硬盘品牌
硬盘
1  希捷硬盘(Seagate)
2  西部数据硬盘(WD)
3  日立硬盘(HITACHI)
4  三星硬盘(SAMSUNG)
5  迈拓硬盘(Maxtor)
6  东芝硬盘(Toshiba)
7  富士通硬盘(FUJITSU)
8  IBM硬盘(IBM)
9  易拓硬盘(ExcelStor)
10  长城硬盘(GreatWall)
 十大热门常用软件下载
1  QQ2008正式版下载【腾讯QQ2008官方版Beta1】
2  E话通下载【E话通4.5 正式版】
3  皮皮播放器下载【PPFilm皮皮播放器 2.1.0.2版】
4  面对面游戏下载【面对面视频游戏大厅】
5  DVD解码器下载【NVIDIA DVD Decoder 1.02】
6  迅雷5下载【迅雷5.8.1.507官方版】
7  QQ2007 II正式版下载【腾讯QQ2007官方版本】
8  QQ2006正式版下载【腾讯QQ2006官方版本】
9  联众世界游戏大厅下载【联众世界2.7.0.8官方版】
10  MTV下载器【MTV下载精灵 8.31版】
11  pplive最新版下载【PPLive网络电视V1.9.35版】
12  迅雷(Thunder)下载【迅雷v5.7.12.493官方版】
13  腾讯QQ2008下载【腾讯QQ官方版2008极速贺岁版KB1】
14  Total Video Converter下载【Total Video Converter v3.1...
15  QQ拼音输入法下载【腾讯QQQQ拼音输入法V1.4.1版】
16  皮皮高清影视播放器下载【PIPIPlayer 2.7.0.3版】
17  eMule下载【电驴eMule官方v0.49a正式版】
18  极点五笔输入法下载【极点五笔6.1标准版】
19  QQ2009正式版下载【腾讯QQ2009 SP4官方版】
20  Vagaa哇嘎画时代版下载【哇嘎 2.6.5.10】
   >> 查看评论   
 
   >> 查看更多评论   [共有0条评论]
发表评论
        
        
   点评:
   姓名:  
            字数: 0
     
新闻精选
《夜族崛起》销量激增 华硕高颜主板邀你了解
《辐射76》免费玩 华硕吹雪主板助你畅爽
·EPIC喜加一 华硕主板助你畅玩《天外世界》
·帕鲁新头目来袭 华硕AMD主板助你挑战
·《地狱潜兵2》更新上线 华硕重炮手主板带你畅
·跃居高端头部阵营!海尔X11洗衣机在波兰上市
·《龙之信条2》大更新 华硕吹雪主板陪你作战
·金士顿全系列存储产品参展2024大数据存储峰会
《使命召唤:先锋》销量3000万 华硕B760主板
ROG BTF2.0背置套装首发 “无线”精彩
  ·高质量存储解决方案 金士顿参展大数据存储峰
·《幽灵行者》免费开玩 华硕主板带你跑酷
·三项全球第一!海尔空调广交会展示健康智慧节
·血脉喷张,Kingston FURY电竞房燃爆游戏战力
·高速低延迟 Kingston FURY野兽DDR5内存提速简
·电竞桌搭必选好物——华硕主板

相关文章

更多检索

其他硬盘

西部数据系列