<acronym id="mmoue"><small id="mmoue"></small></acronym>
<acronym id="mmoue"><small id="mmoue"></small></acronym>
<acronym id="mmoue"></acronym>
<rt id="mmoue"></rt>
<acronym id="mmoue"></acronym>
<rt id="mmoue"><small id="mmoue"></small></rt>
<acronym id="mmoue"></acronym>
中国数据存储服务平台

超人气组合“瓜朋雨下”盘点存储2020

张 妮娜

由百易传媒(DOIT)精心打造的高端对话栏目——百易堂,以知识分享为核心,带你走进数据智能产业的方方面面,聚焦企业ICT产业应用的热点话题,为行业/企业用户提供最具有价值的专家观点,是ICT产业最强大脑的激情碰撞!

去年一整年,栏目内容围绕企业在数字化转型中面临的数据存储、数据管理等问题展开,并受到观众的广泛关注与喜爱,其中,话题离不开最具热度的全闪存存储、软件定义存储、分布式存储等等,2020可谓收获满满,新年伊始,百易堂2021开年首秀开启!

点击进入:精彩回放

来自KubeSphere社区的声音——云原生方案只有开源,才有未来

朱 朋博

2020年,云原生“刷屏”,企业该如何抓住云原生的发展趋势,快速搭上云原生的“车”呢?

纷繁复杂的云原生技术和云原生技术方案供应商让人眼花缭乱,但大体上,方案可以分为开源和闭源两种,KubeSphere认为开源的云原生方案才有未来。

开源的K8s发行版——KubeSphere

2020年,了解一点IT发展的人一定听说过云原生,云原生没有确切的概念,但与云原生相关的有许多关键技术,其中最重要的当属Kubernetes(以下简称K8s)。

对于大多数人来说,K8s具体是什么其实不重要,只需要知道,K8s能帮助企业在生产环境中大规模应用容器技术,能让企业快速开发、运行、迭代应用,让开发者和运维人员提升工作效率,让企业快速上线、下线、调整各种业务,对企业发展尤为重要。

K8s很强大,但它像一匹难以驯服的千里马,本身的复杂性,导致企业的运维和开发都很难驾驭,难以享受到K8s带来的种种优势。

为了让开发者和更多企业也能用上K8s,一些技术领先的企业做起了K8s发行版,就如用户更需要Linux发行版一样。

这件事本身很麻烦,所以,做这件事的企业非常少。目前常见的有Rancher(已被SUSE收购)、红帽(已被IBM收购)的OpenShift和青云QingCloud旗下的KubeSphere,仅此而已。

从实际发展来看,由于OpenShift布局较早,所以在企业落地的案例比较多,而KubeSphere作为最新的一个方案,其热度和影响力也在与日俱增。

KubeSphere社区快速成长

在2020年12月19日,KubeSphere云原生meetup上,包括贝壳、微众银行、Shopify、锐捷网络、遥望网络、红亚科技等众多企业的开发、运维负责人聚在一起,堪称大型技术网友线下见面会。见面会上,青云QingCloud应用及容器平台研发总监周小四介绍了KubeSphere的发展路径和社区现状。

2018年12月,KubeSphere 1.0版本上线。半年后,KubeSphere 2.0版本上线。2020年8月份,KubeSphere 3.0版本上线。预计将于2021年7月份上线4.0版本,功能越来越丰富和完善。

在社区运营层面,2020年与2019年相比,社区活跃度翻倍,Contributor(贡献者)数量增幅超150%,KubeSphere下载量翻了近三倍。让许多人颇感意外的是,KubeSphere的影响力不局限于国内,很多用户来自国外。在KubeSphere 3.0版本上线的时候,最早上线的是英文版文档,还一度让人误以为是国外的开源项目。

经过了大型企业生产环境验证

在2020年11月进行的一次调研中,有13%的用户表示在生产环境中上线了KubeSphere 2.0版本,有7.8%的用户使用了KubeSphere 3.0版本,有大约41%的用户在开发测试环境中根据自身需求使用了多个版本的KubeSphere,还有一部分人在学习KubeSphere。

虽然数据说不上特别华丽,但令社区备受鼓舞的是,KubeSphere有许多大型企业用户。有14.8%的用户是大型企业,员工人数超5000人以上,还有13.9%的企业有1000-5000员工。这说明KubeSphere绝不是只有中小企业才会用的开源方案,也是大型企业生产可用的方案。

合作生态壮大

2020年,KubeSphere社区生态已初具规模,目前有多家企业的技术人员参与其中。作为一个技术开源项目,KubeSphere社区与AWS、思科、英特尔、openEuler、云原生社区等服务商、开源社区建立了合作关系。这也是出于对KubeSphere开源社区本身和技术水平的认可。

在众多合作伙伴中,和公有云厂商AWS的合作关系最令人称奇。原来,AWS是看重KubeSphere本身的价值,以至于主动忽略了KubeSphere社区背后青云QingCloud作为公有云厂商存在的业务竞争,而KubeSphere社区也非常看重AWS的技术实力和行业影响力。

周小四更是坦言,KubeSphere on AWS的上架是KubeSphere 2020年生态拓展方面最大的成果之一。

AWS与第三方方案的合作有两种方式,一种是放在Marketplace里,供用户自行选择,自己部署。另外一种更高级的方式是“QuickStart”,后者需要AWS投入人力协作开发,将其与AWS自身服务进行更深层次的集成,KubeSphere on AWS正是后者。

与AWS的合作不仅对于KubeSphere社区是非常大的鼓舞,对于提升KubeSphere的影响力也很有帮助。而且,可以通过AWS遍布全球的服务网络让更多人用到KubeSphere。

可插拔的开放架构

值得注意的是,KubeSphere on AWS方案在实际使用中,KubeSphere可与AWS托管的K8s服务EKS配合使用,弥补EKS在产品功能上的不足,这得益于KubeSphere可插拔的开放架构,体现了KubeSphere本身的开放性和灵活性。

在周小四的介绍中,将KubeSphere描述为“一个以Kubernetes为基础,管理云原生应用的分布式操作系统,它提供一种可插拔的开放架构,使得第三方应用可以无缝对接进来,从而形成一个可持续发展的生态系统”。

KubeSphere作为一个基础系统,具备监控、告警、日志、资源管理等系统功能服务,在此基础上,它像一个插线板,用户需要的更多服务都可以集成进来,它将开源和开放作为根本,与更多产业机构建立合作关系。

KubeSphere是开源“产品”,而不是开源项目

KubeSphere是中国少数颇有影响力的开源项目之一,但在介绍的过程中,周小四将KubeShpere称之为一个“产品”, 希望KubeShpere能作为更能落地的“产品”,而不是需要额外做太多工作的、传统意义上的“开源项目”。

在他看来,应该用发展的眼光看待开源这件事。

从OpenStack开始,国内开始出现了基于一个开源项目做商用产品的创业公司,开源项目像是一个命题作文,各家基于同一个开源项目来做产品,做出来的产品却有很大差异。

由于这些商业产品本身不开源,在实际落地的时候通常是作为一个个项目来实施的,而不是作为标准化产品来交付,有的还会加入许多自己独有的方案,这导致各个产品相互间或多或少的存在一些差异,在用户端会造成一些混乱。

KubeSphere直接作为产品,也是为了避免此类问题。

KubeSphere的发展动力和发展前景

开源的好处有很多,能让很多优秀的人一起解决一个问题,让专业的人提出专业的优化建议,甚至来编写代码,参与的人多,用的人多,很容易获得影响力,但开源社区也不能全靠开源热情,不能全靠“爱”发电。

商用版和社区版是比较常见的方式。与想象中不同的是,KubeSphere开源社区不输出商业版本的KubeSphere,而是会输出完整的、功能齐全的开源方案,如此一来,那要如何长期运转下去一个工程量浩大的 KubeSphere呢?

原来,KubeSphere开源社区背后有青云QingCloud的支撑。同时,KubeSphere开源社区也在积极打造自身的商业模式,上线KubeSphere.Cloud商业网站,来为社区有商业支持与服务诉求的用户提供付费支持服务。除了专职的运营人员以外,社区还支持有余力的用户以众包的方式提供支持服务。

此外,包括青云QingCloud在内的企业则可以基于KubeSphere做商业化的产品,只要符合一定条件即可,如此开放性也将是KubeSphere持续演进和发展非常关键的一步。

KubeSphere开源社区发展的另外一个重要的内在动力是社区本身。周小四强调,KubeSphere非常贴近社区用户, KubeSphere开源社区和社区用户之间是“水和鱼”一样交融在一起的关系,社区为用户提供服务,用户也会提出反馈和意见,社区用户是开源社区的无价之宝。

周小四非常看好KubeSphere下一阶段的发展前景,他认为未来是属于开源方案的天下,闭源有其局限性。目前越来越多的用户正在从闭源解决方案向KubeSphere迁移,KubeSphere渐渐趋于成熟,再做一个类似KubeSphere的方案为时已晚。

智算中心引领数字经济发展 促进产业和应用走向智能化

张 妮娜

随着数字经济的迅猛发展,人工智能技术开始发挥越来越重要的作用,其中AI算力是关键,所以构建支撑算力的新基建成为重中之重。而智算中心作为智慧时代最主要的计算力生产中心和供应中心,一直在为AI产业化与产业AI化赋能,不断推动着中国经济高质量的发展。

“智算中心,title=“智算中心””/

国务院印发的《新一代人工智能发展规划》指出,到2025年中国人工智能核心产业规模将超过4000亿元,带动相关产业规模将超过5万亿元。据麦肯锡发布的《人工智能对全球经济影响的模拟计算》报告预测,到2030年,人工智能技术将使全球GDP每年增加约1.2%,带来高达13万亿美元的经济增量。

为了推动智能计算中心的建设与发展,国家信息中心信息化和产业发展部联合浪潮发布了《智能计算中心规划建设指南》,这是今年4月发改委提出将智能计算中心纳入新基建之后,首份对智能计算中心概念、内涵、技术架构、投建运模式等进行全面解读的权威报告。

对此国家信息中心信息化和产业发展部主任、智慧城市发展研究中心主任单志广表示:“智能计算中心是发改委界定的新基建范围中的 ‘新面孔’,其核心出发点是面向智能化浪潮所引领的产业和应用,满足 AI产业化和产业AI化等现实需求。智能计算中心应该是在传统计算中心基础上,面向未来人工智能所构建的新型算力基础设施”。

另外,单志广还强调:“在智能计算中心建设规划指南中,我们建议通过政府牵引并引导智能计算中心的布局。这个布局一定要跟产业应用相结合、相适配。我们也希望政府对智能计算中心的认知能够进一步深化,把它当成一种公共设施来进行规划布局,发挥政府的引导作用,组织社会力量。同时,政府和企业形成更多元的合作模式,让智能计算中心为整个社会提供源源不断的AI产业化与产业AI化的动力”。

智能计算中心未来核心是支撑由人类空间、物理社会和信息网络空间这三元空间构成的数字孪生社会,解决信息网络空间、传统空间、人类空间这三个空间的数字价值和沟通连接的问题,并将支撑未来智慧城市、智能制造等领域的共性需求,为智能化需求提供能力支持。因此,智能计算中心将成为支撑和引领数字经济、智能产业、智慧城市、智慧社会发展的关键性信息基础设施,将有效促进AI产业化、产业AI化及政府治理智能化的进程。

现在,各种智能化的场景应用不断落地,意味着当代社会正在从数字化、网络化逐渐向智能化过渡。在此过程中会产生海量的数据,而这些数据的处理都需要依靠强大的计算力。而智算中心作为新型算力公共基础设施,不仅符合中国当前社会经济发展阶段和转型需求,而且还可以赋能实体经济,实现新旧动能转换。

自研芯片给AWS带来了怎样的优势?

朱 朋博

云厂商(超大规模数据中心)是服务器厂商又爱又恨的客户,早在几年前,云厂商要求定制化服务器,去掉不用的组件,因为采购规模很大,所以还可以进一步压价,这使得部分强调高价值的服务器厂商直接放弃了这部分市场。

而现在,随着规模的增长,考虑到规模经济效应,越来越多的厂商开始考虑定制芯片,甚至自己研发芯片,这其中,亚马逊云服务(AWS)绝对是先锋式的存在,自研芯片不仅降低了成本,还能成为竞争中的有力武器。

最近,AWS大中华区产品部计算与存储总监周舸介绍了AWS在芯片定制化方面的一些细节。

Nitro:差异化优势的一大因素

AWS是云厂商里较早(可能是最早)自行设计芯片的,其根本的出发点还是要用上自己真正适合的东西,在我看来,Nitro是AWS主机区别于友商的一大因素。AWS从2013年开始用Nitro卡,业内部分厂商也于近年来推出了同类方案。

为了开开心心的用上自己的芯片,AWS在2015年收购了以色列芯片公司Annapurna Labs,随着芯片实力的加强,AWS的Nitro从一个网卡一步步演进,变成了AWS基础设施非常非常重要的一个组成部分。

Nitro的能力可以总结为三个方面:

NitroHypervisior:专有硬件上承载hypervisior,让主机实现近似裸机服务器的性能表现;

NitroCards:专有硬件承载存储、网络功能,以及控制EC2实例的业务逻辑;

Nitro安全芯片:硬件层的安全验证能力;

也就是说,Nitro既能作为网卡,也能连接和控制硬盘,控制EBS块存储,它Offload了CPU运行Hypervisior的工作负载,而且还能做一些硬件安全检查,按照周舸的介绍说,有了Nitro,AWS可以快速发展多种EC2实例。

前不久AWS发布的产品中,EC2 Mac实例让人眼前一亮,有人开玩笑说,“Mac滞销了,救救苹果吧”,有人说,“又少了一个买苹果电脑的理由”。

在实际架构中,MacMini被直接放在机架里,另一端连的就是Nitro卡,接入了Nitro卡之后就意味着可以像别的EC2实例一样,可以对接各种云服务。

在Nitro卡的帮助下,AWS今年发布了许多新的实例,去年re:Invent的时候还只有270多种实例,而现在有了400个实例,Nitro的贡献很大。在Nitro的帮助下,AWS可以提供支持包括AMD、Intel和ARM在内的多个计算平台。

处理器芯片:ARM处理器Graviton的性价比

如果说苹果发布搭载M1处理器的Mac电脑,让PC厂商觉得ARM个人电脑有搞头,那么AWS在发布搭载Graviton处理器的服务器的做法,则是让ARM服务器芯片厂商,让ARM服务器厂商备受鼓舞。

当国内ARM服务器厂商还在强调跑安卓虚拟机的优势的时候,暴露出的是应用场景发展匮乏的根本性问题,而当看到Graviton实例能支撑包括Web场景,包括MySQL、PostGresql等场景时,真正看到了ARM服务器真正的用武之地,ARM发展诚可期待。

从周舸的介绍中可以看出来AWS要发展ARM的必要性:

比如在Web网站场景中,用户需要的是更强的IO性能,如果是原来的处理器平台,有许多CPU资源被浪费了,如果改用ARM处理器,则可以省下很多成本。第一代Graviton靠这一特性能节省40%的成本。

Graviton2推出的时候,AWS对处理器架构有了更深入的思考。

周舸解释说,多核以及多线程技术固然有优势,但并不是所有应用都需要,通用处理器发展了这么多年,既要发展多核多线程,也要照顾那些不需要多核多线程的应用,这使得架构会很复杂,会有很多功能模块,成本会很高,用不到的时候会造成浪费。

而Graviton2没什么历史负担,用化繁为简的思路来看,只强调构建好多核能力,而不考虑再构建超线程的能力,比如类似SMT的那种技术。

实测数据发现,Graviton2即使是在跑数据库这种重型工作负载的时候,仍有非常优秀的表现,采用Graviton2的M6g实例与采用至强处理器的M5实例相比,全用物理核的M6g性能表现要比用超线程的M5要强。

如果觉得物理内核对比多线程不公平,那么可以比性价比,实际上,M6g的性价比要高于M5实例(大约30%-40%)。

如果用户有运行在ARM上的实例,那M6g将是非常理想的选择,周舸也表示,有很多在Linux上面跑的程序都可以快速、简单的转到Graviton上面去,用起来并不难。

目前,国外以及国内很多用户都用上了Graviton处理器支撑的实例,主要用在包括Nginx Web服务器类、MySQL和Redis数据库类以及HPC、大数据等场景中,应用类型还是挺丰富的。

多元化的算力是必然趋势,随着应用的深入,相信ARM架构会获得更进一步的发展,AWS应该算的上是ARM阵营的一面旗帜。

如何简化管理以提高存储性能?

张 妮娜

如今,闪存已经成为行业的事实标准。与机械硬盘相比,SSD在性能、容量、密度等各方面都有显著提升;尤其在速度方面。同时,闪存还具有可重复写入和非易失性特性。

闪存刚刚推出的时候,价格昂贵不说,还难以与现有的存储产品进行整合。然而,随着技术的不断创新,闪存价格不断下降,应用场景大幅增加,让存储这个产业跟上了云计算、大数据、5G等多样化产业的发展,甚至成为了支撑应用扩展的重要推动力。

因此,IT部门希望它能在提升速度的同时兼有SDD的优势,实现100%应用可用性、卓越的数据安全性、弹性、确保合规等性能目标。另外,大家还希望它能与私有云和混合云相集成,提供更强的灵活性。

去年,Hitachi Vantara发布了一款改变存储领域游戏规则的产品——Hitachi VSP 5000系列,给企业带来了更理想的可用性、高性能、高弹性、易用性。VSP 5000可提供高达2100万IOPS;即使数据激增到PB级,也能提供极低延迟。这款由NVMe驱动的高端存储,同时支持容器和OpenStack,不受存储介质限制。搭配更新的存储虚拟化操作系统Hitachi SVOS RF,VSP 5000系列能为用户带来管理效率的显著改善和生产力的切实提升。

借助VSP第三方存储虚拟化技术,企业可以将存储与物理世界脱钩,提高正常运行时间,为数据中心开辟新的可能性。

Hitachi Vantara解决方案的闪存性能通过专有的闪存感知I/O堆栈进行了优化,使得数据访问速度加快,同时通过自适应的在线数据缩减提高了存储和数据利用效率。

同时,Hitachi Vantara的存储虚拟化使得SVOS RF可以使用第三方全闪存和混合阵列作为存储容量,整合资源以获得更高的ROI。这意味着IT部门在引入新技术时不必进行彻底的替换,同时还能保证前端的高速,为速度较慢、不易预测的阵列提供服务。

Hitachi Vantara亚太区技术专家兼总监Chee Khye Chen表示,Hitachi Ops Center在这种模式下特别有用,因为它使用人工智能(AI)和机器学习(ML)算法,帮助客户监控从虚拟机到存储的整个应用数据路径,能够更快地进行故障根本原因分析和自动修复。

“我们使用自动化来提高虚拟机和存储配置以及数据迁移等普通任务的速度和敏捷性。这将帮助员工腾出时间来专注于业务,而不是陷入IT基础设施中的管理中。”他解释说。例如,选择VSP 5000系列,企业应用延迟可以低至70微秒,而服务质量控制仍然可以确保工作负载保持性能稳定。

最后,在Hitachi SVOS RF的支持下,企业可以使用两个跨越数据中心地理边界的存储阵列来实现同步、异步复制、双活的任意组合。这开辟了新的机会,并提高了正常运行时间、可靠性和弹性。Chee Khye Chen总结道,采用Hitachi SVOS RF的结果是提高性能,减少IT部门的麻烦,提高服务水平。

“即使数据中心发生故障,应用也不会中断;因为届时VSP系统可以无缝地将故障转移到第二个数据中心的其他集群节点上,”他说。

近期,Hitachi Vantara宣布扩展基于NVMe架构的全闪存VSP E系列,发布全新的VSP E590和VSP E790,致力于为各种规模的客户——他们的业务速度正超过其现有基础架构能力而需要支持包括DevOps等在内的现代业务流程——带来企业级功能和优势。

Hitachi Vantara数字基础架构总裁Bobby Soni表示:“一直以来,Hitachi Vantara都是高性能数据存储的业界标杆。今天,我们进一步提高了中端企业级存储市场的标准。我们正在将所有行业领先的功能和智能软件,这些助推了VSP 5000在市场上取得成功的内容,应用到新的VSP E系列中型企业产品上来,为客户提供更高的易用性和更具吸引力的价格。同时,借助全新的虚拟存储即服务,我们将进一步帮助客户减轻基础架构管理的负担,让他们专注于管理业务这一重中之重。”

当我发现Crucial(美光)移动固态盘的速度达到了1050 MB!

朱 朋博

当我拿到这块Crucial X8 2TB版本,当我发现现在的移动硬盘的速度已经到1050MB每秒后,我的内心略激动,这得有多快啊?

比普通的移动固态盘快1.8倍,比普通磁盘快7.5倍,在Xbox Series X和PS5次世代主机双双降临的时代,游戏或许是其中一大场景吧,加载时间应该就不需要了吧?下单之前可以了解下,Crucial X8 2T版本的官网价格329美金。

最快的固态移动硬盘:1040MB/s写速度

初见内心狂喜,当我打开Crucial X8的datasheet白皮书,数据显示接口支持USB 3.2 Gen 2 Type-C 10Gb/s,兼容USB 3.2 Gen 1 5Gb/s,内心感觉不妙,看来只有USB 3.2 Gen 2才能配得上这么高大上的移动硬盘啊?

因为我手里的Thinkbook 14s iml,还有一台16年买的台式机,都远远跑不了这么快,需要主板主要支持USB 3.2 Gen2 10Gbps才能发挥性能,但明明目前主流的主板都不支持这么高的速度。

目前,英特尔平台只有2020年最新的第十代酷睿,高端的Z490芯片组的主板才支持USB 3.2 Gen2,所以,为了这次性能体验就只能花重金舍弃我的Z170+i7 6700K了吗?好在我用的是大主板,有PCIe作为扩展。

抱着试试看的态度,从购物网站上搜了一下“PCIe转USB 3.2”的转接卡,看来还真有人做这个,只不过价格都很贵,需要300大洋,PCIe转USB 3.1的大概会便宜一半,但是货品种类比较少,看来这属于少数派的需求,毕竟,目前真的没几个移动硬盘有这速度。

打开某电商平台研究了下,截止到2020年末,当前在售的固态移动硬盘,大多数速度都只有540MB/左右,用的都是USB 3.0 5Gbps,容量也以1TB和500MB为主。所以说,无论从容量还是性能上来看,这块盘的标准都远超常见的移动硬盘。

为了眼见为实的看看它的真实速度,花了300块钱买一块PCIe转USB 3.2 Gen2的卡,支持最快20Gbps,10Gbps,还有5Gbps什么的。

可能是性能耗费太大了,出口只有一个Type-C口,可能是功耗太大了。它还提供了单独的15pin供电口,我把硬盘电源线插了上去。插在PCIe口上还需要单独供电的大家伙,享受了跟显卡一样的待遇。

随着技术发展,移动硬盘越来越大,提升接口速度也是势在必行的,作为一块设计合理的SSD,容量和性能要有一定的比例,不然,那跟磁盘有什么区别呢?能住一千人的小区跟住一万人的小区,大门的设计必然不一样。

看外观颜值

在正式安装跑分之前,先来看看这一款高端的移动固态硬盘Crucial X8。

我拿在手里的是一个2TB的版本,外形小巧,除了标签栏是硬塑料,摸上去会有明显指纹,别的部分摸上去有柔软的磨砂感觉,感觉比较舒服,整体手感非常的圆润。

外壳比较结实,看起来并不容易拆开,或者拆开之后不容易组装回来,从大小来盲猜,里面是一个m.2的NVMe SSD。

此前。我把一个退役的PM981装在了硬盘盒里,硬盘盒是USB 3.1的,大概花了一百块钱买的,其性能方面的部分参与与X8有些相近,但硬盘盒本身的水平与X8相差就太远了。(这种通用的硬盘盒可能会存在问题,并不建议将新的盘这么浪费)

Crucial X8提供了Type-C转USB的转接头,可以兼容最常见的USB接口,转接头有一个贴心的小卡子,可能是为了防止乱插影响性能吧。

话不多说,安装上电完成后,格式化实际可用的容量为1.81TB,这是这台老机器见过的最大的单盘SSD了,接下来,我会在不再分区,不写入数据的情况下用常见的工具跑分来看看。

跑分开始

Crystal Disk Info

通常是用来查看磁盘信息的一个工具,能显示存储设备的一些特性和运行状况。

上图可见传输模式软件没有检测出来,一般的内置盘都会写PCIe 3.0×4之类的,这里是空的。

接口上写的是USAP(NVMe),USAP是USB-IF所制定的一个新传输协议,能用USB接口提供高速和高性能传输能力,还能降低CPU的利用率、数据延迟和等待时间,就是一个高性能的传输协议,如果没有USAP就不能有这么高的性能,不能发挥m.2盘的NVMe协议的优势。

Atto Disk Benchmark 4.0.1

ATTO DISK BENCHMARK 是最经典的磁盘测试工具之一,而且是厂商特别看重的一个测试规范,因为数据一般比较好看。

之前的版本还可以选择测试原始(Raw)或未压缩数据,新版本里取消了这一选项,默认测试的是没有压缩的数据,数据比较好看,但有了新的“Bypass Write Cache”的选项,能绕开缓存。

默认设置,读写速度在128KB块以后,基本维持在1GB/s左右。

选择绕开Cache后,性能也几乎没什么变化。

Crystal Disk Benchmark 8.0.0

Crystal Disk Benchmark可以测随机4K IOPS性能和顺序读写吞吐带宽,新版本的Crystal Disk Benchmark 8.0.0除了提供默认面向磁盘的测试配置,还提供了适用于NVMe SSD的配置方案。

默认配置,测试许多顺序读写性能,顺序写速度达到了1068MB/s。

新的面向NVMe SSD的测试方案,比如SEQ 128K Q32T1和RND 4K和Q32 T16,更能反应NVMe SSD本身的一些特定。

AS SSD Benchmark 2.0.7

如果说SSD厂商最喜欢的是ATTO Disk Benchmark的话,那可能普通用户最喜欢的就是AS SSD Benchmark了,因为它测的场景都不太利于发挥性能,SSD在过程中挑战比较大,可能更接近于真实使用体验。

实际测试结果如上图所示,顺序写性能能达到970MB/s,顺序读性能能达到977MB/s。

文件拷贝速度的话,如上图所示,与标称数据有较大出入。实际拷贝大型压缩文件的速度能稳定在600MB/s以上。

Anvil’s Storage Utilities

读写速度分别为950MB/s和885MB/s,与标称的1050MB/s有大约10%的差距。

TxBench

TxBench与Crystal Disk Benchmark很像,但是它支持的测试负载更多一些,因为它可以自定义一些测试,设置QD队列深度和线程。另外,如果SSD支持安全擦除的话可以在这里完成相关操作。

我们只用默认设置来看看,顺序写速度比标称的1050MB/s还多了点,达到了1084MB/s。

高强度的性能测试后,并没有感觉到硬盘会发烫,我的硬盘盒发烫就比较明显了。

写在最后

不得不说,现在移动硬盘的速度居然都这么快了,USB 3.2的速度确实很高,而更新的USB 4.0的规范也将在未来推出,速度必然会越来越快,以对应固态盘容量越来越大的趋势。

Crucial X8的速度确实很快,非常适合那些对性能有极致要求的朋友,2TB的设定比许多电脑默认的容量还大,比一些使用SATA盘的电脑速度还要高。

2020中国(常州)数字经济产业发展与合作推进大会举行

张 妮娜

当前,蓬勃发展的数字经济成为推动经济增长的重要动能,数字产业化、产业数字化正在引发经济增长格局、生产生活方式的革新。12月3日,2020中国(常州)数字经济产业发展与合作推进大会在常州高新区举行,会议由常州国家高新技术产业开发区管委会、常州市发展和改革委员会、常州市工业和信息化局主办,常州国家高新区(新北区)创意产业园区管理办公室、中国软件和信息服务业网、中国计算机用户协会智慧城市分会、中国软件和信息服务业百人会和智慧城市评价网承办。大会聚焦5G、人工智能、集成电路等领域,邀请知名专家学者、行业精英围绕“软件赋能时代 数字创领未来”的主题,就数字生产、数字金融、数字政务、数字创意、数字医疗、数字通信等领域深入研讨,共绘数字经济发展蓝图,助推产业高质量发展。

大会现场

总投资15亿元重点项目签约,加码融合创新业态布局

常州国家高新区(新北区)、创意产业园区签约大象慧云研发中心、车规级芯片设计研发、高性能功率半导体芯片设计研发、新能源汽车智能充换电系统及数据运营服务中心、AI智慧园区系统、“ITnet”物联网系统、5G云游戏等12个重点项目,总投资15亿元,涉及数字税务、人工智能、物联网、智慧医疗、5G场景应用、芯片研发、智能交通服务和智慧能源管理等数字经济多个领域,加速“数字经济+实体经济”融合创新及成果转化。

常州市委常委、高新区党工委书记、新北区委书记周斌

常州市委常委、高新区党工委书记、新北区委书记周斌出席会议并致辞。周斌指出,常州高新区集聚了全市三分之一的外资企业和三分之一的高新技术企业,形成了光伏智慧能源、新材料、新能源汽车及汽车核心零部件、新一代信息技术、新医药及医疗器械、现代服务业等“两特三新一现代”产业集群,今年底全区地区生产总值将迈上1600亿元台阶。随着数字时代的到来,如何认识数字经济、拥抱数字经济、用数字经济赋能产业转型升级成为新课题,常州高新区必须认识、接触、利用、抓住数字经济的新机遇。面向“十四五”新阶段,常州高新区将开启现代化新征程,更大力度推动数字经济产业发展,积极扩大“朋友圈”、培育“生态链”,加快人才集聚、资源集聚、数据集聚,实现“化学反应”、催生爆发增长,引领带动区域经济高质量发展。创意产业园区作为“三新经济”发展之核,形成了新产业、新业态引领实体经济转型升级的良好发展格局。面向“十四五”新阶段,高新区将更大力度推动数字经济产业发展,加快人才集聚、资源集聚、数据集聚,引领带动区域经济高质量发展。

大咖思想碰撞,共话数字经济产业生态

中国工程院院士沈昌祥就创新发展安全可信集成电路产业,夯实国家网络安全基础,推动数字经济健康高质量发展专题探讨;中国工程院院士谭建荣深度剖析数字经济与数字产业的关键技术与发展趋势,洞见产业前景;京东集团副总裁蔡磊带来互联网发展与财税创新独到观点;中国电子信息产业发展研究院副总工程师安晖 、东软集团副总裁兼平台产品事业本部常务总经理纪勇、用友网络科技股份有限公司副总裁郝伟明等行业大咖分别从数字经济的新局与新机、软件的力量、商业创新如此便捷等视角思想碰撞。在分论坛活动5G时代的机遇暨第七届中国智慧城市建设推进大会上,华为全球智慧城市总架构师郑志彬,阿里巴巴集团政府事务部总经理、阿里云计算有限公司副总裁李树翀,上海云轴信息科技有限公司苏南区域总监薛延安,江苏省移动集团客户部副总经理杨谦,浪潮集团副总裁、爱城市网总经理罗森,中软国际云智能业务集团云服务产品线总裁余航等业内专家论见5G时代云网融合、产业生态链构建、数字政务与城市服务、智慧城市发展、企业数字化转型等领域,推动5G、人工智能、大数据、工业互联网等新一代信息技术深化与实体经济融合应用。

共筑数字经济高地,按下高质量发展“快进键”

项目签约仪式

“新三板”挂牌企业8家,创业板资产重组1家,40多家企业在区域市场挂牌,吸引社会资本50多亿;培育经认定的高新技术企业40家,省高新技术产品94只,市级以上研发机构17个……在常州国家高新区(新北区)创意产业园区,一个科创生态圈正在崛起。园区建成以来,多次荣获荣获国家电子商务示范基地、国家级文化和科技融合示范基地、国家火炬计划软件产业基地、全国版权示范园区等“国字号”品牌,2019年度在省级生产性服务业集聚示范区综合评价中位列常州第一。

围绕打造具备区域辐射力的“三新经济”发展高地定位,园区加速与属地三井街道“园镇融合”改革步伐,形成以数字工业、数字医疗、数字金融、数字政务、数字创意、数字消费等为鲜明特色的数字经济细分产业矩阵,不断拓展垂直应用场景,涌现出鑫亿软件、金蝶软件、立卓信息、爱尔威、银科金典、同和信息、富深协通、新博软件、长盛天成、新途软件、哈勃新能源等一批创新企业,以产业数字化赋能实体经济转型升级。

园区还针对运营管理及企业服务中的痛点、难点,建设智慧园区平台,实现一个平台织就三张网——园区管理服务集成网、企业全生命周期管理系统网、园区安全生产管理物联网,以运营管理“上云”带动园区服务“下沉”。

腾讯云副总裁刘颖:云开发是腾讯C2B战略的技术抓手

张 妮娜

“过去一年多的实践数据显示,借助云开发,应用开发的人力成本可以降低50%、云资源使用成本可降低30%。”在11月29日腾讯云与微信联合主办的第二届“小程序·云开发”技术峰会上,腾讯云副总裁刘颖揭示了云开发在应用开发上的突出成效。

让人人都是“开发者”

“小程序·云开发”是腾讯云与微信联合推出的微信官方云原生开发平台,平台采用Serverless架构,集成腾讯云云函数、容器、云存储、云数据库等后端能力,让开发者无需自行搭建、运维服务器,即可在平台上开发、上线应用。

除了小程序,云开发还支持公众号、Web应用、H5、App等多端,开发者可以一次开发、多端部署,显著提升开发效率、降低成本。

据刘颖介绍,上线两年时间,已有超过100万开发者在使用云开发构建他们的小程序、公众号和移动应用,云开发平台每日调用量超过7亿次,这标志着云开发成为国内最大的Serverless开发平台。“云开发的愿景,是让人人都是‘开发者’,助力企业降本、增效和创收。”

人力成本降低50%,云资源降低30%

刘颖表示,云开发的核心原理是将后端资源Serverless化,让云服务像调用API一样简单好用,发者只需关注业务代码而无需管理底层基础架构。前后端一体化的云开发模式,让开发者轻松成为“全栈开发者”。

2020年,云开发还正式推出云开发低码平台,通过可拖拽式构建应用进一步降低开发门槛,无需技术背景即可搭建小程序/Web网页,让开发者的群体边界越来越广泛。同时,云开发低码平台提供专业的行业模板,助力企业一键上云。

刘颖指出,云开发在人力成本和云资源成本两方面都有显著优势。在人力成本方面,云开发统一前后端开发,节省应用开发过程中过多的联调环节,不仅减少人力投入,还大大缩短研发周期。过去一年多的实践数据显示,应用研发的人力成本至少降低50%。

在云资源成本方面,云开发的Serverless架构可根据应用流量自动扩缩容——当流量洪峰来时,可实现毫秒级扩容;当没有流量时,资源可缩减至0。企业和开发者无需为高并发而提前囤积大量的资源,成本可减少至少30%。

云开发,腾讯C2B战略的技术抓手

2018年9月,腾讯宣布进军产业互联网,有着20年历史的腾讯具备成熟的数字化工具和技术能力,能够为行业提供“最有效的数字接口和最完善的数字工具”,助力各行业实现数字化转型升级。

在腾讯C2B的新战略中,微信、公众号、企业微信等在内的内部生态与外部合作伙伴、企业客户的双向链接,是这一过程中的核心环节。“云开发是腾讯C2B战略的技术抓手”, 刘颖表示。

一方面,云开发集成了微信生态能力,包括小程序、小游戏、公众号、微信开放能力、微信支付和微信广告等。另一方面,云开发又集成了腾讯云能力,包括计算、存储、网络等基础能力,大数据、人工智能、物联网等应用能力,腾讯会议等企业SaaS以及金融、文旅、教育等行业解决方案。

最终,腾讯通过云开发为企业提供完整的一站式Serverless化后端资源和服务,并帮助企业精准获客、洞察增长趋势,实现业务的价值增长。“从研发平台到微信生态用户增长工具,云开发已覆盖产品研发到产品增长的全生命周期,助力企业降本增效创收。”

2020:AWS云上八大类型数据库简介

朱 朋博

十年前学习编程语言的时候,基本只要会用MySQL,SQL Server,Oracle就够用了,但是2020年,只会用这几个数据库就远远不够了,这些数据库都是关系型数据库,都诞生了几十年了,第一个商用版的Oracle数据库是在1979年发布的,第一个SQL Sever是1989年发布的,第一版的MySQL是1995年发布的,可以说,关系型数据库都算是经典数据库了。

关系型数据库使用频率非常高,在2020年11月的十大最流行数据库TOP10排行中,超过一半的都是关系型数据库,此外,还有一个文档数据库、一个键值数据库、一个宽表数据库、还有搜索引擎数据库,不过,从类型上来看,这还不够,AWS在公有云上提供的数据库类型就有八种。

如上图所示,AWS上一共有八个类别的数据库,基本涵盖了各种常见的数据库,除了关系型数据库,还有键值数据库、宽表数据库、文档数据库、内存数据库、图数据库、时序数据库以及分类账数据库,其中,关系型数据库种类最多,用的人也最多。

我们今天从最常用的关系型数据库开始,梳理一下AWS云上数据库,以及他们的主要用法。

关系型数据库RDS

AWS RDS是2009年发布的,它如今提供五种托管的关系型数据库,包括MySQL、MariaDB、PostgreSQL、Oracle和SQL Server,用户可以将数据库从本地迁移到云端数据库,AWS提供多个版本供选择,基本可以不用做任何修改将数据库迁移到云上。

这种托管的方案照顾了用户原有的使用习惯,便于用户迁移。云端关系型数据库用起来更省心,不用进行各种麻烦的运维工作。

普通用户只需点击几下鼠标就可以创建一个关系型数据库(RDS),以MySQL为例,可以选择数据库的版本,可以选择运行MySQL的主机的规格,可以配置存储类型(是SSD还是磁盘),在容量不够的时候还能自动扩容,还能设置多可用区备份实例,以确保安全。

另外,AWS还提供了一种自己独有的,专门为云环境而设计的关系型数据库——Amazon Aurora,它是2014年发布的一种兼容MySQL和PostgreSQL的关系型数据库,所谓兼容,就意味着MySQL和PostgreSQL可以无缝迁移到Amazon Aurora。

用户可以像刚才一样进行各种设置,也可以选择无服务器的模式,这种模式其实是AWS更推荐的方式,它可以不用设置主机、存储类型以及多可用区,只管用就可以了,不用关心性能和可用性的问题,也不用任何升级和维护的操作。

Amazon Aurora既满足了商业数据库的性能和可用性的要求,同时,又把成本降低到商业数据库的1/10,此外,AWS还做了性能上的优化,使得Amazon Aurora的吞吐量可以达到MySQL的5倍、PostgreSQL的3倍。

由于Aurora底层使用了分布式存储系统,可以将数据存储在三个不同可用区的数百个存储节点上,所以,它的扩展性很好。性能扩展性方面,三个可用区最多可设置15个低延迟读取副本来提升性能,能满足每秒数百万次的读取请求。在容量扩展性方面,它可以自动增加存储,每个实例最高增长到128TB。

在可用性方面和持久性方面,Amazon Aurora提供高于99.99%的可用性,可跨3个可用区复制 6份数据,并能将数据持续备份到 Amazon S3 中。它能以透明的方式从物理存储故障中恢复,实例故障转移用时通常不超过 30 秒。在安全性方面,AWS也做了很多特殊处理,比如有VPC网络隔离,还有各种加密操作。

Amazon Aurora另外一个特点是支持并行查询,可以同时运行分析查询和事务查询,Amazon Aurora可以跨成百上千个存储节点进行查询,多节点并行操作大大提升了查询的速度,而且,这一模式还能减少对于网络、CPU 和缓冲池资源的争夺,在并行查询时性能表现更稳定。

作为AWS最引以为傲的数据库产品,Amazon Aurora能与AWS平台的其他服务结合起来使用,能与 Amazon Athena(交互式sql查询服务 )和Amazon QuickSight(BI服务)结合使用,能与Amazon SageMaker(机器学习IDE工具)和Amazon Comprehend(自然语言处理)集成使用,结合起来使用,有助于快速构建数据洞察能力。

广州虎牙信息科技有限公司海外游戏直播业务后台负责人马昭表示:“AWS成熟稳定,是虎牙直播延伸国际业务的理想选择。”

虎牙直播在数据库后台中使用了Amazon Aurora,Amazon Aurora主要用来存储用户的静态基础信息,在使用中,Amazon Aurora的自动扩容,能够单独升级计算实例,5倍于MySQL的性能表现,10秒左右的快速故障转移,以及全球数据库功能都是虎牙直播非常认可的方面。

当然,只有Amazon Aurora是不够的,虎牙直播还用了Amazon DynamoDB来存储动态信息,包括支付、状态、好友关注关系等动态信息,Amazon DynamoDB的优势是有稳定的高性能、低延迟表现,特别是在当流量突发的时候更有价值,比如网红大主播上线的时候会引起流量暴涨,而Amazon DynamoDB都能始终如一地提供毫秒级性能,。

这里主要想谈的是Amazon Aurora,关于Amazon DynamoDB的介绍可以接着往下看。

Amazon DynamoDB键值数据库

Amazon DynamoDB是AWS在2012年发布的键/值和文档数据库,最早是为了处理亚马逊电商业务高峰期系统瓶颈问题,经过仔细分析后却发现原来70%的运营需求是键值型数据的查询,且只需要返回含有主键值的一行数据即可。于是AWS工程师们意识到,这样大规模的特定需求,需要一种不同类型的数据库,这就是非关系型数据为Amazon DynamoDB,最终被亚马逊电商验证的一个方案,可以说,它的出生和演进都与互联网业务的有着千丝万缕的联系。

Amazon DynamoDB属于NoSQL(No-Not Only-不只是SQL的数据库)数据库的一种,它每天可以应对超过十万亿次,峰值每秒超两千万次的请求,存储容量可以达到数个PB,非常适合移动、Web、游戏、广告技术、物联网等对查询速度要求很高的场景。而且,操作简单易上手,运维管理成本也低,比较受欢迎。

Amazon ElastiCache内存数据库

Amazon ElastiCache是2011年发布的一款托管内存数据库服务,它支持两种开源的内存数据库引擎:Redis和Memcached,用户最看重的就是内存数据库的高性能表现,它可以提供亚毫秒级的延时。

场景方面,它适合缓存用户的信息(比如用户会话),它适合用在电商平台,适合用来构建聊天室,适合用来创建游戏排行榜,总之是数据量特别大、延迟要求又高的那类场景,以互联网类应用最为典型。

Amazon ElastiCache在安全性方面也做了许多工作,比如,有用于集群隔离、静止/传输加密和HIPAA合规的VPC,以此保护用户的敏感信息。

扩展性方面也是优势所在,它可以通过创建副本进行在线扩展,而且可以扩展的很大,Amazon ElastiCache for Redis甚至可以扩展到320TB,Amazon ElastiCache for Memcached可以扩展到12TB。

高可用性方面,通过多可用区实现自动的故障切换,当主节点出现故障,Amazon ElastiCache在将副本提升为主节点时,能最大限度降低影响。

与直接使用开源的Redis和Memcached相比,Amazon ElastiCache提供了经过端到端软硬件优化功能,而且,有一帮AWS的专家在盯着开源软件可能出现的安全问题,如果有问题能尽早下手解决。

Amazon DocumentDB文档数据库

Amazon DocumentDB是2019年1月发布的,这是一款快速的、可扩展的、高可用的文档数据库,它是AWS开发的能兼容Amazon MongoDB的数据库,用Amazon MongoDB的人几乎可以无缝的切换到Amazon DocumentDB上来,可以复用原来的代码。

Amazon MongoDB存储的所谓文档其实是JSON数据,JSON是一种典型的半结构数据,它最大的特点是能适应字段不确定的场景,文件模型非常灵活,便于对应用程序进行快速调整和迭代,从而缩短开发时间,典型场景方面,比如在电商平台里它负责存储商品信息、买家评论等内容。

用户自建并管理Amazon MongoDB数据库还是挺麻烦的,在数据量上来之后的性能下降令很多人头疼,而Amazon DocumentDB托管服务就比较省心了,Amazon DocumentDB在性能上做了一些优化,可以达到现有托管的Amazon MongoDB的服务量的两倍。

Amazon DocumentDB架构设计上将存储和计算进行分离,两部分资源可以独立扩展,几分钟时间就可以在三个可用区内添加多达15个低延迟的只读副本,来轻松地把读取的容量增至每秒钟数百万个请求,无论数据的大小都能做到这点。

可用性方面,在设计上实现了四个9的可用性,可以在三个可用区里复制了六个数据副本。Amazon DocumentDB 采用一种有容错能力和自我修复能力的分布式存储系统,每个数据库集群可自动扩展至 64TB。

Amazon Keyspaces宽表数据库

2020年4月,AWS正式推出Amazon Keyspaces,它是一款兼容Apache Cassandra的数据库服务,原来Apache Cassandra用户可以无缝切换到新的Apache Keyspaces上。发布后不久,中国的两个区域(由光环新网运营的 AWS 中国(北京)区域和由西云数据运营的 AWS 中国(宁夏)区域)也很快都陆续上线了。

Apache Cassandra在2011年发布了第一个正式版本,它是一款典型的宽表数据库,数据模型基于谷歌的 Bigtable,存储则采用了亚马逊的 Dynamo 的分布式设计方案,AWS后来提供了Apache Cassandra的托管服务。

考虑到Apache Cassandra存在的一些问题,AWS修改了Apache Cassandra的代码,使得它能够作为一款托管的无服务器服务,让用户无需做任何管理操作,而且可以按照实际使用的资源付费,可以用它轻松构建一个每可处理数千个需求的,吞吐量和存储空间几乎无限的应用程序。

Amazon Neptune图数据库

Amazon Neptune是2018年5月发布的一款完全托管的图数据库服务,所谓图数据库跟图片没关系,它描述的是现实世界中个体和个体之间网络关系的数据结构,虽然有一些开源的实现方案,但AWS并没有直接采用,而是兼容了部分标准之后提供了专有服务。

图数据库的典型场景不难想象,它适合在社交网络上管理社交关系,实现好友推荐功能,在电商网站上猜你想买,推荐商品,此外还有知识图谱等场景,总之,是数据与数据有关联关系的应用。

Amazon Neptune提供了图数据库引擎,可以存储十亿个关系,并让查询的延迟降低到毫秒级,关联关系的查询其实很复杂,如果用关系型数据库处理这种数据的时候,数据库操作非常多,性能会下降的非常厉害,而Amazon Neptune的查询能将延迟降到毫秒级。

这里我们看一下Nike耐克的应用,Nike有一款应用,它需要记录运动员的技能、喜欢的运动、关注它的粉丝、以及粉丝喜欢的运动,数据相互间是有关系的,原本采用关系型数据库的话性能会很差,但当采用了Amazon Neptune以后,性能得到了非常大的提升,Nike有2500万个用户的关系存储在Amazon Neptune中。

Amazon TimeStream时序数据库

Amazon Timestream是2020年9月底发布的一款时间序列数据库服务,时间序列数据是按时间顺序记录的数据列,对时间序列进行分析可以找出样本内时间序列的统计特性和发展规律,构建时间序列模型,进行预测。

Amazon Timestream适用于物联网和运营应用程序,该服务每天可以存储和分析数万亿个事件,与关系型数据库相比,速度提高了1000 倍,而成本仅为关系数据库的十分之一。

作为一款托管服务,Amazon Timestream节省了管理时序数据的时间和成本,作为一款无服务器服务,它的性能和容量能自动伸缩,可以近乎无限地进行扩容,用户无需关注底层基础设施。

Amazon Timestream有数据分层策略,把近期数据保留在内存中,历史数据放在低成本存储层,Amazon Timestream的查询引擎可以对各种数据层的数据进行查询,此外,Amazon Timestream 内置了时间序列分析函数,帮助用户近乎实时地识别数据的趋势和模式。

此外,Amazon Timestream 还能与AWS IoT Core(用于 IoT 数据收集)、Amazon Kinesis 和 Amazon MSK(用于流式处理数据)、Amazon QuickSight(用于无服务器商业智能)和 Amazon SageMaker等服务集成来使用。

Amazon Quantum Ledger Database分类账数据库

Amazon Quantum Ledger Database (Amazon QLDB)是2019年9月发布的托管的分类帐数据库,可用于跟踪每次的应用程序数据更改记录,它会不断维护完整的,而且是可验证的更改历史记录,这些记录无法修改,类似于区块链。

应用场景方面,它适合用来记录企业的经济、金融历史,或者修改维护的历史,或者银行借贷,或者保险索赔数据。实际应用场景对于可扩展性有很高要求,这就是QLDB作为全托管的分类帐数据库的优势所在。

宝马使用QLDB构建了一款应用,这款应用负责追踪汽车数据的变化,记录哪些数据呢?买车之后,加油、年检、交通事故、维修记录、换轮胎等都会记录,而这些数据是不可修改的,数据本身非常可信,为汽车交易提供了非常有力的支撑,都知道二手车市场水非常深,这款应用能避免篡改记录让二手车买家蒙受损失。

结语

以上就是AWS提供的八种数据库服务的简要介绍,可以看出,类别还是非常全的。

对于比较经典的主流数据库,AWS提供了托管现有服务和自主开发新服务的模式,比如RDS,照顾用户原有应用资产。对于比较新的,没有特别有影响力的数据库类型,AWS则是以自己的实现方式为主,比如图数据库和分类账数据库。

传统的关系型数据库是最常用的类型,而新的数据库则更能灵活满足用户在新场景上的需求,AWS的数据库服务在性能上、可扩展性上、在安全和可用性上都有许多设计,能让用户把大部分注意力放在业务方面。

云上数据库以较低的成本为大部分用户输出了AWS优化过的最佳实践,为了方便用户使用这些服务,AWS提供了便捷的数据库迁移服务——Amazon Database Migration Service ,方便用户迁入迁出。

据资料显示,DMS在2019年对超过20多万个数据库进行了迁移,这个数字超过了2016年到2018年的总和,数据库向云迁移的速度在加快。

西部数据刘钢:创新存储架构,迎接数智未来

张 妮娜

11月18日,西部数据公司副总裁兼中国区业务总经理刘钢在2020中国数据与存储峰会上发表题为《创新存储架构,迎接数智未来》的主题演讲。数字化时代,数字是生产力,是石油,相对工业时代的石油,在数字化的演进当中,数据的存储的场景也在发生变化,从终端到边缘到核心,从数据的采集、处理、传输到分析存储,对整个数据的存储,提出了各种各样的要求,既有对数据容量的需求,功耗的需求,也有对数据时延的需求还有成本的需求,所以针对不同的数据存储的场景,用户需要不同的存储方案。

从NAND颗粒到整个的数据中心的存储系统,西部数据都有完整的产品和解决方案,你可以看到我们的产品被应用到多种场景,既包含了手机、照相机、还有PC机,甚至是自动驾驶的场景,同时也可以看到,在数据中心的云计算和大规模的数据存储的场景,甚至我们也有JBOD和JBOF,这样高密度的存储服务器和设备。在多种的存储场景当中,我们也看到,其中尤以数据中心的存储场景和应用发展更为迅猛。

18T会成为企业级硬盘的主要容量点

在企业级的存储,尤其是在数据中心里面的存储,需求快速增长,这个增长不只是来自于我们想到的SSD的容量的增长,总的容量增长非常迅速,其实企业级的硬盘的总的容量也非常迅速,我们看到年化增长率的话,企业级的SSD年化增长率大概是47%,企业级的硬盘增长率其实也非常快,39%,那么企业级的硬盘年化增长率是怎么来实现的?它其实并不是通过盘的数量来实现的,而是盘的密度和盘的容量来实现的。

在过去的两年当中,从12T到14T这是主要的容量节点,再到今年我们看到16T成为一个相对主要的容量点,但是今年的第四季度开始,到明年的全年,18T会成为企业级硬盘的主要容量点,带来了很多密度上的增长和进展。

除了企业级硬盘的容量的增长和密度的增长以外,在企业级的固态盘部分我们也看到这样的趋势,那就是一方面对于速度和时延的要求NVMePCIe的接口,成为一个主要的固态盘的接口,大概超过大概百分之七八十以上的固态盘接口未来会变成NVMe的接口的。

另外,在NVMe接口里,我们可以看到Gen4就是第四代的NVMePCIe的接口会逐渐的出现,尤其是明年的下半年,随着整个服务器平台的演进,NVMe的Gen4这个部分,也逐渐会增长。

企业级固态盘市场的发展趋势从总体来说,今年以绝大部分95%以上,以Gen3为主,明年最主要的NVMe的接口还会是Gen3,而随着服务器的平台演进,下半年Gen4逐渐开始成熟。

企业级存储架构仍面临巨大挑战

随着数据的快速增长,用户对大容量有了新的需求,还有一部分用户的需求,其实不只是要存储更多的数据,用户需要很多数据得到实时的处理,实时的分析,来提供预测,甚至来支持及时的交易,这个时候用户对时延、吞吐量也有很多的要求,对于存储性能的需求,要求也快速增加,同时,还需要能够在持续降低存储的总体成本TCO,另外还有功耗本身也是数据中心的一个很重要的需求,所以这四个方面的需求,是用户对企业级数据中心的存储提出了新的要求,

我们通常也知道,有三件事情你不可能同时得到,大容量、低时延还有低成本,这三件事情其中能同时到两件事情,可能比较容易,任何一种存储介质存储方案能让你实现其中两件事,你找到一个存储介质和存储方案,实现三件事情通常是比较难的,也导致了我们谈到的对数据中心的存储架构我们要进行创新,有新的存储架构,可以帮助我们更好的用适当的存储介质,来满足用户相应的需求。

今天我们看到的存储架构的分层,针对用户的需求,需要持续的低延时的时候,需要持续高IOPS的时候,你可能需要的是极热存储和热存储,把这份应用用户的需求定位极热存储和热存储,还有一部分是用户需要高的IOPS,但是并不是需要持续的高IOPS,有带宽的要求,性能的峰值要求有的时候要求比较高,也不是特别稳定的,不是总需要持续高的性能要求,那个时候我们叫温存储,还有一份我们叫冷存储,用户会有少量的写入,多次读取,这叫冷存储,还有一种我们看到是极冷存储,这就像在金融、医疗,甚至是广电行业,我们看到一些数据的长期的归档这种存储,这个通常会是一次写入,极少读取,这部分我们叫做极冷存储。

优化存储架构,契合用户业务场景

针对这五种不同的对存储的需求,用户的使用场景,其实我们不能用一种存储方案来满足,我们需要用存储分层来满足他们,那就是我们用DRAM和高性能的SSD来满足极热存储和热存储的需求,然后用主流的SSD来满足温存储需求,用传统的CMR大容量硬盘来满足冷存储要求,用最新型的叠瓦式的大容量盘的SMR HDD来满足极冷存储的需求,很多用户分为上下两部分,把极热、热存储部分叫做快数据,往下追求容量的部分,我们叫做大数据,对用户既有对快数据的需求,也有对大数据的需求。

针对冷存储和极冷存储,西部数据的相应解决方案和产品是什么,现在冷存储最新的解决方案是CMR的,16T和18T的两种大容量的高密度存储硬盘解决方案。极冷存储,在这个部分,目前的最新产品是20T的SMR,大家可能会想到容量的提高,对用户带来什么好处呢?对用户带来的好处,可能用户说我增加了新的大容量也盘,是不是成本会提高?其实总体的用户成本反而会降低,因为你的存储密度变高了。

举例子,像行业用户通常会使用到8T的硬盘比较多,在很多行业我们看到用户还在使用8T的盘,但是实际上现在空气盘的最大容量已经提到了10T了,我们也看到很多的行业用户积极的从8T到10T,从8T迁移到10T的空气盘,在企业级的数据中心或者应用里,带来了什么好处?这个突骑施做了一个很好的分析。

存储密度提高了25%,功耗降低了21%,但同时由于密度的提高,让你的服务器达到同样的容量,服务器的使用减少了20%,导致了总体的拥有成本里面的部署成本至少降低了10%,同时由于长期的减少了功耗,和减少了空间的占用,实际上总体的长期的拥有成本降低的话,其实比10%还多,所以用户只是从8T的空气盘升级到10T的空气盘,就得到这样的好处,这是对于企业用户或者行业用户用的比较多的容量点8T到10T。

对于互联网服务来讲,他们其实用的硬盘的容量点,还更加的大和高密度,我们看到云客户,现在通常的容量点,去年可能是12T,今年我们看到有很多14T容量点的使用,从这个季度开始,我们看到越来越多的互联网的客户把容量点从14T提高到了18T,我们已经看到很多的项目已经到了18T,这个时候从14T到18T的迁移,给用户带来什么好处?首先,存储密度提高了29%,功耗降低了21%,服务器的使用量同样的容量总体容量,服务器的使用减少22%,部署成本降低了11%,长期的TCO甚至会更多,因为你降低了功耗,降低了使用的空间,所以我们在冷存储和极冷存储当中让我们从容量点8T到10T,对于企业级用户,或者从14T到18T对云客户来讲,给用户带来的好处,对存储的系统带来的总体的成本的降低,密度的提高,还有功耗的降低。

刚刚讲完的是冷存储和极冷存储,那么存储分层里,我们还有热存储,和温存储,热存储相当于在计算密集型的节点的时候,你需要高性能的访问数据,低时延,高带宽,对于这样的用户的存储需求,WD会有高性能的固态盘840这个在今年的6月份发布了,尤其适合场景是50%读和50%写,这种写比较密集型的应用场景里,它能够做到的DWPD耐擦鞋次数有1和3两种,而且它的通道数高达16通道,性能非常好,尤其适合热存储。

温存储,我们已经有大量的部署640产品,在过去的一年中,有很多的客户在部署,还有一些客户在测试,目前大概部署测试客户加起来在全球有一百多家,这个部分我们也看到,它比较适合主流的存储场景,大概70%的读,30%的写,它的DWPD有0.8和2两种,非常适合混合的工作负载的应用场景,来满足这部分用户的需求,这是两条主要的NVMe的固态盘的产品线,这两个可以进一步的看到,他们在数据中心的应用场景里面的适用范围,可以看到针对混合随机工作负载,比较适用这一款640,它针对的应用场景大概是这些,有云存储,读取密集型的工作负载,还有在线的数据分析OLAP,还有一些数据库的应用,甚至还有一些超融合的应用场景,这个都比较适合我们这一款640。

刚刚我们提到了,针对计算密集型,尤其是写密集型的应用场景,用户可能是50%读50%写的场景,我们有这款高性能的840来满足用户这部分的需求,这部分包括一些人工智能、云计算的virtualization,还有AI的一些实时的分析,然后试试的在线交易,这些部分我们都可以用这款840的产品来满足用户的需求。

西部数据的固态盘,尤其是企业级固态盘的优势有三个方面构成。一是拥有技术领先的NANDFlash的制造工艺,其实是和东芝一起合资建厂,有大量的领先的NAND产能,这是一部分,我们非常熟悉NAND的技术。第二个部分就是针对企业级的固态盘,西部数据有自主研发的固态盘的控制器,所谓的固态控制器,针对各种负载,有做相应的均衡和隔离,来提高它的性能和一致性,然后还有在这两个硬件之上,我们有自主研发的firmware,固件,来进一步的优化整体的性能,企业固态盘的性能。

所以这三种自主运营,拥有的领先技术在一起,会更方便我们针对企业级数据中心固态盘做纵向的集成,并且对性能和稳定性一致性做极致的优化,这个是非常明显和独特的优势。

刚刚讲完了数据的分层,针对不同的数据的应用场景,从极热数据到热数据到温数据到冷数据和极冷数据,从上到下的一个分层,用不同的存储介质解决方案来满足用户的需求。

除此之外,数据中心还在发生另一个变化,数据中心本身的架构也在演进,一些传统的放在服务器里面的一些资源被分解出来,像存储、GPU、FPGA这样子的部件,被分解出来,放在专门的资源池里面,通过硬件资源的重新组合,可以让更多的服务器、服务器节点可以共享这些高性能的存储,或者大量的存储资源池,这点非常重要,大家可以看到有很多的厂商已经支持这样的基于光纤网络、NVMe over Fabric,把资源池分解出来,提供给更多的服务器来使用,这也是一种创新数据中心存储架构的方法。西部数据积极地支持NVMe over Fabric一种新的存储架构,在数据中心里面的部署。

日前,西部数据发布了基于NVMe over Fabric的产品——OpenFlex Data24,这款产品能够支持24盘位的,刚才讲到840高性能固态盘,同时支持6块NVMe over Fabric网络的适配器,可以让更多的通过光纤网络100g的光纤以太网,让更多的数据中心的服务器节点能够享受到高性能固态盘的存储的优势,所以这是在可分解的存储架构,上面我们进一步的优化和创新存储架构,给用户带来更多的存储部署的优势。

“存储在发生巨大的变化,有非常大的进展,希望和存储的厂商、存储的服务商、存储的软件公司,一起有更多的合作,为用户提供更多更完整的针对不同的应用场景的存储解决方案,”刘钢表示。

92彩票