如今互联网上最火的应用应该算是交际网站了，随着用户数的激增，一些顶级的交际网站每天要分享近20亿张照片，而且需求还在不绝增长。那么这些交际网站是怎么实现这种海量照片的存储和分享的？其幕后功臣之一就是ColdStorage体系。
知识扫盲——认识ColdStorage
ColdStorage直译过来就是“冷存储”，意思就是存储汗青数据的存储体系。各人知道每天都有数以千万计的用户在交际网站上发布本身的交际日记，很多日记都包罗图片。由于交际信息的传播具有及时性的特点，常常发布几天后图片就根本没什么人访问。因此交际网站汗青图片数量非产多，为了生存这些汗青图片，他们通过购买数量巨大的低端商品化硬盘来生存这些图片，数量之大，可以存放数百PB的数据（图1）。
图1Prineville的ColdStorage办法
小知识：什么是PB？
PB是企业存储单位，根据换算，1PB=1024TB=1048576GB。以如今主流2TB硬盘为例，1PB约莫是500块2TB硬盘的存储容量。Facebook每个数据中心都有数百PB容量，纵然以100套盘算，每个数据中心就有50000块2TB硬盘，因此其存储的数据黑白常惊人的。
不但是简单的存储——ColdStorage工作原明白密
如上所述，交际网站每天都要生存海量的图片，但是ColdStorage并非只是简单生存这些数据。由于每天有很多用户在分享此中的图片，如许网站不但要包管汗青图片表现，而且要方便用户从服务器数据库中的引用。如许ColdStorage体系就要和开放机架、网络、数据中心等其他构成部分共同，同时还要包管数据的安全。ColdStorage重要是通过下面的技能本领实现的。
1、OpenVaultStorage办理方案
OpenVaultStorage是一套专门针对OpenRack（开放盘算的机架标准）打造的简单高效的存储办理方案。它采取了模块化的I/O拓扑，每个2U机框可容纳30块硬盘，如许就可以在尽大概少的空间里摆放最多的硬盘，到达最高的存储/空间比。OpenVaultStorage另一个紧张特性就是交互性强，它险些可以与任何服务器实现交互操纵。如许Facebook服务器体系就可以或许实现和ColdStorage的数据互换（雷同本地硬盘毗连到Windows体系中），方便用户在网站上可以恣意实现图片的下载、引用和分享（图2）。
图2基于OpenVaultStorage办理方案的ColdStorage机架
2、数据安全掩护神——ReedSolomonCoding纠删码技能
对于每个企业来说，保障数据安全始终是重中之重的事变。特别是对于大型的网站企业，由于它们的数据量极其巨大，因此ColdStorage除了办理简单存储功能外还要包管数据安全。如今ColdStorage体系利用的是“ReedSolomonCoding纠删码技能”。
这种技能利用的是存储范畴常用的数据冗余技能，它的原理是将一份原始数据分成n块，然后根据这些分好的数据块再天生m个校验块。如许当原始数据发生破坏的时间，我们利用特定的算法，从n个原始数据块和m个校验块中任取x块组合就能解码出原始数据（图3）。
图3数据冗余技能图解
通过冗余技能，ColdStorage可图3数据冗余技能图解的本钱实现数据的存储和冗余掩护。从技能角度讲，校验块越多，安全性保障就越高，但同时必要存储校验块的容量开销就越大，从而进步存储本钱。为了实现最佳的均衡，一些大型的交际网站如今的设置是10:4（即每10块硬盘配4块校验盘）。如许只要利用1.4GB存储空间就可以保障1GB数据的安全（图4）。
图4把1GB数据切分为10块分别放在10块硬盘，另用4块硬盘放校验
3、规模越大性能越好
交际网站上生存的数据非常多，而且每天24小时都要面对数以千万计的用户的访问。对于通例的体系规模变大后性能就会低落，但是ColdStorage体系却可以实现规模越大性能越好。由于这个体系在每次增长容量时软件都要对现有数据举行再均衡，即将原有数据分配到新的硬件上，并开释之前用过的空间。如许增长容量后对体系的性能就不会有影响，同时借助网站强大的服务器硬件和云盘算、并行盘算本领，ColdStorage可以实现规模越大性能越好，随时随刻都可以或许给用户精良的交互体验。
写在末了
如今交际网站已经成为很多人发表本身言论和获取他人及时信息的重要工具，而图片则在交际信息中占据紧张的位置。显然ColdStorage技能的出现，一方面极大方便用户在交际网站发布和分享相互的信息，由于ColdStorage可以生存很多的汗青数据，纵然你试图要查找本身大概某个明星几年前的发布的图片也变得安若泰山，极大方便用户利用并增长用户对其的粘性。另一方面通过将冷数据（汗青数据）与热数据（生产数据）分离，用冷存储体系处理惩罚冷数据的做法，交际网站可以更好地服务好用户的数据哀求，可以或许为用户提供更精良的交互体验，让用户通过网站可以或许和天下各地网友有更好的沟通和交换。
CopyrightYourWebSite.SomeRightsReserved.
京ICP备2023016396号-1PoweredByESCLINK.
我要评论