[硬件资讯]50万美元的1PB存储机柜是个什么样子…… [复制链接]

　　 [#PE'i4  
　　 x:|Y)Dn\  
　　现在我们最熟悉的存储单位当然是MB、GB，以及正在普及的TB，那么再往上一个数量级的PB又是什么样子呢？一家名叫Aberdeen的公司近日推出了一套最大容量可达1PB的商业存储系统“Petarack”(名字不错)，而价格“只要”49.5万美元。 IH]9%d)  
　　 <ql,@*Y  
(l{
vlFWd  
　　 5E]t4"  
　　该系统包含八个JBOD(磁盘簇)，而每个JBOD内有45块近线nearline SAS硬盘，单个容量3TB，因此总共有360块硬盘、1080TB容量。 BVQy@:K/  
　　 X8nos  
　　 eqbN_$>  
　　 p0+^wXi)  

SmRlZ!%e  
　　 j[>cv;h ;  
　　 y0zMK4b  
　　 ,,H"?VO  
　　不仅如此，系统内还有空间放置第九个JBOD和两个HBA卡，容量能因此再增加135TB而达到1215TB，不过默认情况下空闲的PCI-E插槽会留给10Gb以太网卡或者光纤HBA。 ,eXtY}E  
　　 7=!9kk0  
R><g\{G]  
　　 g@.$P>Bh  
　　大多数硬件RAID控制器都自带处理器，用于存储任务的加速，而多数现代6Gbp RoC都是双核心配置，频率最高大约1.2GHz。虽然它们都宣称可以通过扩展器支持最多256个设备，但是一旦连接上十几个，就会成为性能瓶颈，此外缓存容量也有限，都在256MB-4GB之间，这是大型存储引用必须解决的问题。 h9vcN#2
2D  
　　 /%wS5IZ^  
　　Petatrack在每个机柜的两个存储服务器内都使用了两颗六核心的Intel Xeon X5670 2.93GHz，默认各自配备48GB DDR3内存，最高可以扩展到192GB。之所以用双路服务器是出于冗余目的，一个失败了另一个会自动介入，此外还能提供更多PCI-E扩展插槽位。 ']_2@<XW)  
　　 v}B%:1P4  
,g*!NK_:5t  
　　 ys[Li.s:  
　　每个JBOD都包含两个扩展器，各自连接一个存储服务器作为冗余。SAS硬盘的两个端口也是如此，同样是为了冗余。不管哪个服务器或者HBA掉线了，总能有其它数据通道顶上。 R.~[$G!  
　　 Sj9fq*  
　　震动也是这种大规模多硬盘系统必须考虑的问题，不然就会遭遇性能下滑(Aberdeen声称会有50％)、数据错误、硬盘损坏、寿命缩短等麻烦，3TB nearline SAS硬盘就是目前的最佳选择。如果需要更高的性能，15000RPM SAS硬盘和SSD固态硬盘也都是支持的，甚至能够多种类型共存。 WK~H]w  
　　 x7j#@C  
.tBlGMcN  
　　 H;H=8'  
　　网络连接方面，默认是通过两个10Gb/1Gb以太网控制器来支持iSCSI，而如果你有光纤网络，也可以在不破坏授权的情况下进行使用。 baxZ>KNi  
　　 80xr
zv  
+7Ws`qhEe  
　　 %fS9F^AK  
　　每每说起这种大家伙，肯定会有很多人拿耗电量说事儿。Aberdeen给出的数据是满容量运行大约会消耗7000W。该系统使用了两个40A移动式插座，每个分出两个20A电路，由这四路分担供电。 0-2|(9 Kc  
　　 $=aO*i  
5&]5*;BvJ  
　　 @"@a70WHk  
　　软件上使用基于OpenSolaris内核的GNU/Debian用户界面来创建RAID阵列，而可选的RAID方案有：Stripe、Mirror、RAID-Z1(类似RAID 5)、RAID-Z2(类似RAID 6)、RAID-Z3，其中最理想的是RAID-Z2。 9shfy4?k  
　　 TP }a9-9?  
Nw;q
J58@  
　　 1{}p_"s>  
　　文件系统选择了128-bit ZFS，其企业可靠性也是久经考验的。 c9(3z0!F?  
　　  Fr%#  
O-iE0t  
　　 <p@Cx
 
　　跨平台共享从来都是老大难。可以在Linux系统下创建CIFS，Windows、Mac系统都能访问，不过Linux管理员也通常喜欢NFS共享，并使用访问控制清单来管理用户授权。 Z!p\=M,%  
　　 pYr"3BwG  
_O9V"DM  
　　 B2`S0 H  
　　VMware管理员也喜欢NFS共享。vSphere 4.1的区块级别存储限制是2TB分区，vSphere 5.0则扩大到了64TB，NFS共享就无此限制。 mHD_cgKN  
　　 SzULy >e  
kZ]H[\Fs  
　　 Na\ZV|;*tu  
　　性能么，持续、随机读写都能超过500MB/s，持续读写也可以接近400MB/s，只有随机写入稍慢，150MB/s左右的样子。 [4)Oi-_Y>  
　　 BN/4O?jD9  
c*USA eP  
　　 m/HT3<F  
　　IOPS吞吐性能同样不俗，持续读取接近14万，持续写入也有10万，随机读取超过了12万，随机写入则不到4万。 KK|w30\f  
　　 QcegT/vO  
4GYi'  
　　 PKm|?kn{0(  
　　 2"/MM2s  
　　 dFg>uo  
　　 -D^I;[j_