找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 3675|回复: 0

磁盘阵列控制器模式对比

[复制链接]
发表于 2008-2-22 15:14:42 | 显示全部楼层 |阅读模式
本文从低层原理上,深入透析了目前存在的7种模式的组成原理,结构,并深刻分析了各种级别相对于单盘IO速率的变化。
. k3 a8 }: w: p. Q9 V! v8 S) k/ N; q) W  p; k/ w- y0 B
Raid00 ]. O9 j( S9 v# O
4 o  D, f) V! E* E: ~  m5 |
Raid0是这样一种模式:我们拿5块盘的raid0为例子。
' z& R9 A7 p1 O: _
1 U5 M/ T2 V" r9 z8 G: z/ z( J
, O9 @, _3 M% f, I; b) o7 @6 Z
% X) J# ~; T8 k1 R! y# E0 W
  上图中5个竖条,分别代表5个磁盘上的一个extent,也就是竖条的意思,每个磁盘被逻辑的划分为N个这种extent。然后再在磁盘相同偏移的extent上,横向逻辑分割,形成strip,一个strip横跨过的extent个数,称为strip lenth,而一个strip和一个extent交叉带,称为一个segment,一个segment中所包含的data block个数,称为strip depth。Data block,可以是N倍个扇区大小的容量,应该可以调节,或者不可调,随控制器而定。& H7 B6 I# b; _, i, `
  Raid0便是将一系列连续编号的data block,分布到多个物理磁盘上,扩散IO,提高性能。其分布的方式,如图所示:这个例子中,条带深度为4,则0、1、2、3号data block,被放置到第一个条带的第一个segment中,然后4、5、6、7号block,放置到第一个条带的第二个segment中,依此类推,条带1放满后,继续放条带2。这种特性,称为“局部连续”,因为block只有在一个segment中是物理连续的,逻辑连续,就需要跨物理磁盘了。
  对外来说,参与形成raid0的各个物理盘,会组成一个逻辑上连续,物理上也连续的虚拟磁盘。磁盘控制器对这个虚拟磁盘发出的指令,都被raid控制器截获,分析,根据block映射关系公式,转换成对组成raid0的各个物理盘的真实物理IO请求指令,收集或写入数据之后,再提交给主机磁盘控制器。
  Raid0还有另一种非条带化模式,即写满其中一块物理磁盘之后,再接着写另一块,直到所有组成磁盘全部写满。这种模式,对IO写没有任何优化,但是对IO读,能提高一定的并发IO读几率。
在进一步讲述raid0和其他raid级别之前,我们先来看一下IO的种类。IO按照可以分为:读/写IO,大/小块IO,连续/随机IO,顺序/并发IO。下面我们来分别介绍每一种IO。
  读/写IO,这个就不用多说了,读IO,就是发指令,从磁盘读取某段扇区的内容。指令一般是通知磁盘开始扇区位置,然后给出需要从这个初始扇区往后读取的连续扇区个数,同时给出动作是读,还是写。磁盘收到这条指令,就会按照指令的要求,读或者写数据。控制器发出的这种指令+数据,就是一次IO,读或者写。
  大/小块IO,指控制器的指令中给出的连续读取扇区数目的多少,如果数目很大,比如128,64等等,就应该算是大块IO,如果很小,比如1,4,8等等,就应该算是小块IO,大块和小块之间,没有明确的界限。
  连续/随机IO,连续和随机,是指本次IO给出的初始扇区地址,和上一次IO的结束扇区地址,是不是完全连续的,或者相隔不多的,如果是,则本次IO应该算是一个连续IO,如果相差太大,则算一次随机IO。连续IO,因为本次初始扇区和上次结束扇区相隔很近,则磁头几乎不用换道或换道时间极短;如果相差太大,则磁头需要很长的换道时间,如果随机IO很多,导致磁头不停换道,效率大大降底。
  顺序/并发IO,这个的意思是,磁盘控制器每一次对磁盘组发出的指令套(指完成一个事物所需要的指令或者数据),是一条还是多条。如果是一条,则控制器缓存中的IO队列,只能一个一个的来,此时是顺序IO;如果控制器可以同时对磁盘组中的多块磁盘,同时发出指令套,则每次就可以执行多个IO,此时就是并发IO模式。并发IO模式提高了效率和速度。
说完了4种IO模式,我们再来说2个概念:
  IO并发几率。单盘,IO并发几率为0,因为一块磁盘同时只可以进行一次IO。对于raid0,2块盘情况下,条带深度比较大的时候(条带太小不能并发IO,下面会讲到),并发2个IO的几率为1/2。其他情况请自行运算。
  IOPS。一个IO所用的时间=寻道时间+数据传输时间。IOPS=IO并发系数/(寻道时间+数据传输时间),由于寻道时间相对传输时间,大几个数量级,所以影响IOPS的关键因素,就是降底寻道时间,而在连续IO的情况下,寻道时间很短,仅在换磁道时候需要寻道。在这个前提下,传输时间越少,IOPS就越高。
  每秒IO吞吐量。显然,每秒IO吞吐量=IOPS乘以平均IO SIZE。Io size越大,IOPS越高,每秒IO吞吐量就越高。设磁头每秒读写数据速度为V,V为定值。则IOPS=IO并发系数/(寻道时间+IO SIZE/V),代入,得每秒IO吞吐量=IO并发系数乘IO SIZE乘V/(V乘寻道时间+IO SIZE)。我们可以看出影响每秒IO吞吐量的最大因素,就是IO SIZE和寻道时间,IO SIZE越大,寻道时间越小,吞吐量越高。相比能显著影响IOPS的因素,只有一个,就是寻道时间。
  下面我们来具体分析一个从上到下访问raid0磁盘的过程。假如某一时刻,主机控制器发出指令:读取 初始扇区10000
+ c; o. m5 n0 X" j% u8 v% p长度128。Raid控制器接受到这个指令之后,立即进行计算,根据对应公式(这个公式是raid控制器在做逻辑条带化的时候制定的)算出10000号扇区所对应的物理磁盘的扇区号,然后依次计算出逻辑上连续的下128个扇区所在物理磁盘的扇区号,之后,分别向对应这些扇区的磁盘,再次发出指令,这次是真实的读取数据了,磁盘接受到指令,各自将数据提交给raid控制器,经过控制器在cache种的组合,再提交给主机控制器。
分析以上过程,我们发现,如果这128个扇区,都落在同一个segment中的话,也就是说条带深度容量大于128个扇区的容量(64K),则这次IO就只能真实的从这一块物理盘上读取,性能和单盘相比会减慢,因为没有任何优化,反而还增加了raid控制器额外的计算开销。所以要提升性能,让一个IO尽量扩散到多块物理盘上,就要减小条带深度,磁盘数量不变的条件下,也就是减小条带大小strip size。让这个IO的数据被控制器分割,同时放满第一个segment、第二块物理磁盘上的第二个segment。。。。。。。依此类推,这样就能极大的占用多块物理盘。在这里大家可能存在一个误区,就是总是以为控制器是先放满第一个segment,再放满第二个segment,其实是同时进行的,因为控制器把每块盘要写入或者读取的数据都计算好了,是同时进行的。所以,raid0要提升性能,条带做的越小越好。但是这里又一个矛盾出现了,就是条带太小,导致并发IO几率降底,因为如果条带太小,则每次IO一定会占用大部分物理盘,而队列中的IO就只能等待这次IO结束后才能使用物理盘。而条带太大,又不能充分提高传输速度,这两个是一对矛盾,按照需求来采用不同的方式。
我们接着分析raid0相对于单盘的性能变化。根据以上总结出来的公式,可以推得以下表格:
7 i8 A7 O/ O0 x3 L, B& B

% x1 n/ ?# g6 f/ b
RAID0
  @& `6 N6 m) Y& ?+ c
IOPS
9 t. W9 }9 c0 j  p6 P7 e
! w% l8 ~, p  W( z4 }8 e7 b

  z' X( A! o* o: l
并发IO

9 p' S$ G3 P) v; O5 `- a, J
顺序IO
  j5 o4 G0 t* r1 h' B5 E6 l' v- z
并发IO

; r( o: V/ e- k! i  P$ s# ?
顺序IO

& N) }0 n! m6 V4 i0 W+ P: n% j
随机IO

0 }9 R! y+ {& o# _. g3 h/ c
连续IO

( i, c2 q* k* s' O8 Z8 {2 k  T' d
随机IO

; F; i) y1 V% p; F+ r
连续IO

9 B* o5 a7 L* V* s# \
随机IO
8 W1 _1 i3 B9 p, d# g5 L
连续IO

4 e8 I5 a& O7 n( X1 Q/ D7 Z7 e
随机IO

; z  ^) f6 F; K
连续IO
0 a8 Z& C7 d4 |$ g
Io size/strip size较大

2 y8 ^/ c% g$ d+ n( f
不支持

$ z7 x( _' G$ e
不支持

) F% ^6 _4 n- n! K
提升极小

  k9 U0 K7 C- m; O" e
提升了N乘系数倍

7 L/ G& S( t, F8 x
不支持

% [" V4 q9 i6 ~  C1 x; I# d. m& ]
不支持

( w$ F& ]: M% }6 q& m/ ^
提升极小

% n8 {( D; L) Q* d
提升了N乘系数倍

- s8 V( r: Z* f; ^
Io size/strip size较小

7 G( J) z7 ?3 B) s. i1 }$ Q, f1 H
提升了(1+并发系数)倍
+ w; m, v/ R3 v4 F4 Y8 ?) w
提升了(1+并发系数+系数)系数倍
% D- B" }2 ?* ^8 c
提升极小
2 q( [- ~1 J; d6 D' H
提升了系数倍

1 b! n! `. p, F0 _9 C4 P
提升了(1+并发系数)倍
9 n$ v7 z' ?" T9 W- n7 m6 K$ s$ X
提升了(1+并发系数+系数)倍

6 g- @* X- b& _+ g, J" L" _9 {
提升极小

  K- y& X1 e5 W, O9 `
提升了系数倍

/ t- _# t# ]2 }. ^- p3 N: A: I
注:并发IO和IO size/strip size是一对矛盾,两者总是对立。N=组成raid0的磁盘数目。系数=io size/strip size和初始LBA地址所处的strip偏移综合系数,大于等于1。并发系数=并发IO的数量
) t- P. V& E( x6 T7 }
* t9 p! h* D7 x+ _
- a, t/ F$ H6 h0 V  iRaid16 p" n/ k6 {' v) O$ ]! O4 G9 j
Raid1是这样一种模式,我们拿2块盘的例子来说明:
% R1 e" \  I6 k. v- r3 s2 C0 J* \& K- O6 ~4 N& T  z7 Z5 K
( @1 o% F. w8 f5 V/ S" C

: S4 `( ?5 ~3 R, R
: T; Y" r5 L- }0 o2 b
& F- y+ ^6 K9 N4 B
Raid1和raid0不同,raid0对数据没有任何保护措施,每个block都没有备份或者校验保护措施。Raid对虚拟逻辑盘上的每个物理block,都在物理盘上有一份镜像备份。也就是说数据有两份。对于raid1的写IO,速度不但没有提升,而且有所下降,因为数据要同时向多块物理盘写,时间以最慢的你个为准,因为是同步的。而对于raid1的读IO请求,不但可以并发,而且就算顺序IO的时候,控制器也可以象raid0一样,从两块物理盘上同时读数据,提升速度。Raid1没有srip的概念。同样我们总结出一个表格:
$ V+ I8 a% l6 c3 U1 ~/ k1 _
RAID1

: q& l# O# O- x! n7 ^% h0 F: b
IOPS
; @' `5 h4 X4 D6 [
) ~1 v1 e7 _6 Q2 [+ L

4 C2 S1 u( c5 A! T1 k
并发IO

1 D! C$ K4 {' n3 Y
顺序IO

1 z* n3 r0 d# k$ F" {
并发IO

$ t$ B1 m8 o8 [& @1 r
顺序IO

. x% M9 F1 u& I% g7 k/ ?/ L
随机IO
7 q. }/ a9 W' v- H3 [
连续IO
6 ]- {! U* y( m, F" A9 U
随机IO
6 Y% G, Y; K9 ?+ H
连续IO

3 K# l- a) S- |
随机IO

( ~' b, L5 l1 N5 j+ E( U8 X
连续IO

; S  N' J& g' g' }. j) o6 T
随机IO
- a! E6 T9 f5 U* ?- G+ ]
连续IO
, h  e8 H8 {; D) [; U- w

' D* t. x# s+ G. Z/ t( W* m
提升N或者并发系数倍

( I1 `: u8 G8 E% L3 G
提升N倍或者并发系数

, L& d  X3 _, `  _- I
提升极小
* O6 d4 z7 k1 Q; @0 ~& _
提升了N 倍
+ Z/ Z6 G/ [/ b* z3 T
不支持
3 \; j) u' o$ {+ a4 U; S
事物性IO可并发,提升并发系数倍
; F% b" ^# s1 V  X! a6 L/ Z5 A
没有提升

. R* M6 Q' P7 C; @$ V4 p/ J
没有提升

2 G" C, c, g' g# p4 C. x
注:raid1没有strip的概念。N=组成raid1镜像物理盘的数目。
- V5 g2 t5 M0 j* q/ j/ m. O! G' A1 Y

3 t& _' Y* B# ]! [2 q
在读、并发IO的模式下,由于可以并发N个IO,每个IO占用一个物理盘,这就相当于提升了N倍的IOPS。由于每个IO只独占了一个物理盘,所以速度相对于单盘并没有改变,所以不管是随机还是顺序IO,相对单盘都不变。4 c% h$ g# h" W5 o9 C) ], {* o
在读、顺序IO、随机IO模式下,由于IO不能并发,所以此时一个IO可以同时读取N个盘上的内容,但是是在随机IO模式下,那么寻道时间影响很大,纵使同时分块读取多个磁盘的内容,也架不住寻道时间的抵消,所以性能提升极小) o3 J. S3 m6 w- L. o* j2 ?) X* \% w
在读、顺序IO、连续IO模式下,寻道时间影响到了最低,此时传输速率为主要矛盾,同时读取多块磁盘的数据,时间减少为1/N,所以性能提升了N倍。+ R! S* i' T3 \( n/ r8 |/ ], Z
写IO的时候和读IO情况相同,就不做分析了。写IO因为要同时向每块磁盘写入备份数据,所以不能并发IO,也不能分块并行。但是如果控制器把优化算法做到极至的话,还是可以并发IO的,比如控制器从IO队列中提取连续的多个IO,可以将这些IO合并,并发写入磁盘。前提这几个IO必须是事物性的,也就是说LBA必须连续,不然不能作为一个大的合并IO,而且和文件系统也有关系,文件系统碎片越少,并发几率越高。
Raid2
raid2是一种比较特殊的raid模式,他是一种专用raid,现在早已被淘汰。他的基本思想是,IO到来之后,控制器将数据分割开,在每块物理磁盘读或者写1bit。这里有个疑问,磁盘的最小IO单位是扇区,512字节,如何写入1bit呢?其实这个写入1bit,并非只写入1bit。我们知道上层IO,可以先经过文件系统,然后才通过磁盘控制器驱动来向磁盘发出IO,最终的IO大小,都是N倍的扇区,也就是Nx512字节,N大于等于1,不可能发生N小于1的情况,即使你需要的数据只有几个字节,那么也同样要读出或者写入整个扇区,也就是512字节。明白这个原则之后,我们再来看一下raid2中所谓的“每个磁盘写1bit”是个什么概念。IO最小单位为扇区,512字节,我们就拿一个4块数据盘+3块校验盘的raid2系统给大家来说明一下。这个环境中,raid2的一个条带大小是4bit(1bit乘4块数据盘),而IO最小单位是一个扇区,那么如果分别向每块盘写1bit,就需要分别向每块盘写一个扇区,每个扇区只包含1bit有效数据,这显然是不好的,因为太浪费空间,没有意义。因为IO数据到来时,我们拿以下IO请求为例:写入 初始扇区10000长度1,这个IO目的是要向LBA10000写入一个扇区的数据,也就是512字节。Raid2控制器接受到这512字节的数据之后,先将其放入cache,然后计算需要写入的物理磁盘的信息,比如定位到物理扇区,分割数据成bit,然后一次性写入物理磁盘扇区。
也就是说第一块物理盘,控制器会写入本次IO数据的第1、5、9、13、17、21。。。。。。。。。。。等等位,第二块物理盘会写入2、6、10、14、18、22。。。。。。。。。。等等位,其他两块物理盘同样方式写入。直到这样将数据写完。我们可以计算出来,这512字节的数据写完之后,此时每块物理盘只包含128字节的数据,也就是一个扇区的四分之一,那么这个扇区剩余的部分,就是空的。如果要利用起这部分空间,那么等下次IO到来之后,控制器对数据进行bit分割,将要填入这些空白区域的数据,控制器将首先读出原来的数据,然后和新数据合并之后,一并再写回这个扇区,这样做效率和速度都大打折扣。我们可以发现,其实raid2就是将原本连续的一个扇区的数据,以位为单位,分割存放到不连续的多块物理盘上,因为这样可以全组并行读写,提高性能。每个物理磁盘扇区其实是包含了N个扇区的“残体”。那么如果出现需要更新这个IO的4个扇区中某一个扇区的情况,怎么办?这种情况下,必须先读出原来的数据,和新数据合并,然后在一并写入。其实这种情况出现的非常少。我们知道上层IO的产生,一般是需要先经过os的文件系统,然后才到磁盘控制器这一层的。所以磁盘控制器产生的IO,一般都是事务性的,也就是这个IO中的所有扇区,很大几率上对于上层文件系统来说,是一个完整的事务,所以很少会发生只针对这个事务中某一个原子进行读写的情况。这样的话,每次IO很大几率都会包含入这些逻辑上连续的扇区的,所以不必担心经常会发生那种情况,即便发生了,控制器也只能按照那种低效率的做法来做,不过总体影响较小。但是如果随机IO比较多,那么这些IO初始LBA,很有可能就会命中在一个两个事务交接的扇区处,这种情况,就导致速度和效率大大降低了。连续IO出现这种情况的几率非常小了。
Raid2因为每次读写都需要全组磁盘联动,所以为了最大化其性能,最好保证每块磁盘主轴同步,使得同一时刻每块磁盘磁头所处的扇区逻辑编号都一致,并存并取,达到最佳性能,如果不能同步,则会产生等待,影响速度。
基于raid2的并存并取的特点,raid2不能实现并发IO,因为每次IO都占用了每块物理磁盘。
Raid2的校验盘对系统不产生瓶颈,但是产生延迟,因为多了计算校验的动作。校验位和数据位是一同并行写入或者读取的。Raid2采用海明码来校验数据,这种码可以判断修复一位错误的数据,并且使用校验盘的数量太多,4块数据盘需要3块校验盘,但是随着数据盘数量的增多,校验盘所占的比例会显著减小。
, F$ ~5 s# X5 ~" IRaid2和raid0有些不同,raid0不能保证每次IO都是多磁盘并行,因为raid0的分块相对raid2以位为单位来说是太大了,而raid2由于她每次IO都保证是多磁盘并行,所以其数据传输率是单盘的N倍,为了最好的利用这个特性,就需要将这个特性的主导地位体现出来,而根据IOPS=IO并发系数/(寻道时间+数据传输时间),寻道时间比数据传输时间大几个数量级,所以为了体现数据传输时间减少这个优点,就必须避免寻道时间的影响,而避免其影响的最佳做法就是:尽量产生连续IO而不是随机IO,所以,raid2最适合连续IO的情况。另外,根据每秒IO吞吐量=IO并发系数乘IO SIZE乘V/(V乘寻道时间+IO SIZE),如果将IO size也增大,则每秒IO吞吐量也将显著提高。所以,raid2最适合的应用,就是:产生连续IO,大块IO的情况,不言而喻,文件服务,视频流服务等等这些应用,适合raid2,不过,raid2的缺点太多,比如校验盘数量多,算法复杂等等,它逐渐的被raid3替代了。

; H! E. R! z- j6 ?; D
8 D7 d* L! `2 e( |  L# g' f# W3 D
RAID2
4 `# x9 _  E/ Y, b, S, C
IOPS
: S, N0 H/ e8 t8 ^+ a& A5 |8 |
% O1 \6 w7 H3 d$ G6 L$ W
) ^$ q& ]' [2 v2 V. t
顺序IO
8 J/ @; o; D% v+ n, U
顺序IO

% Z  d& ~8 p5 x/ P: ?" }
非事务性随机IO

. _/ r& g0 i; q5 T3 T8 o* w( n
事务性随机IO

9 J) z6 `6 `3 {; m2 E# t
连续IO
. s- m. |% e0 j1 s% m4 i) q
非事务性随机IO
2 J! O: v5 z, J2 H/ ?' P
事务性随机IO

7 O2 h( Q9 `  \$ y9 a, j
连续IO
- W4 T- \# J: ?9 {1 E1 \
IO满足公式条件
7 i) {# x$ ]% T; C% X3 f5 s7 o
提升极小

" T/ H6 f+ H* X8 J$ ~  }1 H
提升极小

1 @$ u5 z5 m8 _+ N
提升N倍
4 f4 J1 K6 _8 C) F5 V7 D! Q
性能降低

9 |; m9 h: ~# H" |: {+ \
提升极小
1 M" E" @8 y* K* n" M! [8 I$ g: H8 l; h
提升N倍

  [4 N0 D( \0 H
注:N=数据盘数量。Raid2不能并发IO, {5 L9 p2 ^4 o  X$ O1 b' p
2 D: J* m3 f/ n# r% X5 f, h1 @

" C0 F; c4 o% \3 f' e, d8 G6 M1 i) |, k6 E6 _; n8 E
0 J( X' j/ C5 h$ B
Raid34 C: s% M" b4 a( W* H* Y

2 |* T- O9 a& J$ {由于raid2缺点比较多,比如非事务性IO对他的影响,校验盘数量太多等等。Raid2的劣势,就在于它的将数据以bit为单位,分割,将原本物理连续的扇区,转变成物理不连续,逻辑连续的,这样就导致了它对非事务性IO的效率低下。为了从根本上解决这个问题,raid3出现了。既然要从根本上解决这个问题,首先就是需要抛弃raid2对扇区进行分散的做法。Raid3保留了扇区的物理连续。Raid2将数据以bit为单位分割,这样为了保证每次IO占用全部磁盘的并行性。而raid3同样也保留了这个特点,但是没有以bit为单位来分散数据,而就是以扇区或者几个扇区为单位来分散数据。Raid3还采用了高效的XOR校验算法,但是这种算法只能判断数据是否有误,不能判断出哪一位有误,更不能修正。XOR校验使得raid3不管多少块数据盘,只需要一块校验盘就足够了。% `- [7 c9 b* o, [% r- O- @/ H' }
9 R3 u! t1 F  a# j( h5 {

: }- \. o9 f+ ?7 F$ U+ x& ^% A0 Z

$ k  u' N1 ^2 i; h* Z, M9 O8 w8 i4 j+ S
Raid3的每一个条带,其长度很小,深度为1。这样的话,每个segment的大小一般就是1个扇区或者几个扇区的容量。以上图的例子来看,4块数据盘,一块校验盘,每个segment,也就是图中的一个block portion,假如为2个扇区大小,也就是1k,则整个条带大小为4k,如果一个segment大小为8个扇区,即4k,则整个条带大小为16K。
我们还是用一个例子来说明raid3的作用机制。比如,一个4数据盘,1校验盘的raid3系统,segment size为2个扇区大小即1k。raid3控制器接受到了这么一个IO:写入 初始扇区10000长度8,即总数据量为8乘512字节=4k。则控制器先定位LBA10000所对应的真实物理LBA,假如LBA10000恰好在第一个条带的第一个segment的第一个扇区上,那么控制器将这个IO数据里的第1、2个512字节写入这个扇区,同一时刻,第3、4个512字节会被同时写入这个条带的第二个segment中的两个扇区,其后的数据同样被写入第3、4个segment中,此时恰好是4k的数据量。也就是说这4k的IO数据,同时被写入了4块磁盘,每块磁盘写入了两个扇区,也就是一个segment,他们是并行写入的,包括校验盘,也是并行写入的,所以raid3的校验盘没有瓶颈,但是有延迟,因为增加了计算校验的开销。但现代控制器一般都使用专用的XOR硬件电路而不是cpu来计算xor,这样就使得延迟降到最低。上面那个情况是IO size刚好等于一个条带大小的时候,如果IO size小于一个条带大小呢?我们接着分析,还是刚才那个环境,此时控制器接收到IO大小为2K的写入请求,也就是4个连续扇区,那么控制器就只能同时写入两个磁盘了,因为每个盘上的segment是2个扇区,其他两个磁盘此时就是空闲的,也只能得到两倍的单盘传输速率。我们再来看看IO size大于一个条带大小的情况,会发生什么。还是那个环境,控制器收到的IO size=16k。则控制器一次所能并行写入的,是4k,这16k就需要分4批来写入4个条带。其实这里的分4批写入,不是先后,而还是同时,也就是这16k中的第1、5、9、13k将由控制器连续写入磁盘1,第2、6、10、14k,连续写入磁盘2,依此类推,直到16k数据全部写完,是并行一次写完,这样校验盘也可以一次性计算校验值并且和数据一同并行写入。而不是“分批”。
通过比较,我们发现,与其使得IO size小于一个条带的大小,空闲一些磁盘,不如使得Io size大于或者等于条带大小,使得没有磁盘空余。因为上层IO size是不受控的,控制器说了不算,但是条带大小是控制器说了算的,所以如果将条带大小减少到很小,比如2个扇区,一个扇区,则每次上层IO,一般情况下都会占用所有磁盘,进行并发传输。可以提供和raid2一样的传输速度,并避免raid2的诸多缺点。Raid3和raid2一样,不能并发IO, 因为一个IO要占用全部盘,就算IO size小于strip size,因为校验盘的独享,也不能并发IO。
" ]4 k( a" s+ G& f6 L% s

7 p8 }0 l% w, g% H0 E5 s( x; e
RAID3
+ |. l6 V6 I, F  S  R! u1 o( K3 |' B
IOPS

- q, x; |8 n: q0 _, A2 l8 Z7 J, y

, w2 ~& }" L3 H
' t7 D0 }$ Y% D: ]3 J
并发IO
* n; E) Y  B8 r2 Z# t" E: g4 D
顺序IO
' o9 Z' M3 u$ e3 b
并发IO
7 X, E  P0 E& ~+ y! P% x3 c
顺序IO

' V" ]7 c/ T1 Z7 g9 s, m/ V
随机IO
# z% v, \+ `+ B! {
连续IO

5 q+ x+ [( s* ?, p- a1 c
随机IO
3 g) Q; K; Y1 f
连续IO
& t8 a. w" T. \; Y4 L) q
随机IO

+ V  p" a8 `! m( {
连续IO

$ b; x, [( k6 N
随机IO
* t, }7 B$ ~4 _/ v( ?# J% y
连续IO
# n5 y, [8 i% X; O/ Q% h. r  F
Io size大于strip size

+ J1 \) h2 e! T# L' f
不支持

1 m' F, ^+ I9 O7 ]2 e
不支持
( D# d& l8 k, @4 I, q
提升极小
5 p7 ]% \3 P2 u, z
提升了N倍

4 O- f( @8 ?' m
不支持
+ G# ~8 e' {* j: S% k: U
不支持

3 J- c/ ]7 @8 i$ `& ~  ~; X, n
提升极小

4 e( j; o# U* d  ^) C$ H/ x
提升了N倍
. I  o$ O$ N1 S) D3 s
Io size小于strip size
7 J  \+ p) A* D) t7 q; X
不支持

5 d9 C8 c) D+ w/ f! U
事物性IO可并发,提升并发系数倍

3 u6 ]- G+ U. i( w) Y& X
提升极小

- {% ^  _* ~$ p  p- I; C, a, D
提升了N乘IO size/strip size倍
8 G1 w8 [5 r9 h3 D; Z
不支持
7 K  U: e+ t2 ~6 Y- |7 m
事物性IO可并发,提升并发系数倍
+ P1 `/ g. u; M( h  x
提升极小
4 o  v4 }1 L+ e; d) U9 W3 j' {3 r" A
提升了N乘IO size/strip size倍

$ `/ `& Z8 H2 S9 W  a' q
注:N=组成raid3的数据磁盘数量。和raid2相同,事物性连续IO可能并发。4 r  j4 i$ }# P- T5 E4 l. V- u
和raid2一样,raid3同样也是最适合连续大块IO的环境,但是它比raid2成本更低,更容易部署。
8 Q1 G& [! N0 ?. @$ K$ q4 x3 H, U具体分析:
/ V- @0 z& z) c不管任何形式的raid,只要是面对随机IO,其性能比单盘没有大的优势,因为raid作所的只是提高传输速率,并发IO,容错。随机IO只能靠降低单个物理磁盘的寻道时间来解决。而raid不能优化寻道时间。所以随机IO,raid3也同样没有优势。/ A# J. A8 \: Z# z5 p: G( @; p
连续IO,因为寻道时间的影响因素可以忽略,raid3最拿手,因为象raid2一样,raid3可以大大加快数据传输速率,因为他是多盘并发读写。所以理论上可以相对单盘提高N倍的速率。
, N5 s$ n, g1 x! g$ S% y
# c: W' w, x3 ]; W6 x% X  s5 A" w  g! L% D

* n: W) U/ y* S3 T. VRaid4
# I9 b" `& h* H% V0 D1 o5 T- X$ K2 ?6 Q% L7 \
7 x0 l* L0 [  s5 ^1 C1 i7 a

. w  I" C+ u0 J4 G. r8 g0 n* q! z
% b" A) Y" K. U5 M3 D; [
) o- x+ ~& P, L6 Y) k" R& ^: w5 \  \不管是Raid2还是raid3,他们都是为了大大提高数据传输率而设计,而不能并发IO。诸如数据库等等应用,他们的特点就是随机IO和小块IO。想提高这种环境的IOPS,根据公式:IOPS=IO并发系数/(寻道时间+数据传输时间),随机读导致寻道时间很大,靠提高传输许率已经不是办法。所以观察这个公式,想在随机IO频发的环境中提高IOPS,唯一能够做的,只有提高IO并发系数,不能并发IO的,想办法让他并发IO,并发系数小的,想办法提高系数。+ ?9 U  U7 E* d; `
在raid3的基础上,raid4被发展起来。我们分析raid3的性能的时候,曾经提到过一种情况,就是io size小于strip size的时候,此时有磁盘处于空闲状态,而如果抓住这个现象,同时让队列中的下一个IO来利用这些空闲的磁盘,岂不是正好达到并发IO的效果了么?所以raid4将一个segment的大小做的比较大,以至于平均IO size总是小于strip size,这样就能保证每个IO少占用磁盘,甚至一个IO只占用一个磁盘。; h  N4 U; t% I7 H! _" {0 D! @
是的,这个思想对于读IO是对路子的,但是对于写IO的话,有一个很难克服的问题,那就是校验盘的争用。考虑这样一种情况:4块数据盘+1块校验盘组成的raid4系统,某时刻一个IO占用了前两块盘+校验盘,此时虽然后两块是空闲的,可以同时接受新的IO请求,但是如果接受了新的IO请求,则新IO请求同样也要使用校验盘,由于一块物理磁盘不能同时处理多个IO,所以新IO虽然占有了数据盘的写权限,但是写校验盘的时候,仍然要等旧IO写完后,才能写入校验,新IO才能完成,这样的话,就和顺序IO无异了,数据盘可并发而校验盘不可并发,这样不能实现并发IO。
1 i& I" j' J& P2 e下面我们来说几个概念。
9 k( d* f- k/ I5 ]* C! d6 g1 p3 r: `" ^, y& }
9 f6 ?4 A) O) E" J

# {6 s5 T4 E3 M8 k. u
整条写、重构写与读改写
整条写(Full-stripe Write):整条写需要修改奇偶校验群组中所有的条带单元,因此新的奇偶校验值可以根据所有新的条带数据计算得到。不需要额外的读、写操作。因此,整条写是最有效的写类型。整条写的例子,比如raid2,raid3。他们每次IO总是几乎能保证占用所有盘,因此每个条带上的每个segment都被写更新,所以控制器可以直接利用这些更新的数据计算出校验数据之后,在数据被写入数据盘的同时,将计算好的校验信息写入校验盘。
重构写(Reconstruct Write):如果要写入的磁盘数目超过阵列磁盘数目的一半,采取重构写方式。在重构写中,从这个条带中不需要修改的segment中读取原来的数据,再和本条带中所有需要修改的segment上的新数据计算奇偶校验值,并将新的segment数据和没有更改过的segment数据以及新的奇偶校验值一并写入。显然,重构写要牵涉更多的I/O操作,因此效率比整条写低。重构写的例子,比如raid4中,如果数据盘为8块,某时刻一个IO只更新了一个条带的6个segment,剩余两个没有更新,则重构写模式下,会将没有被更新的两个segment的数据读出,和需要更新的前6个segment的数据计算出校验数据,然后将这8个segment连同校验数据一并写入磁盘。可以看出,这个操作只是多出了读两个segment中数据的操作。

/ X# a, A, Z: U4 z& ?# ]
读改写(Read-Modify Write):如果要写入的磁盘数目不足阵列磁盘数目的一半,采取读改写方式。读改写过程如下:(1)从需要修改的segment上读取旧的数据;(2)从条带上读取旧的奇偶校验值;(3)根据旧数据、旧校验值和需要修改的segment上的新数据计算这个条带上的新的校验值;(4)写入新的数据和新的奇偶校验值。这个过程中包含读取、修改、写入的一个循环周期,因此称为读改写。读改写计算新校验值的公式为:新数据的校验数据=(老数据 EOR 新数据) EOR 老校验数据。如果待更新的segment已经超过了条带中总segment数量的一半,则此时不适合使用读改写,因为读改写需要读出这些segment中的数据和校验数据,而如果采用重构写,只需要读取剩余不准备更新数据的segment中的数据即可,而后者数量比前者要少,所以超过一半,用重构写,不到一半,用读改写。整条更新,就用整条写。写效率:整条写>重构写>读改写
明白了这些概念之后,我们就可以继续深入理解raid4了。如果仅仅根据争用校验盘来下结论说raid4不支持并发IO,在经过了以上三个概念的描述之后,看来显然是片面的。我们设想这样一种情形,某时刻一个IO只占用了全部磁盘的几块盘,另一些磁盘空闲,如果此时让队列中下一个IO等待的话,那么当然不可实现并发IO。此时我们考虑:如果队列中有这样一个IO,它需要更新的LBA目标和正在进行的IO恰好在同一条带上,并且处于空闲磁盘,而又不冲突,那么此时我们恰好就可以让这个IO也搭一下正在进行的IO的顺风车,反正都是要更新这个条带的校验segment,与其两个IO先后更新,不如让他们同时更新各自的数据segment,而控制器负责计算本条带的校验块。这样就完美的达到了IO并发。但是,有个问题,这种情况遇到的几率真是小之又小。即便如此,控制器如果可以对队列中的IO目标LBA进行扫描,将目标处于同一条带的IO,让其并发写入,这就多少类似NCQ技术了,不过这种技术需要上层软件的配合,因为乱序IO,会失去事务的顺序性,所以还需要上层软件作一些处理。
1 T% `  T* O/ O$ t
除了在控制器内部实现这种算法之外,我们还可以直接在上层来实现这种模式。上层就是指操作系统的文件系统。因为文件系管理着底层磁盘。文件系统决定数据写往磁盘上的哪些扇区。所以完全可以在文件系统这个层次上,将两个不同事物的IO写操作,尽量放到相同的条带上,也就是说,比如一个条带大小为16k,可以前8k放一个IO的数据,后8k放也另一个IO的数据,这两个IO在经过文件系统的计算之后,经由磁盘控制器驱动程序,向磁盘发出同时写入整个条带的操作,这样就构成了整条写,如果实在不能占满整条,那么也应该尽量达成重构写模式,这样不但并发了IO,还使得写效率增加。这种在文件系统专门为raid4做出优化的方案,最点型的就是netapp公司的磁盘阵列操作系统data ontap,这个操作系统中文件系统模块称为WAFL。WAFL文件系统的设计方式确保能够最大限度地减少校验盘寻址操作。 上图右半部对比显示了WAFL如何分配同样的数据块,从而使得RAID 4更加有效。 WAFL总是把相关的数据块写到彼此邻近的条带中,消除校验盘上的长时间寻址操作。只要可能,WAFL也把多重数据块写到同样的条带中,从而进一步减少校验盘上的阻塞。FFS在上图左半部中使用六道独立的条带,因此致使六个校验盘块需要更新。 上图右半部中,WAFL使用仅仅3道条带,即只有三个校验块需要更新。从而大大提高了RAID性能,消除了校验盘瓶颈。

9 P4 B& c( u' h/ p7 G1 ^

5 p" R8 |5 Q% Y( `# ]# m! ~/ U- T  G$ a+ D' O+ P
RAID4

; H4 x2 f, ^1 P5 ~) x. k
IOPS
- g* c2 r. C2 Y

8 Q" L3 x0 ~. K1 t9 Z& I- f
; W8 T4 _0 o4 l' s
特别优化的并发IO

: @* A' }. x% o/ [, i, W2 L  i
顺序IO

6 F' a5 ~/ W# E1 B
特别优化的并发IO
0 y2 v3 G4 a: c/ S
顺序IO
8 o. W  E7 O  M1 I
随机IO
3 `, p( p1 ~4 S* y9 v/ N" a
连续IO
$ b8 [( a9 f4 d  I) [- u, Q
随机IO

! a5 U/ K5 y. J  ^- Z
连续IO

) }& f& q2 S$ B2 @% m6 Y/ u
随机IO
' {) `: c4 V$ k8 }
连续IO
: A% l9 v2 U. d7 Z3 |
随机IO

( I% h: Y) @' x( a2 x; D  G
连续IO
$ Y3 A. q5 x5 p' X& H/ m9 T
Io size/strip size较大

, ]0 _  g2 m8 C1 h5 c7 C, ?
冲突
$ B$ Z& J! i! u8 @3 h6 t' s
冲突

2 C1 p, g9 I3 J/ v4 [
提升极小

0 W' ~8 f' E' s5 ~4 u
提升了N倍

7 p+ g. q. F, k* @+ O
冲突

# a8 I& t4 b# t1 |2 h+ g
冲突

! N3 t: G, Z9 ?( B1 l% R
没有提升
8 U0 e  B; g" p5 M* e" K
提升了N倍
3 W+ g- ^5 [* \+ J+ `8 Z
Io size/strip size较小
9 O/ ?4 W" n9 J: D
提升极小
: c0 B" Z3 G) }( T7 t! X1 m5 {
提升并发系数倍

  g; M& {6 P+ j9 g" _
几乎没有提升

( {- [7 u  J6 k- H
几乎没有提升
' o' x" `  `# M6 R7 @
提升并发系数倍

! S7 D8 f  v1 y( J2 p
提升并发系数乘N倍
1 v% g7 J7 z* Y' y* [& b# o8 j
性能降底

% h4 a: G; `4 O) m6 F
性能降底
% w: H/ Y$ O" a5 E, S  }
注:N为raid4数据盘数量。Io size/strip size太大则并发IO几率很小。2 ]$ ]8 v# a1 ~5 m$ b! x2 q
值得注意的是,如果io size/strip size的值太小,则顺序IO读,不管是连续还是随机IO,几乎都没有提升。顺序IO写,性能下降,因为io size很小,又是顺序IO,则只能进行读改写,性能降底不少。
3 M' K' l( i2 ~( G! A& S* [" }所以,如果要使用raid4,不进行特别优化,是不行的,至少要让他可以进行并发IO。我们观察表格可知,并发IO模式下,性能都有所提升。然而如果要优化到并发几率很高,实则不容易。目前只有netapp的WAFL文件系统还在使用raid4,其他产品均未见使用。面临淘汰,取而代之的是拥有高并发几率的raid5系统。1 n7 ~# R& q! s

& J; s/ |+ s! H6 R, g
( a* ]0 d; F. `  T0 p: A4 @" {% F# f; y% @- x9 c; }, n
Raid5
, m: D* P1 Y+ P
% i9 R2 M, K3 @4 j
! Q' U/ W6 }" S+ E' G  L

5 G% l/ k3 {* @4 s
9 @. b1 `; b4 T9 s( u& W3 {为了解决raid4系统不能并发IO困难的窘境,raid5相应而出。Raid4并发困难,是因为他的校验盘争用的问题,如果能找到一种机制,能有效解决这个问题,则实现并发就会非常容易。Raid5恰恰解决了校验盘争用这个问题。Raid5采用分布式校验盘的做法,将校验盘打散在raid组中的每块磁盘上。如图所示。每个条带都有一个校验segment,但是不同条带中其位置不同,在相邻条带之间循环分布。为了保证并发IO,raid5同样将条带大小做的较大,以保证每次IO数据不会占满整个条带,造成队列其他IO等待。所以,raid5如果要保证高并发率,那么每个IO几乎都是读改写模式,尤其是在随机IO的情况下,所以raid5拥有较高的写惩罚,但是在随机IO频发的环境下,仍然能保持较高的IOPS。
" I1 ?$ G1 y) k0 H们来分析一下raid5具体的作用机制。以上图为例的环境,条带大小80k,每个segment大小16k。某一时刻,上层产生一个写IO:写入 初始扇区10000
% W  K- [( H9 u6 V长度8,即写入4k的数据。控制器收到这个IO之后,首先定位真实LBA地址,假设定位到了第1个条带的第2个segment(位于图中的磁盘2)的第1个扇区(仅仅是假设),则控制器首先对这个segment所在的磁盘发起IO写请求,读出这8个扇区中原来的数据到cache,与此同时控制器也向这个条带的校验segment所在的磁盘(即图中的磁盘1)发起IO读请求,读出对应的校验扇区数据并保存到cache,随后利用XOR校验电路来计算新的校验数据,利用公式:新数据的校验数据=(老数据 EOR 新数据) EOR 老校验数据。现在cache中存在:老数据,新数据,老校验数据,新校验数据。然后控制器立即再次向相应的磁盘同时发起IO写请求,将新数据写入数据segment,将新校验数据写入校验segment,并删除老数据和老校验数据。
2 b. r* S  g" C! M/ U, [在上述过程中,这个IO占用的,始终只有1、2两块盘,因为所要更新的数据segment我们假设位于2盘的1条带的2号segment,而这个条带对应的校验segment位于1盘,自始至终其他任何磁盘都没有用到。那么如果此时队列中有这么一个IO,他的LBA初始目标假如位于图中下方红框所示的数据segment中(4盘),IO长度也不超过segment的大小,而这个条带对应的校验segment位于3盘上,这两块盘未被其他任何IO占用,所以,此时控制器就可以并发的处理这个IO,和上方红框所示的IO,达到并发。2 j) n- p5 q/ q1 g$ J
Raid5相对于经过特别优化的raid4来说,在底层就实现了并发,可以脱离文件系统的干预,任何文件系统的IO,都可以实现高并发几率,而不像基于wafl文件系统的raid4,需要在文件系统上规划计算出并发环境。
& {" e' L  I- rRaid5磁盘数量越多,可并发的几率就越大。: j# P& v& m  r) O6 E' _
RAID5

  o, r3 F3 _* N6 y, i+ E
IOPS

. Y" U% J5 g7 }% B5 U

4 o, `+ H; x# U
5 w, m" |1 S  _$ V
并发IO

7 K. t; ~/ e# m8 B
顺序IO
& [3 [' a, W. q. _
并发IO
& [3 H9 N$ ^' M" R! n. ^. f
顺序IO
0 J+ y7 g5 K  l0 Q3 Q& g
随机IO
, l8 A# M! z. j
连续IO

  s  q8 j" Z3 v; u2 d" ^
随机IO
5 F6 Z. w0 `- _
连续IO
2 ]# M+ u0 n/ `+ A4 {. Q4 y9 h
随机IO
- n+ T5 ?) t5 u/ ]
连续IO

, Z7 _2 w1 h7 k
随机IO

* X+ ?2 U' v0 X" B) m" B" t
连续IO

0 U0 s: z8 E* R5 b. Q
Io size近似strip size

7 A3 A  C* `) l! M- F# Y
不支持

  l5 b! Q) c! g1 m3 y+ B
不支持

% D1 I/ `) q1 j1 p
提升极小

5 L# K' e3 y: W7 R
提升了N倍

  I2 A; F: p# ^, Q6 ]% [
不支持
2 s5 b1 h1 e) l3 S. q4 R% _( I
不支持
& V! w5 M4 I3 s8 V0 W
提升极小

3 q" H- B5 K3 v; r$ W8 N! q4 G
提升了N倍
6 ~" U0 C5 ?; Q' b5 q
IO size大于segment size重构写
$ |2 G/ U9 s2 Z% E# l/ j
提升并发系数倍
; b; F% n7 v4 P% V1 y
提升并发系数倍

# W& H1 }5 X) U* D
几乎没有提升

! y0 Y. b8 I  Y9 B! q
提升了IO size/segment size倍
6 e1 H0 Z0 H# }1 o0 n
提升并发系数倍

2 M6 _& E/ w0 S
提升并发系数倍

; l% ?6 k8 i7 R9 f
性能下降

: K* Y; Q3 V; G2 d8 C  @/ i
提升极小
  A2 d, x  Z( j+ B
Io size小于segment size读改写

" l9 G; t  T% W0 f3 M
提升并发系数倍

! a: O: k0 @4 q% J# W4 ?
提升并发系数倍

0 n# B  b# J6 ~) M$ P8 f8 O9 U$ w+ c
提升极小

, _3 ^' P6 D7 Z5 R( i* t6 g  n
没有提升

% C1 t* \+ x- s: p
提升并发系数倍

5 M  P2 n3 A2 Y2 L3 W; w4 T1 X
提升并发系数倍
$ m' o1 ]8 D% X. m" K2 w
性能下降
1 e7 F% n& z: O8 ]; w# q) a
性能下降
! H7 h( J; F) B9 u' `: n
raid5最适合小块IO,并发IO的情况下,性能都较单盘有所提升。+ ]4 }) i* C6 ?) B

& S% r" |6 G9 f$ x" A
9 u: e; a; U1 T! ?  k% M& B& ~* vRaid6# S. @: V( l1 ]! K8 U
* ]6 [% Y) s/ l8 x- h) v9 @
raid6之前的任何raid级别,最多能保障在坏掉一块盘的时候,数据仍然可以访问,但是如果同时坏掉两块盘,则数据将会丢失。为了增加raid5的保险系数,raid6被创立。Raid6比raid5多增加了一块校验盘,同时也是分布打散在每块盘上,用另一个方程式来计算新的校验数据,这样,raid6同时在一个条带上保存了两份数学上不相关的校验数据,这样能够保证同时坏两块盘的情况下,数据依然可以通过联立这两个数学关系等式来求解丢失的数据。Raid6较raid5在写的时候,会同时读取或者写入额外的一份校验数据,不过由于是并行同时操作,所以比raid5慢不了多少。其他特性和raid5类似。
* O& t9 M4 Z# \4 C) ]
RAID6
4 m' {+ p$ T; N0 a4 J( }& ]8 ~5 \
IOPS
6 s  G2 E/ s6 z# ], v9 ]% M

9 q2 W5 M* q6 V$ G

# d& W! c& v3 ^: y5 P' N0 l9 U/ }
并发IO
  ~8 t9 u! `$ c: H( V5 K3 T
顺序IO

/ b. x) B3 e4 W7 q5 p! n
并发IO

6 Z: D8 t* {) z
顺序IO
0 V$ ]# B5 S- @9 N# b- b0 }4 a
随机IO
3 {0 k* ?  R7 F7 V
连续IO

3 b0 X8 _9 ]" i# |9 v( A* n
随机IO
4 ?. M; U" T  I! }& y& ^( G! s* A- Y
连续IO
( I4 d0 N1 h- i2 I7 b, Y. z; x
随机IO
0 K* K1 @  ]6 R5 }
连续IO
; G! Y, }" r4 I% x' ?
随机IO
* H: _* B, _' d
连续IO

) m2 M1 E4 i# s& `( e% T
Io size近似strip size

1 @7 X  F3 u. x( i" ?
不支持

  R/ l0 f' g, m# g& e
不支持

; R7 N( X$ O, l# l* j+ `
提升极小
+ P* \# k* C! E8 t
提升了N倍
7 C" m3 f/ a; c0 B" j4 N8 n
不支持

  I) O9 |9 m/ K4 O. J
不支持
. N. k  @' a8 l6 U
提升极小
) a* J. B, O  n# {2 H7 L; O
提升了N倍

4 p# u; A8 {$ e& v/ j1 b, B2 m# P1 A
IO size大于segment size重构写

6 H: l0 t$ Y( ~* T& p, Z
提升并发系数倍
7 F3 c: S# _; S7 P. T
提升并发系数倍
6 o4 R) j8 e" T
几乎没有提升
7 b2 H5 G' A3 {' G$ i% d1 L8 Q
几乎没有提升

! C: F! D6 e# Y  v; W4 w; M
提升并发系数倍
) P+ i' B& I/ l) B- Z/ f; x
提升并发系数倍

5 [$ W: Y; M. k: E+ f3 E8 |  I" B
性能下降

$ r! p: a# @, p; q+ {0 t
提升极小
3 o8 h4 B7 S) Q- f5 t( s3 z
Io size小于segment size读改写
) k' F3 |5 a- j( a  r# ?
提升并发系数倍

7 U) O! c. W, T$ c9 t
提升并发系数倍
8 K6 d' g7 K$ n& ~  u; M6 V% d
提升极小
6 E. |. {+ p' P$ f6 p- z* c3 B4 P
没有提升
: c) V% A5 I! ~
提升并发系数倍

/ F- d. r5 D: ~
提升并发系数倍

; a5 N; e9 Z  Q  ?. a# Y( q% _
性能下降

( @! V) _2 W, F1 ~8 v0 _
性能下降

5 W8 O7 ~7 x0 {+ h  m

1 W5 l0 b  B$ b$ o+ m+ e9 t
& A6 M3 w' `) N; W. I+ M

7 `% t/ r1 ^4 Z1 N3 B- g
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|赛格电脑 华强北 电脑城 南山赛格 龙岗电子世界 龙华电脑城 沙井电脑城 松岗电脑城 pc4g.com ( 粤ICP备16039863号 )

GMT+8, 2025-7-12 15:05 , Processed in 0.086760 second(s), 15 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表