当前位置:技术分享 > 技术参考 > 正文

构建大数据系统的前沿技术概述2016-05-04 11:02:22 | 编辑:hely | 查看: | 评论:0

进入互联网时代,数据的特征有了变化,写多读少,数据具备热点时间。有效期之后的数据,就相当于传统数据库的归档。另外一个有利的变化,是内存变得很便宜,可以用足够低的成本hold住热点数据。

正文

第一部分存储模型之前,先抛两个问题:

1)这些存储的数据结构,主要是来优化什么操作的?

2)SSD对于这些存储结构有什么样的影响?

一. 存储模型--读和写的取舍

一个好的存储结构,我们希望的是更新数据快,查找特定的数据也快,最好占用空间还小,一般来说,这算得上是对存储的终极要求了。

终极要求,这东西一般都是YY,但是,加上一定的限制条件,在特定的时期,数据大爆炸之前,单机时代,B树这个结构,可以算得上是银弹。基本上所有的关系型数据库系统都采用这种结构。SqlServer和Oracle都采用B树,Mysql,Db2还有informix采用的B+树,

 

\

 

磁盘读数据和写数据的过程,1)移动磁头到对用的扇区,2)然后磁头接触磁道,写或者读数据,3)通过总线传输到内存或者寄存器。

磁头移动时间,十分之一秒的级别,读写的时间,按照普通磁盘,7200转的,差不多在百分之一秒级不到,还有一个耗时就是总线传输时间,这个基本可以忽略,在10的8次方分之秒。

另一个背景知识是,文件系统, 读写是有最小操作单位的块,每次I/O操作,都是整块操作。块大小,跟文件系统的格式有关,fat32,ext3/4等等,常见的块大小4096个字节,块大小可以调整,块,对应到物理的扇区。

通过上面的分析,有效的优化是降低磁头定位的次数;B树就是综合读写两方面的需求,提出的对磁头定位操作优化的结构。隐含的数据特征是:重查询,轻新增,并发写要求不高。总的数据量优先,单挑记录会被反复更新,这刚好就是单机时代的数据特征。在做关系型数据库表设计的时候,知道这点会比较有用。

B+树和B*树是B树的两种变形,B+树降低了中间节点的数据大小,同样的块大小,可以存储更多的数据,检索上更有效率,但是,实际数据读取上有妥协。B*树,相对于B数在节点的分裂,旋转,平衡方面有增强。

进入互联网时代,数据的特征有了变化,写多读少,数据具备热点时间。有效期之后的数据,就相当于传统数据库的归档。另外一个有利的变化,是内存变得很便宜,可以用足够低的成本hold住热点数据。这种前提下,顺序写做持久化,热点数据保持在内存中,并且在内存中进行排序,保证顺序写入的数据是有序的。

基于这样的思路,就有了LSM-Tree和COLA-Tree两种改进。区别在于LSM的MemTable保持固定大小,持久化数据的索引都有compaction阶段完成。COLA的思路,是Memtable就按照固定的逻辑完成索引更新。COLA里面是没有Memtable这个名称的。

 

\

 

 

\

 

基本上现存所有的NoSQL都是采用LSM-Tree的思路,除了TokuDB。

Cassandrda和LevelDB,需要特别提一下,他们两个在Compaction阶段的实现,是参考了COLA的做法的,sstable做了分层合并。COLA在层之间,还引入了分形树(Fractal Tree)的实现,改进索引性能,Cassandra和LevelDB是没有,单层上数据检索,还是采用的BloomFilter和二分法。

上一篇:企业大数据安全分析及如何选择合适的工具和平台 Netflix如何使用Mantis进行运维数据流及批量处理下一篇:

公众平台

搜索"raincent"或扫描下面的二维码