大数据-Hadoop小文件问题解决方案 - 大数据技术参考_大数据技术文献_大数据趋势分析 -
当前位置:技术分享 > 技术参考 > 正文

大数据-Hadoop小文件问题解决方案2018-04-20 15:06:33 | 编辑:hely | 查看: | 评论:0

HDFS中小文件是指文件size小于HDFS上block(dfs block size)大小的文件。大量的小文件会给Hadoop的扩展性和性能带来严重的影响。

HDFS中小文件是指文件size小于HDFS上block大小的文件。大量的小文件会给Hadoop的扩展性和性能带来严重的影响。

小文件是如何产生的?

动态分区插入数据,产生大量的小文件,从而导致map数量剧增

reduce数量越多,小文件也越多,reduce的个数和输出文件个数一致

数据源本身就是大量的小文件

小文件问题的影响

从Mapreduce的角度看,一个文件会启动一个map,所以小文件越多,map也越多,一个map启动一个jvm去执行,所以这些任务的初始化,启动,执行会浪费大量的资源,严重的影响性能。

从HDFS角度看,HDFS中文件元信息(位置,大小,分块等)保存在NameNode的内存中,每个对象大约占用150字节,如果小文件过多,会占用大量内存,直接影响NameNode的性能;HDFS读写小文件也会更加耗时,因为每次都需要从NameNode获取元信息,并与对应的DataNode建立连接。

如何解决小文件问题

输入合并,在Map前合并小文件

输出合并,在输出结果的时候合并小文件

控制reduce个数来实现减少小文件个数

配置Map输入合并

可以通过在输入mapper的之前将是输入合并,以减少map的个数。

配置Hive输出结果合并

Hadoop Archive(HAR)

Hadoop Archive是一种特殊的归档格式,Hadoop Archive映射到文件系统目录,一个HAR是以扩展名.har结尾 ,一个HAR目录包含元数据(以_index和_masterindex的形式)和data(part-*)文件。_index文件包含文件名称,这些文件是归档的一部分,并且包含这些文件在归档中的位置。

Hadoop Archive是一个高效地将小文件放入HDFS块中的文件存档工具,它能将多个小文件打包成一个HAR文件,这样在减少NameNode内存使用的同时,仍然允许对文件进行透明的访问。

使用hadoop命令进行文件归档

可以通过设置参数来指定HAR的大小。

在Hive中进行归档处理

Hive支持将已存的分区转换为HAR,从而使得分区下的文件数目大大减少。但是从HAR读数据需要额外的开销,因此查询归档下数据可能会变慢。

如果不是分区表,可以创建成外部表,使用har://协议来指定路径。

SequenceFile

控制reducer个数

为了提升MR的运算速度,可以通过增加reducer的个数,Hive也会做类似的优化,Reducer数量等于源数据量除以所配置的量(默认是1G)。Reducer的数量决定了结果文件的数量。所以在合适的情况下控制reducer的数量,可以实现减少小文件数量。

reducer决定因素:

上一篇:大数据-Hive学习从这里开始 数据挖掘领域十大经典算法之—K-Means算法(超详细附代码)下一篇:

公众平台

搜索"raincent"或扫描下面的二维码