Hive实践分享之存储和压缩的坑

存储 存储软件 大数据
在学习大数据技术的过程中,HIVE是非常重要的技术之一,但我们在项目上经常会遇到一些存储和压缩的坑,本文通过科多大数据的武老师整理,分享给大家。

 在学习大数据技术的过程中,HIVE是非常重要的技术之一,但我们在项目上经常会遇到一些存储和压缩的坑,本文通过科多大数据的武老师整理,分享给大家。

大家都知道,由于集群资源有限,我们一般都会针对数据文件的「存储结构」和「压缩形式」进行配置优化。在我实际查看以后,发现集群的文件存储格式为Parquet,一种列式存储引擎,类似的还有ORC。而文件的压缩形式为Snappy。具体的操作形式如下:

① 创建Parquet结构的表(Hive 0.13 and later):

  1. CREATE TABLE CRM.DEMO(A INT) STORED AS PARQUET ; 

② 确认表的文件存储格式:

  1. desc formatted crm.demo; 

结果输出如下

  1. # Storage Information              
  2.  
  3. SerDe Library:          org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe       
  4.  
  5. InputFormat:                 org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat      
  6.  
  7. OutputFormat:               org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat  

③ 创建Snappy压缩格式的Parquet结构的表(待考察):

  1. ALTER TABLE crm.demo SET TBLPROPERTIES ('parquet.compression'='SNAPPY') ; 

或,写入时

  1. SET parquet.compression=SNAPPY ; 

回到最初的问题,如果是按Snappy压缩的格式,这份用户行为数据没办法分析了,因此有两种办法去解决:

① 安装Snappy的解压工具

可自行百度,由于没有权限,所以这条路行不通;

② 更改数据的压缩格式可以

最初我试了一下更改Parquet格式表的压缩格式,但是没有用!因为我最后是需要将查询数据导出到本地文件系统,如下语句所示:

  1. insert overwrite local directory '/home/etl/tmp/data' 
  2. select * 
  3. from crm.demo 

所以,通过这样的形式得到的数据,压缩格式依然是. Snappy。因此,这里就需要配置Hive执行过程中的中间数据和最终数据的压缩格式。

如MapReduce的shuffle阶段对mapper产生的中间结果数据压缩:

  1. hive> set mapred.map.output.compression.codec;  
  2. mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec 

如对最终生成的Hive表的数据压缩:

  1. hive> set mapred.output.compression.codec;  
  2. mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec 

这里,我们要设置结果表数据的压缩格式,语句如下:

  1. set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 

最终的结果就是 .gz 的压缩格式

  1. -rw-r--r-- 1 etl etl 342094 May 10 11:13 000000_0.gz 

最后,我们直接下载到电脑本地,直接解压就可以通过Excel分析用户行为路径数据了。

总结:从Hive应用层的角度来说,关于数据文件的「存储结构」和「压缩形式」,这两个点我们不需要关心,只是在导出数据的时候需要结合文件大小,以及数据类型去设置合适的压缩格式。不过从Hive底层维护的角度来说,涉及到各种各样的「存储结构」和「压缩形式」,都需要开发者去研究和调整,这样才能保证集群上的文件在「时间」和「空间」上相对平衡。

责任编辑:武晓燕 来源: 成都科多大数据
相关推荐

2023-05-15 08:24:46

2021-02-22 17:00:31

Service Mes微服务开发

2020-03-17 09:21:20

MariaDBSpider存储

2018-06-07 16:33:31

大数据冷热数据存储平台

2018-12-25 09:26:28

2022-08-10 13:54:40

云存储存储私有云

2018-02-24 10:58:34

存储DASNAS

2018-08-23 11:06:15

重删压缩存储

2017-06-16 09:58:34

Hive格式压缩算法

2018-05-04 14:00:24

2014-01-09 11:09:52

手游创业运营立项

2023-07-13 11:03:12

2023-10-07 16:20:34

JavaAPI

2024-02-27 07:44:20

2015-08-10 14:11:48

亚马逊AWS中国Amazon S3

2009-04-09 19:18:44

云存储存储虚拟化虚拟化

2021-07-28 14:37:57

WKWebviewh5网络

2021-01-20 10:53:41

云计算云存储云迁移

2018-08-27 10:54:30

C++压缩存储

2023-05-24 10:06:42

多云实践避坑
点赞
收藏

51CTO技术栈公众号