您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hive专题  
 

Shark对Hive的支持与不支持的语法介绍

【作者:Hadoop实战专家】【关键词:支持 优化 查询 】 【点击:6428次】【2013-10-0】
Shark是一种分布式SQL查询工具,它的设计目标就是兼容Hive,今天就来总结一下Shark对Hive特性的兼容。 一、Shark可以直接部署在Hive的数据仓库上。 * 关系运算符(=, ?当然,这些特性在Hive开发中也不经常使用。* 少数的Hive优化目前Shark是不支持的。  

相关热门搜索:

大数据标签:hadoop hdfs hive spark bigdata

问题导读:

1.什么是Shark?

2.Shark支持hive那些语法?

3.Shark不支持hive那些语法?

下面提到了Shark,那么这里首先解释一下什么是Shark

Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。

了解了什么是Shark,下面与hive兼容性进行介绍

Shark是一种分布式SQL查询工具,它的设计目标就是兼容Hive,今天就来总结一下Shark对Hive特性的兼容。

一、Shark可以直接部署在Hive的数据仓库上。支持Hive的绝大多数特性,具体如下:

* Hive查询语句,包括以下:

* SELECT
* GROUP_BY
* ORDER_BY
* CLUSTER_BY
* SORT_BY

* 支持Hive中所有的操作符:

* 关系运算符(=, ?, ==, <>, <, >, >=, <=, 等)
* 算术运算符(+, -, *, /, %, 等)
* 逻辑运算符(AND, &&, OR, ||, 等)
* 复杂类型构造器
* 数学函数 (sign, ln, cos, 等)
* 字符串函数(instr, length, prinf, 等)

* 支持用户自定义函数(UDF)
* 支持用户自定义聚合函数(UDAF)
* 支持用户自定义的序列化格式(SerDe’s)
* 支持Joins

* JOIN
* {LEFT|RIGHT|FULL} OUTER JOIN
* LEFT SEMI JOIN
* CROSS JOIN

* 支持Unions
* 支持子查询

* SELECT col FROM ( SELECT a + b AS col from t1) t2

* 支持抽样(Sampling)
* 支持Explain
* 支持分区表
* 支持Hive中所有的DDL函数

* CREATE TABLE
* CREATE TABLE AS SELECT
* ALTER TABLE

* 支持Hive中所有的数据类型:

* TINYINT
* SMALLINT
* INT
* BIGINT
* BOOLEAN
* FLOAT
* DOUBLE
* STRING
* BINARY
* TIMESTAMP
* ARRAY<>
* MAP<>
* STRUCT<>
* UNIONTYPE<>

  二、下面是不支持的特性

  下面列出来的Hive特性在Shark是不支持的;当然,这些特性在Hive开发中也不经常使用。

* Shark不支持Hive中的桶(buckets)
* 在Hive中,不同的分区可以用不同的input format,目前在Shark中,所有的分区必须使用相同的input format
* 不等值的outer join(”key < 10″),在Shark中将会得到错误的结果
* 不支持Unique join
* 不支持单查询多插入语句
* 不支持列统计收集
* 不支持Hadoop archive
* 对于返回到CLI界面的结果信息,Shark目前只支持TextOutputFormat
* 少数的Hive优化目前Shark是不支持的。这些不支持的优化中有些是因为Shark是内存计算模型,所以这些优化(比如索引)就没必要去支持;其他的一些优化特性将在Shark未来版本中支持。

过往记忆

大数据系列hive相关文章:

最新评论
小花阳光2014-09-09 09:54:17
【拯救外星人洞穴(Alien Hive)】《拯救外星人洞穴(Alien Hive)》是一款新奇的消除解谜游戏。借鉴经典消除游戏《宝石迷阵(Bejeweled)》的玩法,玩家需要不停地清除障碍来升级和进化外星人宝宝。 玩家要有策略地进行消除,有70项特色成就。
想有个家2014-09-08 11:31:45
露肩的
明月无言2014-09-08 02:17:10
你想干什么
Soup 凯2014-09-07 12:01:15
CDH自定义的endpoint是不是都放在这个目录下[图片]
寂寞332014-09-06 02:33:14
ant 1.8.0
遀巠2014-09-05 09:48:32
0
寻找 爱2014-09-04 09:59:53
【大数据来袭 传统数据库的Hadoop梦想 】与Hadoop不同,数据库自诞生之日起,就承载了企业中结构化数据的日常管理。数据库的发展经历了人工管理、文件系统和数据库系统三个阶段,在市场趋势的影响下,数据库朝着新的方向不断变革。http://t.cn/RvMPFuq
范范2014-09-03 04:30:23
没人用过吗
牟春2014-09-03 12:29:49
【hadoop2.2.0集群安装指南】… http://t.cn/8kDxllR
小雅2014-09-02 08:37:42
惠普5000万美元战略投资Hadoop大数据平台Hortonworks - 鲜蛋网 - 日志 - 鲜蛋网 据Re/code报道,惠普宣布与大数据平台Hortonworks战略伙伴关系,并向后者注资5000万美元,惠普CTOMartinFink将加入后者董事会。就在今年3月,Hortonworks获得了1亿美金D轮融资,由黑石领投,雅虎、 RPGGVhz
 
  • Hadoop生态系统资料推荐