博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hive lateral view语句
阅读量:4072 次
发布时间:2019-05-25

本文共 1351 字,大约阅读时间需要 4 分钟。

原文地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView#

lateral view用于和split, explode等UDTF一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。

一个简单的例子,假设我们有一张表pageAds,它有两列数据,第一列是pageid string,第二列是adid_list,即用逗号分隔的广告ID集合:

string pageid Array<int> adid_list
"front_page" [1, 2, 3]
"contact_page" [3, 4, 5]

要统计所有广告ID在所有页面中出现的次数。

首先分拆广告ID:

  1. SELECT pageid, adid

  2. FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid;

执行结果如下:

string pageid int adid
"front_page" 1
"front_page" 2
"front_page" 3
"contact_page" 3
"contact_page" 4
"contact_page" 5

接下来就是一个聚合的统计:

  1. SELECT adid, count(1)

  2. FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid

  3. GROUP BY adid;

int adid count(1)
1 1
2 1
3 2
4 1
5 1

多个lateral view语句: 一个FROM语句后可以跟多个lateral view语句,后面的lateral view语句能够引用它前面的所有表和列名。 以下面的表为例:

Array<int> col1 Array<string> col2
[1, 2] [a", "b", "c"]
[3, 4] [d", "e", "f"]
  1. SELECT myCol1, col2 FROM baseTable

  2. LATERAL VIEW explode(col1) myTable1 AS myCol1;

的执行结果为:

int mycol1 Array<string> col2
1 [a", "b", "c"]
2 [a", "b", "c"]
3 [d", "e", "f"]
4 [d", "e", "f"]

加上一个lateral view:

  1. SELECT myCol1, myCol2 FROM baseTable

  2. LATERAL VIEW explode(col1) myTable1 AS myCol1

  3. LATERAL VIEW explode(col2) myTable2 AS myCol2;

它的执行结果为:

int myCol1 string myCol2
1 "a"
1 "b"
1 "c"
2 "a"
2 "b"
2 "c"
3 "d"
3 "e"
3 "f"
4 "d"
4 "e"
4 "f"

注意上面语句中,两个lateral view按照出现的次序被执行。

 

转载地址:http://fykni.baihongyu.com/

你可能感兴趣的文章
向量加减法运算及其几何意义
查看>>
magnitude是精确距离,sqrMagnitude是节省CPU的粗略距离,精度有损失
查看>>
学习和研究下unity3d的四元数 Quaternion
查看>>
一些最最基本的几何图形公式
查看>>
Non-convex MeshCollider with non-kinematic Rigidbody is no longer supported in Unity 5.
查看>>
理解四元数的一些文章
查看>>
Unity Shader入门
查看>>
片元着色器(Fragment Shader)被称为像素着色器(Pixel Shader),但
查看>>
UNITY自带的3D object没有三角形?
查看>>
Lambert(朗伯)光照模型 和Half Lambert的区别
查看>>
float4数据类型
查看>>
【Unity Shaders】学习笔记
查看>>
Holographic Remoting Player
查看>>
unity之LOD
查看>>
UNITY 移动到指定位置的写法
查看>>
Unity中关于作用力方式ForceMode的功能注解
查看>>
UNITY实现FLASH中的setTimeout
查看>>
HOLOLENS 扫描特效 及得出扫描结果(SurfacePlane)
查看>>
矩形旋转一定角度后,四个点的新坐标
查看>>
Unity - RectTransform详解
查看>>