Data Lake Analytics SQL技巧:行、列转换和JSON数据列展开

发布网友发布时间：2024-09-25 14:20

共1个回答

热心网友时间：2024-10-08 09:45

Data Lake Analytics SQL技巧：行、列转换和JSON数据列展开

Data Lake Analytics (DLA) SQL中，行转列（Pivot）和列转行（Unpivot）是常见的数据处理操作。借助其强大的函数式表达式、JSON处理函数及UNNEST语法，可以实现高效的数据转换。下面将分别以示例说明这两种转换方法和处理JSON数据的技巧。

行转列（Pivot）

例如，表test_pivot的数据，可以通过CASE WHEN或map_agg函数来实现Pivot操作:

使用CASE WHEN：

SQL语句：

结果：

map_agg函数：

第一步：

SQL语句：

输出：

最终SQL：

结果：

列转行（Unpivot）

在test_unpivot表中，通过UNION或CROSS JOIN UNNEST实现Unpivot:

UNION：

SQL语句：

结果：

CROSS JOIN UNNEST：

SQL语句：

结果：

JSON数据列展开

处理JSON数据时，可以使用UNNEST展开属性字段，步骤如下：

基本示例：

SQL示例：

结果：

对MAP展开：

SQL示例：

结果：

对JSON数据展开：

SQL示例：

结果：

SQL示例：

结果：

结合Lambda表达式：

SQL示例：

结果：