编程技术网

关注微信公众号,定时推送前沿、专业、深度的编程技术资料。

 找回密码
 立即注册

QQ登录

只需一步,快速开始

极客时间

如何在 Spark 中平面映射嵌套的数据框:How to flatmap a nested Dataframe in Spark

muuuh spark 2022-5-7 16:40 11人围观

腾讯云服务器
如何在 Spark 中平面映射嵌套的数据框的处理方法

我有如下所示的嵌套字符串.我想平面映射它们以在 Spark 中生成唯一的行

I have nested string like as shown below. I want to flat map them to produce unique rows in Spark

我的数据框有

A,B,"x,y,z",D 

我想把它转换成像

A,B,x,D A,B,y,D A,B,z,D 

我该怎么做.

基本上我如何做平面地图并在数据框内应用任何函数

Basically how can i do flat map and apply any function inside the Dataframe

谢谢

问题解答

Spark 2.0+

Dataset.flatMap:

val ds = df.as[(String, String, String, String)] ds.flatMap { case (x1, x2, x3, x4) => x3.split(",").map((x1, x2, _, x4)) }.toDF 

Spark 1.3+.

使用 splitexplode 函数:

val df = Seq(("A", "B", "x,y,z", "D")).toDF("x1", "x2", "x3", "x4") df.withColumn("x3", explode(split($"x3", ","))) 

Spark 1.x

DataFrame.explode(在 Spark 2.x 中已弃用)

DataFrame.explode (deprecated in Spark 2.x)

df.explode($"x3")(_.getAs[String](0).split(",").map(Tuple1(_))) 

这篇关于如何在 Spark 中平面映射嵌套的数据框的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程技术网(www.editcode.net)!

腾讯云服务器

相关推荐

阿里云服务器
关注微信
^