spark的 map和 flatMap应该怎样理解

如题所述

map: 对RDD每个元素转换
flatMap: 对RDD每个元素转换, 然后再扁平化(即将所有对象合并为一个对象)
e.g.
// data 有两行数据,第一行 a,b,c,第二行1,2,3
scala>data.map(line1 => line1.split(",")).collect()
res11: Array[Array[String]] = Array(Array(a, b, c),Array(1, 2, 3))
scala>data.flatMap(line1 => line1.split(",")).collect()
res13: Array[String] = Array(a, b, c, 1, 2, 3)
温馨提示:内容为网友见解,仅供参考
无其他回答
相似回答