SparkRDD 操作，怎么将一对一 转换成一对多？不用 groupbykey
anonymoustian · 2016-03-31 10:25:11 +08:00 · 2981 次点击这是一个创建于 2949 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在有一个 JavaPairRDD<String, String>
代表的是 IP 和域名的对应关系
现在想把 一个 IP 访问过的所有域名都 表现出来
就是： JavaPairRDD<String, String[]>
其中 String[]是一个数组
请问这个如果不用 groupbykey 怎么操作？
2 条回复 • 2016-03-31 11:00:05 +08:00
 |
1
heliumhgy 2016-03-31 10:52:42 +08:00 via Android  1
pyspark 就先 map k,v => k,[v] 然后 reduceByKey (k,v1), (k, v2) => k, v1+ v2 在 Python 中这个 list 会越来越长。
Java 就不清楚怎么写了，思路可以参考下 |
 |
2
anonymoustian OP @heliumhgy 好的谢谢 我试试
|
Select Language