首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
请教个问题,关于 Spark 累加器的
qqq8724
·
2018-06-10 21:43:00 +08:00
· 1364 次点击
这是一个创建于 2362 天前的主题,其中的信息可能已经有所发展或是发生改变。
我在代码中设置了全局变量的累加器,在 map 操作中对他累加之后,在 map 外边再访问的时候,累加器的值又回到了初始值,请问是什么原因
累加器
map
累加
Spark
5 条回复
•
2018-06-14 09:44:13 +08:00
1
kex0916
2018-06-10 23:36:56 +08:00
map 外访问?没有 action 算子吗?
2
qqq8724
OP
2018-06-11 09:09:37 +08:00
@
kex0916
有的呀 map 完我还 count 了
3
kex0916
2018-06-11 13:52:58 +08:00
光看你说的情况不太好定位,最好搞个 demo 测下,如果还是有问题可以把 demo 放出来。
4
qqq8724
OP
2018-06-14 09:16:18 +08:00
@
kex0916
我后来把 map 重分区成 1 的时候,他就可以用了,感谢您的答复
5
kex0916
2018-06-14 09:44:13 +08:00
@
qqq8724
🙂
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
5467 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms ·
UTC 07:21
·
PVG 15:21
·
LAX 23:21
·
JFK 02:21
Developed with
CodeLauncher
♥ Do have faith in what you're doing.