V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Tianny
V2EX  ›  Hadoop

请教关于 HDFS DELEGATION TOKEN 过问题。

  •  
  •   Tianny · 2018-09-28 07:02:19 +08:00 · 4636 次点击
    这是一个创建于 2008 天前的主题,其中的信息可能已经有所发展或是发生改变。

    描述:Spark Streaming Long Running Job,以 client 模式跑在 YARN 集群上,HDFS 启用 HA,整个集群启用 Kerberos 认证。在执行任务时,ApplicationMaster 可以正常重新 renew 新的 HDFS DELEGATION TOKEN,executor 端也可以正常拿到 AM 新生成的 Token (由 AM 写到 HDFS 的一个文件上)。但是 Driver 端无法正常拿到新的 Token。总是报 GSS Error 和 token not found in cache。

    环境:CDH 5.13.1,hadoop-2.6.0-cdh5.13.1,spark 2.2.0 社区版

    Google 了一圈,加了 --conf spark.hadoop.fs.hdfs.impl.disable.cache=true,说是在 HDFS HA 模式下,必须关掉 cache 功能,但是加上了并没有什么用。

    有遇到过类似 TOKEN 问题过期的大佬吗?指点一下

    4 条回复    2020-03-05 21:21:14 +08:00
    zuston
        1
    zuston  
       2019-08-10 22:33:18 +08:00
    你遇到的应该是一个 HDFS bug. 参考 issue: https://issues.apache.org/jira/browse/HDFS-9276、因为此 bug, 导致过期 renew 的时候没有更新 ha 的 token
    Tianny
        2
    Tianny  
    OP
       2020-03-05 09:18:32 +08:00
    @zuston 谢谢 你说的是对的。
    zuston
        3
    zuston  
       2020-03-05 21:07:53 +08:00 via iPhone
    @Tianny 这么久的回复,哈哈哈
    Tianny
        4
    Tianny  
    OP
       2020-03-05 21:21:14 +08:00
    @zuston 哈哈~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3235 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 11:42 · PVG 19:42 · LAX 04:42 · JFK 07:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.