• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sunpengliang
V2EX  ›  程序员

求大数据的大佬解答下疑惑,想咨询下一些关于 hadoop 的问题

  •  
  •   sunpengliang · Nov 30, 2022 · 902 views
    This topic created in 1261 days ago, the information mentioned may be changed or developed.

    想问下大佬几个关于 hadoop 的问题,因为本人对 hadoop 的了解非常肤浅,有一些工作上的问题

    1.hadoop distcp 的时候拷贝的是 src 目录那个时间节点的状态 2.如果拷贝途中 src 目录有增删文件的行为,拷贝一定会失败吗 3 如果拷贝失败以后,distcp 参数加上--uodate 能保证 dst 和 src 相同吗,原先失败的任务拷贝的文件拷贝到 dst 以后会不会影响下一次拷贝(-update 模式下认为该文件已经拷贝,但是由于上一次任务失败导致拷贝文件不全。导致最终拷贝到 dst 的文件不完整)

    我自己的理解是 1 是不是拷贝的是 src 当时的快照 2 增加文件没问题,但是删除文件会导致任务失败 3 没啥想法

    还请各位大佬能够指点一二,给一些链接或者参考下,谢谢大佬

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5816 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 72ms · UTC 01:55 · PVG 09:55 · LAX 18:55 · JFK 21:55
    ♥ Do have faith in what you're doing.