• 请不要在回答技术问题时复制粘贴 AI 生成的内容
codeself
V2EX  ›  程序员

很好奇那些无服务器端的照片同步 APP 是如何在客户端记录同步进度的,是有啥特别的算法吗?

  •  
  •   codeself · Nov 10, 2023 · 2291 views
    This topic created in 938 days ago, the information mentioned may be changed or developed.

    市面上很多照片同步的 app,都是只是通过某种方式,

    比如 webdav,ftp 之类的网络文件共享协议,甚至是 http(s),把客户端上的文件传到 NAS/云盘里去

    除此之外根本不会有其他的服务器交互,所以同步的进度/记录是怎么记录的?

    • 因为一些原因导致同步被暂停/打断,下次如何接着上次的进度继续同步?

    • 有同步过的照片文件重新编辑保存了,如何把这个文件覆盖同步到远程?

    Supplement 1  ·  Nov 10, 2023

    问了下ai,加上了点我自己的思考,大概方案是

    1. 使用一种特定的方式遍历照片文件列表(如,按修改时间倒叙)
    2. 遍历文件列表的时候,记录文件名,文件md5,修改时间到和一个本地存储的已上传文件列表进行对比
      • 如果文件名,文件md5,修改时间中任一项在记录中都没匹配到,加入到待上传列表中
      • 如果文件名,文件md5,修改时间中任一项在记录中匹配到,并且有任何一项发生变化,加入到待上传列表中
    3. 对待上传列表中的文件进行上传
    4. 上传成功的信息更新已上传文件列表
    10 replies    2023-11-10 15:33:38 +08:00
    ldlywt
        1
    ldlywt  
       Nov 10, 2023
    找了很久,也没看见有成熟的 github 开源方案
    Yuhyeong
        2
    Yuhyeong  
       Nov 10, 2023
    没了解过,不过在有公网 ip 的情况下,rsync 直接挂载另一台机器也能实现吧?
    robinchina
        3
    robinchina  
       Nov 10, 2023
    我想估计类似 BT 下载吧
    wdssmq
        4
    wdssmq  
       Nov 10, 2023
    应该是查询一遍文件列表和本地的对比。。
    nxuu
        5
    nxuu  
       Nov 10, 2023
    不应该是在本地留一个同步日志么。。。下一次先读日志再进行同步
    bitllion
        6
    bitllion  
       Nov 10, 2023
    有个隐藏的日志文件
    AlynxZhou
        7
    AlynxZhou  
       Nov 10, 2023
    rsync 应该是有关于它的工作逻辑的文章吧,可以看看。然后 syncthing 这种据说是和 BT 下载算法类似?
    BeautifulSoap
        8
    BeautifulSoap  
       Nov 10, 2023
    不用想那么复杂,很多软件同步实际上就是对比文件大小和最后修改时间,复杂点的会给你个是否计算 hash 的选项
    同步的时候遍历双方文件对比下,有变化了就直接覆盖重同步就这么简单粗暴,不管你上次有没有同步过连状态都没有
    gogod112121
        9
    gogod112121  
       Nov 10, 2023
    你搜搜 mysql 的主从原理 大同小异
    gogod112121
        10
    gogod112121  
       Nov 10, 2023
    或者看一下 redis 的设计与实现 “复制” 章节部分也有相关的内容
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1136 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 23:43 · PVG 07:43 · LAX 16:43 · JFK 19:43
    ♥ Do have faith in what you're doing.