V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
CatSan
V2EX  ›  问与答

有什么办法可以实现大文件传输.

  •  1
     
  •   CatSan · 2018-07-14 13:40:27 +08:00 · 8342 次点击
    这是一个创建于 2085 天前的主题,其中的信息可能已经有所发展或是发生改变。

    是这样的我们有个影视团队 是远程团队 每次素材拍摄完 要上传到网盘 对面在下载制作发布 但是目前有个很大的问题就是 素材的上传与下载浪费时间太多了 一般素材都是以 T 来计量的 最小也得有 400 多 G 所以这样很浪费时间

    之前问过 NAS 但是 NAS 上传可以解决掉 远程下载需要本地的上传速率达标 才能下载的快些 以国内的网络情况来说 上传速率都是被限制的

    各位有什么其他好的方法 可以提高工作效率吗?

    第 1 条附言  ·  2018-07-14 14:29:16 +08:00
    忘记说距离了

    拍摄团队在英国、日本、加拿大、缅甸

    制作团队在国内
    72 条回复    2024-02-07 09:27:58 +08:00
    CatSan
        1
    CatSan  
    OP
       2018-07-14 13:44:02 +08:00
    或者有什么样的软件可以远程控制电脑?加密的 点对点的最好
    catror
        2
    catror  
       2018-07-14 14:19:32 +08:00 via Android
    远程是多远?都在国内大城市的话,快递走空运吧
    CatSan
        3
    CatSan  
    OP
       2018-07-14 14:20:20 +08:00
    @catror 拍摄团队在英国 制作团队在中国
    xiaozecn
        4
    xiaozecn  
       2018-07-14 14:21:36 +08:00 via Android
    BT 是个很好的方法
    CatSan
        5
    CatSan  
    OP
       2018-07-14 14:22:07 +08:00
    @xiaozecn 不现实小了还行 大了 3T 的文件啊
    catror
        6
    catror  
       2018-07-14 14:23:23 +08:00 via Android
    @CatSan 远程控制软件的话,可以用 teamviewer,但是操作肯定不如本地,而且有图像质量损失。
    Backlitz
        7
    Backlitz  
       2018-07-14 14:24:44 +08:00 via Android   ❤️ 1
    @CatSan 3TB 对于 BT 来说不一定会很困难,拍摄团队打包做种后弄几台欧洲盒子分下流,到国内速度还是可以的。
    Tink
        8
    Tink  
       2018-07-14 14:25:04 +08:00 via iPhone
    资源提供方的上行永远都是硬性的条件,这个突破不了不管什么软件都没法
    luob
        9
    luob  
       2018-07-14 14:25:46 +08:00
    试试古老的。。。FTP ?
    yao990
        10
    yao990  
       2018-07-14 14:26:23 +08:00 via Android   ❤️ 1
    推荐 verysync,经过我这几天的实践,发现效果相当不错。
    alvin666
        11
    alvin666  
       2018-07-14 14:26:40 +08:00 via Android
    @luob 协议不是问题吧,问题是 isp 的选择
    STRRL
        12
    STRRL  
       2018-07-14 14:26:58 +08:00 via Android
    去拉专线或者空运
    CatSan
        13
    CatSan  
    OP
       2018-07-14 14:29:36 +08:00   ❤️ 1
    @STRRL 国外到国内
    CatSan
        14
    CatSan  
    OP
       2018-07-14 14:29:55 +08:00
    @yao990 微力同步?
    mv0x
        15
    mv0x  
       2018-07-14 14:33:11 +08:00
    你可以用阿里云的 oss 之类的试一下,google 的云存储之类的,他们内部有优化。
    yao990
        16
    yao990  
       2018-07-14 14:33:51 +08:00 via Android
    @CatSan 是的,我这几天一直在用,很好用,只要网够好,可以一直保持满速
    CatSan
        17
    CatSan  
    OP
       2018-07-14 14:34:29 +08:00
    @mv0x 谷歌的云储存不现实 文件太大 挂着科技下载那流量也受不了啊
    vazo
        18
    vazo  
       2018-07-14 14:42:47 +08:00
    用钱能解决的问题都不是问题
    vazo
        19
    vazo  
       2018-07-14 14:47:16 +08:00
    补充下,你的问题在于上传下载的网速。
    caola
        20
    caola  
       2018-07-14 15:11:50 +08:00
    @CatSan 如果有外网 IP 建议直接用 linux 自带的 rsync , 一条命令的事情。当然也可以使用 BitTorrent Sync 来同步
    kslr
        21
    kslr  
       2018-07-14 15:18:41 +08:00   ❤️ 1
    这个距离是实在是太远了,我觉得没有比航班更快了。
    另外我也很好奇一般这种情况像 CCTV BBC 该怎么做
    WindSays
        22
    WindSays  
       2018-07-14 15:24:09 +08:00
    @kslr 他们租用卫星嘛我想问?也许就是租用卫星。美剧里不是说卫星的速度超快嘛。
    kslr
        23
    kslr  
       2018-07-14 15:25:28 +08:00
    @WindSays #22 那首先是你要足够好的地面站吧
    CatSan
        24
    CatSan  
    OP
       2018-07-14 15:40:49 +08:00
    @kslr 我所知道的一些 BBC 他们是有专门的剪辑工作车的 可以实时传输的
    alvin666
        25
    alvin666  
       2018-07-14 15:57:41 +08:00 via Android
    @CatSan 那种一般是卫星,太贵了,我觉得 bt 的方法靠谱,七楼说的就可以,查一下国内到比如说英国的光纤,在每个沿途节点多买几台 seedbox,应该会很快,跑起来千兆应该能跑满
    yosolin
        26
    yosolin  
       2018-07-14 16:02:47 +08:00 via iPhone
    用的是家庭宽带?家庭宽带上行速度一般就 2M,硬限制了,软件没法突破了。去办理个企业宽带吧,或者借用别人的
    yosolin
        27
    yosolin  
       2018-07-14 16:04:21 +08:00 via iPhone
    或用专线
    jq8778
        28
    jq8778  
       2018-07-14 16:21:37 +08:00 via iPhone
    硬件拷贝,国际快递。最快那种空运。
    SuperMild
        29
    SuperMild  
       2018-07-14 16:28:14 +08:00   ❤️ 1
    压缩小样片看内容,剪几个未压缩片段看画质,最后确认阶段用快递发硬盘。
    20has
        30
    20has  
       2018-07-14 16:35:41 +08:00 via Android
    这种情况明显是 快递比网传好
    msg7086
        31
    msg7086  
       2018-07-14 17:34:22 +08:00
    之前在纽约往中国寄了个顺丰快递,很便宜,像是硬盘这种小巧轻便的设备,三四十刀之内就能搞定(不确定,但是应该更便宜而不是更贵),空运时效也还可以。

    纯粹用网速来解决不一定是个便宜的方案,考虑到你需要为世界各地的团队都配上高速网络套餐,还要考虑跨国时候的专线带宽,价格涨得飞快的。
    dko
        32
    dko  
       2018-07-14 17:38:00 +08:00
    副导演选好镜头,跟团队的把镜头号对上传过去,如果素材不行就单独再补,全部的素材等最终版的时候再做汇总就好了。

    (楼上的建议是很不错,但是完全不了解影视。。。)
    ksyson
        33
    ksyson  
       2018-07-14 17:46:30 +08:00 via Android   ❤️ 1
    镭速云,之前看到的。
    https://www.raysync.cn
    ETiV
        34
    ETiV  
       2018-07-14 17:57:46 +08:00 via iPhone
    联系联系 aws、gcp 的商务,看看能不能把数据通过硬盘,带到他们机房,完成上传。

    国内优先通过机房的网络拉回来( upyun 有那种异步下载远程文件的接口),然后再从国内下载
    1423
        35
    1423  
       2018-07-14 18:23:06 +08:00
    题目没看懂
    之前是“上传到网盘”,具体是哪个网盘?上传速度多少?可以讲一下么
    “ NAS 上传可以解决掉” 为什么? NAS 上传就快了么?
    zwy100e72
        36
    zwy100e72  
       2018-07-14 18:55:32 +08:00   ❤️ 1
    如果我来搭建这套方案,我选择 BitTorrent Sync

    1. 欧洲机房买一个 VPS,国内机房买一个 VPS ;假设制作团队和拍摄团队都有本地服务器用于文件共享。
    2. 拍摄团队先把所有素材放到本地服务器上,通过 BitTorrent Sync 持续不断的上传;
    3. VPS 节点可以一边同步一边上传给国内本地服务器;当所有数据都完整的传输过一次时,国内服务器也就同步完了。

    当然最终还是受到拍摄团队的上行带宽限制,10MB/s 一整天也只能传输 864GB。
    因此需要预先统计好每天产生的素材体积大小,折算成带宽才行。
    xwyam
        37
    xwyam  
       2018-07-14 19:00:03 +08:00 via Android
    之前好像看到过一个资料显示,目前超大量数据传输最快的应该就是大卡车拉着满车硬盘了~( ̄▽ ̄~)
    ryd994
        38
    ryd994  
       2018-07-14 19:55:03 +08:00 via Android
    永远不要低估一卡车硬盘在高速公路上飞驰的带宽
    F2Sky
        39
    F2Sky  
       2018-07-14 20:42:21 +08:00
    1、寻求技术途径解决;(瓶颈在网络带宽)
    2、寻求非技术途径解决;(例如上面提到的影视制作方法、流程之类的)
    这种情况可能非技术途径的效果更明显。
    Totato5749
        40
    Totato5749  
       2018-07-14 20:59:49 +08:00
    @ryd994 磁带 23333
    daigouspy
        41
    daigouspy  
       2018-07-14 21:02:47 +08:00 via Android
    去本地的网吧上传到 Google 啊!
    mogging
        42
    mogging  
       2018-07-14 21:08:31 +08:00 via Android
    硬盘快递最廉价,aws 都出货车了
    limbo0
        43
    limbo0  
       2018-07-14 21:48:05 +08:00 via Android
    谷歌的解决办法就是快递
    Kagari
        44
    Kagari  
       2018-07-14 22:10:53 +08:00 via Android
    搬到深圳,然后每天从香港带装了前一天数据的硬盘过来
    ladypxy
        46
    ladypxy  
       2018-07-14 22:19:49 +08:00
    最简单的办法是 Windows AD 的 DFS
    直接把文件用 winrar 拆成 100M 一个小包,然后 DFS 同步即可。效率很高还不出错
    ZE3kr
        47
    ZE3kr  
       2018-07-14 22:19:51 +08:00 via iPhone
    空运如果有直达航班并且海关顺利,较贵的 UPS、DHL 选项应该能 1-3 天到货。运费由选择的时效、距离和重量决定,大概 300-800。

    如果 >10T 考虑一下空运
    formose
        48
    formose  
       2018-07-14 22:23:03 +08:00
    国内制作团队远程办公,楼上的 teamviewer 不错,就是不知道用起制作软件来会不会甩得难看~
    GoPython
        49
    GoPython  
       2018-07-14 22:24:17 +08:00
    我记得,国内电信的上行好像是可以申请提速的(记得当年我们学校租的电信,带宽出口上行下行速度一致)。

    邮寄硬盘最快也得两三天的话。如果每次都是 2-3T 这样的量的话,其实可以把带宽拉大点。前几天都有帖子说光纤速度提速到 300M 了。可以去申请下把带宽上行提速,至少,交钱应该是可以的,然后晚上下载,带宽基本跑满的话,不用几个小时就可以了。快递也会有损坏,丢失的可能。

    如果都是超过了 10 几 T 的话,可能还是快递硬盘快点了。
    20015jjw
        50
    20015jjw  
       2018-07-14 23:21:31 +08:00 via Android
    我觉得 Google drive ez..
    429463267
        51
    429463267  
       2018-07-14 23:37:20 +08:00
    我在上传一个 20G Mysql 数据库备份的 sql 脚本文件到谷歌云数据库的过程中也放弃了,因为我的宽带根本不可能满足上传 20G 的文件(上传速度 50KB/s ),所以还有更好的办法吗?
    ![]( http://p7fcrq2e4.bkt.clouddn.com/201818142336-20180714_233640.png)
    429463267
        52
    429463267  
       2018-07-14 23:48:40 +08:00
    @ksyson

    官方给的激活码无效
    wangfei324017
        53
    wangfei324017  
       2018-07-15 00:02:10 +08:00
    微软 onedrive 呢?
    xiaozecn
        54
    xiaozecn  
       2018-07-15 00:26:05 +08:00 via Android
    我觉得除了快递。可以这么试试:按照之前 BT 的方法。两边都用 NAS,利用两边空闲的时差来传文件。无法解决上传带宽的问题的话,可以试试用两条以上民用宽带做种啊,是不是。
    yanqing07
        55
    yanqing07  
       2018-07-15 01:02:29 +08:00
    算算 400T/10Mb 上传,然后下载 400T/100Mb 两个时间总和。如果比快递慢就直接快递好了
    qwlhappy
        56
    qwlhappy  
       2018-07-15 01:06:10 +08:00
    有句话怎么说的来着
    永远也不要低估一辆满载硬盘的货车的带宽
    daigouspy
        57
    daigouspy  
       2018-07-15 06:10:02 +08:00 via Android
    @429463267 你就不会拿到附近的网吧上传吗?
    Vneix
        58
    Vneix  
       2018-07-15 08:15:56 +08:00
    分卷压缩,上传后比对一下 MD5
    几台十几台电脑一起上传
    LoliconInside
        59
    LoliconInside  
       2018-07-15 09:28:04 +08:00
    rsync 算法可以做到只传输变化的部分
    lihongjie0209
        60
    lihongjie0209  
       2018-07-15 10:57:48 +08:00
    @mv0x #15 你算过 oss 的流量费吗
    Kirscheis
        61
    Kirscheis  
       2018-07-15 10:58:24 +08:00
    磁带空运,之前都是这么处理从国外过来的监控数据集的。平均一天传几十 TB 绰绰有余。租磁带机和买磁带也不贵

    靠网络的话,就算你一路打通万兆网,10 Gbps 每天极限也就 80TB
    abmin521
        62
    abmin521  
       2018-07-15 17:21:18 +08:00 via Android
    典型的 x y 问题 倒不如改善 rdp 的网络质量 开个网络加速之类的

    问题是素材只有一份,说 bt 的真的能改善多少吗?限制始终是带宽

    当然大文件传输也可能是未来会遇到的问题,那时候应该会诞生更好的压缩算法,更强的 cpu,更大的带宽
    CatSan
        63
    CatSan  
    OP
       2018-07-16 09:11:33 +08:00
    @vazo
    @caola
    @abmin521
    @Kirscheis
    @LoliconInside
    @Vneix
    @yanqing07
    @429463267
    @GoPython
    @zwy100e72
    @GoPython
    @msg7086
    感谢各位的热情回答 目前我们团队的解决方案是发顺丰国际快递 邮递硬盘 每次寄件之前攒三部片子的压缩素材 一共 50T 用 5 块 10T 机械硬盘带回来 之后我们在邮寄回去 目前邮寄成本控制在了 150USD 左右 暂时先这样解决吧

    至于为什么不优先考虑快递邮寄 是因为数据过大 硬盘在邮寄路上会有损坏 如果损坏一块 那损失就大了
    429463267
        64
    429463267  
       2018-07-16 09:30:23 +08:00
    @CatSan

    5 块硬盘可以组 raid5 来保证数据的安全性,不过本穷逼没有这么多的硬盘实测过
    CatSan
        65
    CatSan  
    OP
       2018-07-16 09:33:35 +08:00
    @429463267 我们这里有阵列 到时候直接插上就行了
    dreamage
        66
    dreamage  
       2018-07-16 10:30:42 +08:00
    看下格物资讯之前发的视频 他们使用二级运营商 内网跑满带宽
    dreamage
        67
    dreamage  
       2018-07-16 10:31:19 +08:00
    呃 刚看到追加 :(
    msg7086
        68
    msg7086  
       2018-07-16 23:59:44 +08:00
    正常打包硬盘,包装合理的话,硬盘应该不会那么轻易损坏的。
    LoliconInside
        69
    LoliconInside  
       2018-07-17 12:30:20 +08:00
    @CatSan 如果能接受成本增加的话,多弄点盘组 RAID50,连 RAID 卡一起打包发过来,坏个一两块盘不要紧。
    dif
        70
    dif  
       2018-07-17 18:11:09 +08:00
    Google 就能解决,无限空间不够用么?既然都拍电影啥的了,还缺个 FQ 的机器么?
    qanniu
        71
    qanniu  
       2018-08-29 18:46:44 +08:00 via Android
    woc
        72
    woc  
       51 天前
    可以试试 woc.space ,刚上线,服务在海外,但国内国外访问都很快
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5784 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 06:22 · PVG 14:22 · LAX 23:22 · JFK 02:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.