V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
RangerWolf
V2EX  ›  奇思妙想

一个使用 OSS 作为大文件中转的想法

  •  
  •   RangerWolf · 2018-07-06 09:41:30 +08:00 · 3342 次点击
    这是一个创建于 2367 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这个想法比较简单, 要是已经有人实现了还请轻喷

    想法背景

    1. 我厂在下载一些外网资源特别是国外一些公开数据的时候, 下载速度非常慢.
    2. 我们有腾讯云或者阿里云的服务器, 他们线路非常好, 下载很快. 但是奈何出口带宽很小(1~2M)
    3. 可以解决 OSS, 在 VPS 下载之后上传到 OSS, 从 OSS 来下载资源

    好处

    1. 应该能极大的加速下载速度
    2. 成本可控, 特别是阿里云的 OSS, 在半夜下载流量费用更低

    麻烦的地方

    1. 如果想要通用的话, 兼容不同的文件下载资源还是挺烦的, 比如七牛\阿里云\腾讯云
    2. 兼容各种下载要求, 比如有的不需要认证, 有的只是简单的 username + password, 而有的还需要登录(cookie).

    搜了一会没找到相关开源项目, 要是哪位知道还请告诉一下 :D

    7 条回复    2018-07-07 22:21:17 +08:00
    odirus
        1
    odirus  
       2018-07-06 09:43:39 +08:00
    不知道现在 mega 怎么样了,我去年用这个网盘把国外资源转移到国内的时候,速度杠杠的。可以尝试一下。
    f2f2f
        2
    f2f2f  
       2018-07-06 09:44:11 +08:00
    我厂在下载一些外网资源特别是国外一些公开数据的时候, 下载速度非常慢.
    换 cn2,此问题解决
    duola
        3
    duola  
       2018-07-06 09:46:52 +08:00   ❤️ 1
    把 oss 挂载在 VPS 上面不就行了吗?有什么好折腾的。
    ryd994
        4
    ryd994  
       2018-07-06 11:26:21 +08:00 via Android
    VPS 按流量计费,我记得流量价格和 OSS 一样
    RangerWolf
        5
    RangerWolf  
    OP
       2018-07-06 13:07:33 +08:00
    @ryd994 我刚特意用计算器看了一下, 应该还是不太一样.
    dorothyREN
        6
    dorothyREN  
       2018-07-06 14:15:24 +08:00
    世界加钱可及
    artandlol
        7
    artandlol  
       2018-07-07 22:21:17 +08:00 via iPhone
    赞同,搭分布 CDH 和容器编排 K8S 各种折腾,因为都需要弄虚拟网卡,只能在路由层面代理,但别人机房的路由又不能让我们弄,只能一个个下慢慢搬,很多大企业都帮忙中转后面都搞成自己局域网,还是得自己搬
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2784 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 06:43 · PVG 14:43 · LAX 22:43 · JFK 01:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.