V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
yishibakaien
V2EX  ›  问与答

探讨一种低成的本大文件存储和传输方案,目前没辙了

  •  
  •   yishibakaien · 198 天前 · 6978 次点击
    这是一个创建于 198 天前的主题,其中的信息可能已经有所发展或是发生改变。

    场景描述

    • 文件(主要是视频)大小在 2 - 30G 之间,平均大小在 12G 左右一个,目前每天大约有 20 个左右该大小文件被创建,也就是 240G 左右
    • 文件需要被保留至少 30 天,也就是最小存储空间需要 240G * 30 = 7200G ,考虑到冗余需要 10T 左右空间
    • 该文件需要在创建完之后提供给异地下载(批量或并发下载),或者通过某种方式传输给异地(跨省)

    遇到的困难

    • 存储文件成本较高
      • 如果使用 OSS 、COS 等方式,10T 一年存储费需要 ¥ 8700
    • 下载(传输)成本较高
      • 走 CDN 下载(直接 OSS 下载更贵)需要支付两部分费用
        • 回源流量费用(从 CDN 回源到 OSS ),240G/天 * 0.15 元/G * 365 天 = ¥ 13140
        • CDN 流量费用,240G/天 * 0.2 元/G * 365 = ¥ 17520
    • 如果存储在本地
      • QQ wx 等不支持如此大的文件传输,对传输总流量也有限制
      • 家庭带宽上行最多可以到 20M/S 左右,也无法满足文件传输需求(存在多人同时下载),(如果有办法把家庭带宽上行扩大到 100M/S ,勉强可以使用,听说公网 IP 多播可以做到,但是容易封号)
    • 如果采购云服务器提供下载
      • 大带宽成本天价,不考虑

    待解决核心问题

    • 最核心的是如何解决文件传输流量问题,存储在本地成本较低,可以接受!

    特此求助 V 站各位老师,有没有低成本传输如此大批量文件的方案,感激不尽!欢迎讨论!

    93 条回复    2024-01-05 14:33:36 +08:00
    locoz
        1
    locoz  
       198 天前
    你直接开多个家宽套餐,在正经渠道下做负载均衡不就好了,为什么要多播呢
    google2020
        2
    google2020  
       198 天前
    只考虑传输的话,网盘,几十块一个月的会员够了
    PrinceofInj
        3
    PrinceofInj  
       198 天前
    视频文件首先考虑一下编码的问题。不知道你这些文件编码是什么,转成 AV1 可能会有奇效。
    B4a1n
        4
    B4a1n  
       198 天前
    阿里云盘
    loveshuyuan
        5
    loveshuyuan  
       198 天前
    网盘,国外大盘鸡
    yishibakaien
        6
    yishibakaien  
    OP
       198 天前
    @locoz 一个住宅只能签一条宽带入户吧?另外目前视频都是存储在本地一台家用 PC 上(目前一天大约产生 30G 左右文件,家用带宽还撑得住),多开几个账号需要多个身份吗?可能老哥你的方案是可行的!就是操作起来会比较繁琐!
    yishibakaien
        7
    yishibakaien  
    OP
       198 天前
    @google2020 我本地传到网盘的速度不行呀!当天出视频,马上就有人来要下载或者传输的
    PhaSelEza
        8
    PhaSelEza  
       198 天前   ❤️ 2
    考虑过邮寄硬盘的方案吗?
    yishibakaien
        9
    yishibakaien  
    OP
       198 天前
    @PrinceofInj 视频原生是 RMVB ,转码有试过,有点慢,可能我机器 CPU 或显卡 不太行吧,12400 + 2080Ti ,或者我转码的方式不对,需要让 GPU 来转码,我尝试看看
    locoz
        10
    locoz  
       198 天前
    @yishibakaien #6 当然可以签多个,无非就是钱的问题...你又不是明显有问题的那种一次几十上百个弄,20M/s 拉到 100M/s 也就 5 条宽带而已,正常需求。
    yishibakaien
        11
    yishibakaien  
    OP
       198 天前
    @PhaSelEza 讲究时效,要不然不会这难受
    mason961125
        12
    mason961125  
       198 天前 via Android
    老哥做古早 AV 高清修复的吗( bushi
    yishibakaien
        13
    yishibakaien  
    OP
       198 天前
    @locoz 你这个可能是目前最优解了,我明天问问运营商或者宽带二哥
    locoz
        14
    locoz  
       198 天前
    @yishibakaien #6 你可以找运营商客服要求分配个客户经理,让客户经理联系你,然后你直接跟客户经理说明需求就行了,剩下的事情客户经理会帮你搞定的,毕竟人家要赚钱。
    opengps
        15
    opengps  
       198 天前
    oss 联系下高级客户经理,可以支持快递硬盘
    yishibakaien
        16
    yishibakaien  
    OP
       198 天前
    @mason961125 蜀黍直接破门按头 -_-!
    mainjzb
        17
    mainjzb  
       198 天前
    ...上传的能力都不够。。。还嫌网盘你上传不上去。。那没法了啊。只能顺丰了
    *网盘可以满足多人同时下载,你只用上传一份
    *网盘成本够低
    *网盘的上传速度你解决不了,别的网络方案一样需要上传,别谈 cdn 和 oss 了。

    所以你要解决的是上传带宽问题。
    yishibakaien
        18
    yishibakaien  
    OP
       198 天前
    @opengps 我这个体量应该不足以让高级客户经理出马!然后其实就 几百 G ,快递这种方案是不太行的
    Raynard
        19
    Raynard  
       198 天前
    和我们现在做的教育厅的项目需求差不多,

    我们是移动的线路,但都是省内,没你这么远

    我看你们这个成本,找运营商买线路便宜多了,点对点的专线
    yishibakaien
        20
    yishibakaien  
    OP
       198 天前
    @mainjzb 是的,目前核心问题就是传输问题,我最后的 **待解决核心问题** 有提到
    yishibakaien
        21
    yishibakaien  
    OP
       198 天前
    @google2020 能解决上传速度(上行带宽)问题,网盘是个好方案!
    yishibakaien
        22
    yishibakaien  
    OP
       198 天前
    @Raynard 不是点对点的,是点对 N ,下载的用户可能来自任意地方
    Raynard
        23
    Raynard  
       198 天前
    那你这个还一个方案,从生成端 上传 到 idc 机房,用点对点专线。保证速度和时效性。

    到了 idc 之后再走正常下载,不用 cdn 。

    江苏的 idc 价格便宜,和他们谈谈,v2 好像就有,你找找
    just1
        24
    just1  
       198 天前
    不管哪种方案都要从本地出去的,唯一办法就是拉带宽,专线你这点量也不至于

    按照每天 300G ,均匀分布 24 小时的话就是需要 2.7MB/s 的速度,接受 8 小时延迟的话就是 8.1MB/s ,上传增强型家宽就可以够,一年 100T 出头,只是得问问会不会达量限速
    Pteromyini
        25
    Pteromyini  
       198 天前
    你这个全链路瓶颈在上行带宽上,上行带宽问题解决之后其实就是个 nas 的事
    Pteromyini
        26
    Pteromyini  
       198 天前
    另外有一个风险必须考虑:每天 200G+的上行存在宽带被停用的风险,你可以翻一下你的合同,作为服务端是违反家宽使用用途的,运营商如果想整你有理有据
    yishibakaien
        27
    yishibakaien  
    OP
       198 天前 via iPhone
    @just1 有这种上传增强型吗?其实上传到网盘让对方下载这个方案很好,现在苦于带宽问题!
    gamexg
        28
    gamexg  
       198 天前
    bt ?
    除非是邮寄硬盘等方式,
    只要是网络传输,那么都需要最少上传一次,都要加大宽带。

    我看是 1 到 n ,那么 p2p 是比较好的方式。
    设置好做种策略,源只用上传一次
    yishibakaien
        29
    yishibakaien  
    OP
       198 天前 via iPhone
    @Pteromyini 感谢耐心地帮忙分析!目前确实瓶颈就在上行带宽,如果我只是传输文件 或者干脆上传到网盘应该不至于被整吧!这个我明天咨询清楚,谢谢!
    yishibakaien
        30
    yishibakaien  
    OP
       198 天前 via iPhone
    我想到一个方案,能不能直接让产生的视频通过 api 直接写在网盘啊(视频的产生类似监控实时录制的),这样就不经过我本地了,直接起飞,没有烦恼
    yishibakaien
        31
    yishibakaien  
    OP
       198 天前 via iPhone
    @gamexg p2p 没整过,比较陌生,邮寄是万万不可行的
    wu67
        32
    wu67  
       198 天前 via Android
    问问运营商,搞那种大带宽的套餐,记得沟通好/相当于提前报备,然后你整 nas 就行,你正规用途不用怕,直接说就可以啦
    gamexg
        33
    gamexg  
       198 天前
    @yishibakaien bt 或 电驴
    以前网络宽带不高的情况下,1 对 N 分发文件的目的设计的
    yishibakaien
        34
    yishibakaien  
    OP
       198 天前 via iPhone
    @gamexg 嗯,这个不管怎么样都要把我本地的视频传上去才行吧,依然不能解决问题,我本地上行带宽太小了
    yishibakaien
        35
    yishibakaien  
    OP
       198 天前 via iPhone
    @wu67 好,看来还是要咨询运营商,家庭带宽能解决的话那就完美了!
    xtreme1
        36
    xtreme1  
       198 天前
    友情提示: 上海联通家宽, 每日超过 100GB 上行流量, 且月上行流量到达 4000GB 的, 触发局停, 签署不使用 PCDN 或 BT 的承诺书后解封, 第二次触发局停后清退并进入黑名单
    yishibakaien
        37
    yishibakaien  
    OP
       198 天前 via iPhone
    @xtreme1 感谢提醒,看来这里面还有很多坑,运营商是不会轻易让你薅到的
    yufeng0681
        38
    yufeng0681  
       198 天前
    买三个二手安卓手机,支持 5G 的。
    买 5G 的流量卡三张。 具体看你当地哪个运营商连网盘上传速度最快。
    把要上传的视频分别放三个手机的云盘 app 探测目录下,自动上传
    1 、设置云盘 app 只能用移动网络,这样就不会用局域网的 wifi 上传,堵在宽带出口
    2 、三个手机插上电,放在公司不怕被偷
    Actrace
        39
    Actrace  
       198 天前
    钛盘可能比较符合需求,虽然最长只能免费 7 天。
    pxiphx891
        40
    pxiphx891  
       198 天前
    我觉得你这个场景,网盘是最好的。一天 240G ,24 小时上传网盘,一条宽带就够了吧?另外你用 handbrake 编码试试,用上 gpu ,编码成 h265 ,应该能压缩不少体积。
    lsk569937453
        41
    lsk569937453  
       198 天前
    可以换个思路。
    1.一天 20 个文件每天都会有人下载吗?直接用播放器在线播放行不行?需要留存的在下载。
    2.如果是监控视频的话,可以把静态的部分直接处理掉。
    june4
        42
    june4  
       198 天前
    视频是啥用途,压缩还是大有可为的,有可能变成原来的 1/10 大小,多买几个千元小机并行压就行。且 frame rate 要求不高的话把 fps 改低成 16 什么的看上去也不差,但文件小巨多。
    hullhutt
        43
    hullhutt  
       198 天前
    别人要下载,你就必须解决上传问题.
    移动的 100 兆上传千兆宽带一年也就三四百.再加 30/月,上传变 300 兆.
    可以用一些同步工具,goodsync 类似的.
    或者 bt 做种,这种比较好,缓解上传压力
    DT27
        44
    DT27  
       198 天前
    美国的大盘服务器
    Pteromyini
        45
    Pteromyini  
       198 天前
    @yishibakaien #29 能传网盘最好,直接从家里拉数据万一被风控就说不清了,传网盘还有的解释,我自己传网盘属于个人用途,直接分发没法解释
    gogogaga123
        46
    gogogaga123  
       198 天前
    别听他们的 就是卡车拉硬盘 是目前最快的超大数据版搬运传输方式,不信你自己搜 [卡车拉硬盘]
    xqk111
        47
    xqk111  
       198 天前
    NAS ?
    blankmiss
        48
    blankmiss  
       198 天前
    百度网盘(天翼云盘 Alist 直链下载) + 移动宽带(移动宽带 有的套餐上传可以达到 200M ,电信已经锁死 30M 了)
    blankmiss
        49
    blankmiss  
       198 天前
    如上我所述 如果百度云盘你就得充 SVIP 不然容量不够,如果是天翼云盘你就得买 30T 的账号。然后搭建一个 alist 让天翼云盘承担下载, 再一个就是移动宽带,移动的上传带宽很大,天翼云盘 百度云盘这种上传是不限速的
    CaptainD
        50
    CaptainD  
       198 天前
    我们公司有类似需求,买的美西的实体服务器托管,上下行千兆,你需要的配置估计每年一万多人民币吧,不需要担心流量问题,只是延迟会高一点,对于下载文件和远程开发来说问题不大
    forvvvv123
        51
    forvvvv123  
       198 天前
    我之前在某个大厦的电梯里看过运营商的广告,有上行增强型的线路,面向的是政府和企业的宣传需求,比如要搞网络直播宣传之类的;

    所以建议还是联系下本地的运营商客户经理,他们遇到的场景应该比我们多很多;
    LinePro
        52
    LinePro  
       198 天前 via Android
    如果可以公网拉流的话,你可以考虑开个阿里云北京的 ECS 服务器,整个阿里云盘,部署 Alist 挂载阿里云盘并开启内部上传,把视频流拉到服务器本地后用 Alist 上传到阿里云盘。一般 ECS 服务器购买时标注的带宽指的是公网上传带宽,公网下载带宽是 100Mbps 不限速的。开启内部上传后上传走的是阿里云内网,也同样不限速。这样就解决了带宽问题。
    Greatshu
        53
    Greatshu  
       198 天前
    感觉是需要存档的监控录像
    传输可以用 P2P 同步工具,Resilio Sync ,Syncthing ,微力同步之类。宽带可以多开几条分流,三大运营商各一条避免一锅端。
    有公网 IP 或者 ipv6 可以 VPN 组网,让异地自己来下载,千万别公网 IP 搭 web
    网盘可以作为兜底,一来大规模上传下载可能会限速,至少曾今百度 SVIP 干过,我一天下载了 1.3TB ,速度降到 100KB/s ;二来体现不出工作量。
    expy
        54
    expy  
       198 天前   ❤️ 1
    现在什么流程还会用 rmvb ,你直接换成 x264/x265 都能保持清晰度并省很多码率。
    somebody1
        55
    somebody1  
       198 天前
    @yishibakaien #21
    我刚刚测试了阿里云盘,上传大概是每秒 10-15M ,不过我是在公司测试的,公司是家用的宽带,但是上传更大一点。我没开会员

    网盘是最优解,12G 一个文件,上传到网盘大概是 20 分钟左右,也就是之后 20 分钟后,就可以提供网盘的链接供客户下载了。

    费用只有网盘的费用和家用宽带的费用,宽带上传要足够才行。
    adoal
        56
    adoal  
       198 天前
    如果你有这么大的数据量,但给你带来的收益让你连一年不到 5 万的都觉得存储+下载费用都觉得太高,那是不是要考虑一下这个业务的价值,换个赛道了?
    niubee1
        57
    niubee1  
       198 天前
    按你这个需求 你是要做影视剧分享?
    ETiV
        58
    ETiV  
       198 天前 via iPhone
    换编码器+1 ,使用更高效的编码器可以在保持画面质量的同时降低码率,显著减小视频文件体积。

    ( rmvb 感觉都是上个世纪的东西了…)

    我娃幼儿园的直播视频,一天 10 个小时,2GB

    不如你说说自己的业务场景,说不定当个 UP 主,可以直播推流到斗鱼什么的,然后开启直播回放功能…
    你只需要有上传带宽就行了,视频文件的存储和点播都靠直播网站帮你做了…
    shimanooo
        59
    shimanooo  
       198 天前
    根据这个网站的测试, https://rigaya.github.io/vq_results/

    Intel A 系列显卡 HEVC 硬编码质量最好. 其次是 12 代酷睿核显.

    (软压肯定不用看了. AV1 硬编码目前也没 HEVC 好)
    zjsxwc
        60
    zjsxwc  
       198 天前
    300 元包年开通百度云盘一个会员有 5T 空间,
    楼主要 10T 就开通 2 个百度云盘会员。

    github 扒个使用百度云盘的接口 sdk 集成到你客户端,

    搞定
    Eagleyes
        61
    Eagleyes  
       198 天前
    巨量数据异地传输,请快递硬盘

    一辆满载硬盘的卡车的带宽,是任何光纤都无法比拟的。
    JuSH
        62
    JuSH  
       198 天前
    试试联通、电信的政企服务,比如联通云宽带 https://gec.10010.com/jl/product/1001009
    可以定制宽带服务
    icyalala
        63
    icyalala  
       198 天前
    等一下。。RMVB ?这么老的编码,是怎么生成的?
    Huelse
        64
    Huelse  
       198 天前
    压缩分包处理,比如每个包 256M ,写个工具分批上传到多个云盘或 OSS (最好是支持接口的)并生成记录文件,后续根据记录文件下载或继续分发。
    tuotu
        65
    tuotu  
       198 天前
    @yishibakaien #6 一户可以多条宽带的
    wyx119911
        66
    wyx119911  
       198 天前
    @yishibakaien #30 用对象存储是可以的,对象存储都支持流式上传。但像百度网盘是不支持流式上传的。
    如果用云厂商的对象存储,可以同时采购他们的 CDN 服务,同一个厂商的 CDN 到对象存储是走的内网(例如腾讯云的 cos + cdn 方案,免回源流量费。
    这样只需要接入流式上传 api 就可以了,方案简单可靠,也省去了你本地拉宽带的费用和 cdn 回源费用。
    kulous
        67
    kulous  
       198 天前
    移动宽带还送网盘,4T
    byte10
        68
    byte10  
       198 天前
    本地上传网盘慢?那你上传到 OSS 、COS 不也一样慢吗? 不管是什么方案都是要本地上传宽带快才行的。

    拉几条宽带分包后上传吧,最优解了。用天翼网盘 可以拉满速度的,10T 的账号 才 250 元,再开个会员完事。
    alfawei
        69
    alfawei  
       198 天前
    直接办理直播宽带,大上传的
    JavaGym
        70
    JavaGym  
       198 天前
    https://wormhole.app/ 这个就能解决了 最大支持 10G 文件传输即使文件流 可以设置分享条件 实现阅后即焚的效果 没有上传完对方也能通过分享链接下载
    c2const
        71
    c2const  
       198 天前
    量还不够大,不然邮寄硬盘就行了 :)
    lakehylia
        72
    lakehylia  
       197 天前
    网盘+运营商上传套餐
    InDom
        73
    InDom  
       197 天前
    🤔 一天创建 24G 数据,如果是多个用户都要下载,是不是 P2P 方案更好?

    普通家宽一天 100G 上传还是能做到的。
    Kinnice
        74
    Kinnice  
       197 天前
    你需要的只是来个猛的 GPU 转码
    guazao
        75
    guazao  
       197 天前
    打电话口述二进制
    wolfan
        76
    wolfan  
       197 天前
    你这个是监控视频吧,为什么要自己麻烦。
    如果不涉及保密需求,你找找当地(国内)的网络服务商(电信、联通、移动、广电),他们是有网络监控服务的,多头好像只是安装价加设备费。

    缺点就是只能使用他们提供的设备,如果你已有设备就麻烦点。
    cover
        77
    cover  
       197 天前
    热数据(网盘未上传完部分)走宽带或者 OSS +CDN ,冷备部分( 7 天)走网盘,混合模式走一波,应该能节省不少成本
    hefish
        78
    hefish  
       197 天前
    我觉着传输问题。。。还是买几个 U 盘或者 ssd 快递过去吧。也许更快些。
    maizero
        79
    maizero  
       197 天前
    1 、没讲清楚数据多地同步的时效需求,如果是 T+1 ,那么总容量/时效=时效内上行带宽需求,评估下就可以知道 30M 家庭上行是否可以满足,如果不行,100M 的直播宽带是否可以满足?(电信 599 一个月,之前 299 );
    2 、30 天的存量不超过 20T 的话,TO C 的阿里云盘都可以解决了,可以解决多点分发的下载需求;

    总体思路是数据源》分发源的带宽 是否满足指定容量同步时效需求;
    分发源的下行带宽,是白嫖 TO C 服务,还是选择商业化——取决于多端分发对端下行的带宽和时效需求;

    核心问题解决了,其他无非方案选择罢了。
    Leonkennedy2
        80
    Leonkennedy2  
       197 天前
    楼主没想到过开个百度网盘的会员吗?一个上传,几个下载,多开几个会员。一个会员一年也就二百左右吧。
    maizero
        81
    maizero  
       197 天前
    我毛估估了下 每天 240G 也就是一个小时 10 个 G 要上传 家宽 30M 的上行应该是满足不了的
    理论需求大概是打满 22.75M/s ,你得有 50M 以上的上行
    maizero
        82
    maizero  
       197 天前
    如果你拉不到便宜的 100M 直播宽带,商宽太贵,有个不违规的办法就是同一个地址拉二宽。
    电信 199 以上的融合宽带可以 30 一个月拉二宽,下行 300M (上行 30M )
    找师傅在楼道的光纤做分光——如果你入户是光纤入户的话,那么同一个地址安装 2 个家宽问题不大
    然后在你家里一个光纤做分光
    那么你有 2 条宽带 1000M 30M 上行,300M 30M 上行
    不需要多拨的情况下,2 个 wan ,也不用聚合,分配给 2 个客户端,2 个账号往网盘写入
    240G 24 小时内上传完毕 完全没问题
    mxT52CRuqR6o5
        83
    mxT52CRuqR6o5  
       197 天前
    花钱给宽带加上传不就好了,然后用网盘
    penissponge
        84
    penissponge  
       197 天前
    Resilio Sync
    Admstor
        85
    Admstor  
       197 天前
    奇怪别扭的解决方案必然来自奇怪的需求

    你还是说说到底为什么需要这种操作吧

    如果是某楼提到你是可能做视频修复,修复好的视频传输给客户
    那么网盘其实才是最好的

    另外 240G 这个体积都能装 10 部 4K 电影了,你编码是不是考虑更换为更高效的编码,按你的配置完全不是问题啊
    cailiang
        86
    cailiang  
       197 天前
    我可以让你使用云的成本大幅下降,想了解一下的话可以加我 v: d2R3eHpoMDgwOQo=
    kangxt
        87
    kangxt  
       197 天前
    不晓得 steam 这个方案可行吗
    tom8
        88
    tom8  
       197 天前
    nekoneko
        89
    nekoneko  
       197 天前
    1 对 N 的话
    无论如何, 上传是你绕不过去的槛.
    PT+订阅, 能有效减少自己主机的上传量
    SenLief
        90
    SenLief  
       197 天前
    你需要的是上传,无论哪一种方案你都是要上传,所以很简单,你直接问宽带那边上传多少钱就完事了。分发可以用网盘。
    jonty
        91
    jonty  
       197 天前
    存储不知道,但是低成本大容量传输的话是卡车/飞机 物理运
    b2504420230
        92
    b2504420230  
       197 天前
    不是,我算了一下。你这对上传带宽要求也不高啊。同时异地备份呗,就是数据同时在两个设备上同时存储。算了一下,一小时 10G ,差不多上传带宽 30Mbps 就够了啊,正常家宽就够了。然后走 ipv6 公网,不是妥妥的吗。
    whp1473
        93
    whp1473  
       197 天前
    本地弄个 8T 硬盘存储好,然后做个任务不断同步至备份盘,1 个主写入,其他做备份盘,谁需要下载时 1000 块钱顺丰邮寄过去,1 天就到了。8T 下载速度 2M 要一个月,但是顺丰只要 1 天。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2621 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 08:51 · PVG 16:51 · LAX 01:51 · JFK 04:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.