V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hzw94
V2EX  ›  程序员

自建文件服务器,有什么推荐?主要用于 Tomcat 集群的文件管理问题。

  •  
  •   hzw94 · 2020-07-04 15:29:44 +08:00 · 3129 次点击
    这是一个创建于 1604 天前的主题,其中的信息可能已经有所发展或是发生改变。

    以下这几个如何? HDFS(Google)、FastDFS 、MinIO (自建 oss )

    19 条回复    2020-07-05 21:29:48 +08:00
    daimaosix
        1
    daimaosix  
       2020-07-04 15:37:22 +08:00
    MinIO,非常方便
    hzw94
        2
    hzw94  
    OP
       2020-07-04 15:45:36 +08:00
    @daimaosix 大佬,听说自建 oss 运维复杂,你们是怎么处理的?
    daimaosix
        3
    daimaosix  
       2020-07-04 15:57:17 +08:00
    @hzw94 MinIO 用 Go 写的,直接运行就行了,基本不用管。。。这个也基本不用运维的。
    daimaosix
        4
    daimaosix  
       2020-07-04 15:59:10 +08:00
    @hzw94 而且高度兼容 S3 的接口,还有简单的控制台,做文件管理挺合适的,你前面说的那两个才麻烦的
    hzw94
        5
    hzw94  
    OP
       2020-07-04 16:41:37 +08:00
    @daimaosix 学到了!!!感谢
    jwenjian
        6
    jwenjian  
       2020-07-04 16:46:39 +08:00
    FastDFS 运维反正是不简单
    salmon5
        7
    salmon5  
       2020-07-04 17:17:47 +08:00 via Android
    @daimaosix 你这就有点误导了,100TB 的运行下就行了吗?
    daimaosix
        8
    daimaosix  
       2020-07-04 17:38:25 +08:00   ❤️ 2
    @salmon5 你说我误导了,那你说呗,你留一句这话想表达什么?只是说我误导了?然而你仍然没有给出 100TB 的解决办法不是,楼主也没说多大的量,你怪得着我吗?
    defunct9
        9
    defunct9  
       2020-07-04 19:31:53 +08:00 via iPhone
    GFS2 副本 mirror 。服务器多的话就 ceph
    defunct9
        10
    defunct9  
       2020-07-04 19:34:16 +08:00 via iPhone
    fastdfs 过时了,minio 非常小巧。不知道大数据量会不会崩
    hzw94
        11
    hzw94  
    OP
       2020-07-04 20:38:37 +08:00
    @jwenjian 多谢
    @defunct9 GFS2 有点强,可以集群。我暂时用不到集群,主要还是简便易用的单机文件管理。
    @salmon5 @daimaosix 体量应该是不会到 100TB 那么高,小项目而已。
    XenoAmess
        12
    XenoAmess  
       2020-07-05 00:21:32 +08:00
    你有多少台机子啊上 HDFS 。。。
    你那边真的有这么大的需求吗
    总觉得 不太至于吧。。。。
    xabc
        13
    xabc  
       2020-07-05 08:47:54 +08:00 via iPhone
    filelist.cn git 搜吧
    hzw94
        14
    hzw94  
    OP
       2020-07-05 10:07:10 +08:00
    @XenoAmess 小项目,最多 3 台 Tomcat 服务器。我也是在了解中。
    @xabc 感谢,我去看看
    dadaoqueyi
        15
    dadaoqueyi  
       2020-07-05 11:08:05 +08:00
    我这边用的是 MongoDB,大文件用 Mongodb 的 gridfs,一般项目够用。
    XenoAmess
        16
    XenoAmess  
       2020-07-05 12:20:29 +08:00
    @hzw94 3 台?那 不太建议上 hdfs
    fox0001
        17
    fox0001  
       2020-07-05 13:18:08 +08:00 via Android
    sftp + rsync ?
    hzw94
        18
    hzw94  
    OP
       2020-07-05 21:27:29 +08:00
    @dadaoqueyi 我当初也考虑过,但是一想到 mongodb 的内存占用问题,就先放下了
    hzw94
        19
    hzw94  
    OP
       2020-07-05 21:29:48 +08:00
    @fox0001 这种不适合项目开放吧。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2481 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 00:27 · PVG 08:27 · LAX 16:27 · JFK 19:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.