这是一个创建于 2413 天前的主题，其中的信息可能已经有所发展或是发生改变。
当前跟小伙伴一起用的解决方案是 minio, 但是在遇到需要批量读取数据的时候 minio 单点跟不上了.
而且让 Spark 来读写会非常的绕.
后来搭建了 HDFS, 对 Spark 来说很开心了, 但是对普通的文件存储于分享又成了问题.
Google 到有 HttpFS, 但是看起来并不支持 WebUI 操作?
我觉得是我刚接触, 孤陋寡闻, 应该有相关的开源项目吧? 小团队真心不想搞两套存储系统...
而且让 Spark 来读写会非常的绕.
后来搭建了 HDFS, 对 Spark 来说很开心了, 但是对普通的文件存储于分享又成了问题.
Google 到有 HttpFS, 但是看起来并不支持 WebUI 操作?
我觉得是我刚接触, 孤陋寡闻, 应该有相关的开源项目吧? 小团队真心不想搞两套存储系统...
第 1 条附言 · 2018-05-20 17:52:22 +08:00
可能没表达清楚需求.
除了 HDFS 的基础功能, 还想方便平时简单的使用场景, 比如:
1. 在 WebUI 上面能手动的上传\下载一个文件
2. 类似各种常见的云存储方案那样, 区分不同的 bucket
3. 最好还能有简单的搜索功能
有以上功能, 就可以满足我们绝大部分使用需求了
除了 HDFS 的基础功能, 还想方便平时简单的使用场景, 比如:
1. 在 WebUI 上面能手动的上传\下载一个文件
2. 类似各种常见的云存储方案那样, 区分不同的 bucket
3. 最好还能有简单的搜索功能
有以上功能, 就可以满足我们绝大部分使用需求了
 |
1
xhinliang 2018-05-20 09:49:08 +08:00
我也想知道
|
 |
2
liprais 2018-05-20 10:05:09 +08:00
没看懂你到底想干啥
webHDFS 了解一下 |
 |
3
ipwx 2018-05-20 12:25:13 +08:00 via iPhone
小机群可以考虑 moosefs 这类 posix 文件系统
|
 |
4
zn 2018-05-20 13:04:58 +08:00 via iPhone
HDFS，网盘？？
What the f**k? |
 |
5
lockelee 2018-05-20 18:33:53 +08:00 via iPhone
所以 七牛云 阿里云 oss 了解一下
|
 |
6
RangerWolf OP @lockelee 还是得自建小型数据中心做计算啊
|
Select Language