海外如何自建 S3？

[chanlk]

公司的业务需要大量使用对象存储，目前在 AWS 的账单已经超过了 EC2 和流量了。

如果自建 S3 ，需要做哪些准备？(数据必须在美国)

我们公司的运维能力比较弱(我是开发)，没有相关人员驻扎在美国，需要尽可能小的降低运维成本。

目前了解到的软件是用 Minio ，其他硬件、机房、宽带等系列问题不太清楚要怎么弄。

PS: AWS 是真贵啊！

我看了这个博文才想到自建的 https://vonng.com/cn/blog/cloud/s3/
文章提到：自建的成本是 aws 服务商的 0.5 ~ 1 折。

这个文章没提到关键的硬件、机房等部分，可能他们已经有成熟的机房了吧，而且也是国内的。

看来还是不适用我的场景(量还是不够吧, 百级 PB 以上才合适？)
更换费用更低的服务商也许是比较靠谱的选择。

[qishua]

没看明白你的具体需求，是 s3 的费用很贵，还是说你们没用 s3 ，在 aws 上买的 ec2 ，然后自建 minio ，然后访问

[qishua]

要是只想换对象存储的话，推荐换阿里云 or 腾讯云的对象存储，费用差不多比 aws 便宜一半左右

[chanlk]

@qishua #1 用了 s3 ，但还是贵的，我们数据太多了，PB 级的

[aru]

先确定下你们的规模和现在的费用吧

可以换其他家的 s3 服务，可以便宜很多
https://www.backblaze.com/cloud-storage/pricing

自建你得先找个懂的人聊聊，然后招一个全职运维

[chanlk]

@qishua #2 已经有一部分迁移到甲骨文的云上，但还是贵，所以考虑自建了。

[qishua]

完全自建的话，则需要找下国内的供应商，租对应地域的 idc 服务器，这个费用和云厂商对比起来，并不会优惠更多。
你也可以考虑小的云厂商，ucloud 、金山云等等。

[qishua]

@chanlk 那你们需要招个全职 SRE 了，然后根据你们预算，来选择是否两地多活。
自建的话，可以找一些国内做出海业务 IDC 机房的厂商，租用他们的服务器，这样服务器的高可用 or IDC 的容灾管理交予他们了。你们只需要负责好服务器加服务器上面的业务即可。
两地多活，则推荐选择两个不同的 idc 供应商，彼此之间的通信通过专线打通。

[chanlk]

@aru 数据大概在 10PB ，费用大概一年要 100W+的 S3 费用吧(我们公司小哈)。

[chanlk]

@qishua #7 听你这么说感觉这事儿没那么简单

[wei2629]

多少 pb 啊。自建未必便宜，机房机架网络， 硬盘坏了要有人管， 还要备份。还必须专门培养团队，保证 sla 。 或者外包给 idc 的团队啥。最好还是 认真核算下 。

[qishua]

@chanlk 换到 ucloud 或者金山云吧，然后谈下折扣，费用一年应该能降到 30 万-50 万

[aggron]

不要自建，既然海外用户，用 cloudflare 的 R2 ，不收流量费，api 还没 s3 兼容（大部分）

[shiny]

自建 MinIO 吧，可靠性可以靠 replication

[humbass]

op ，要上 cdn ，aws 的 cdn 的叫 cloudfront ，价格只有 s3 的 1/4 - 1/5

[chanlk]

@wei2629 10PB 这样子

[chanlk]

@aggron 存的多，取的少，比例估计 10:1, 1TB 的数据只有 100GB 左右被用户召回

[blueswhisper]

楼主家这预算，多家云厂商比价吧。
100+w 的预算，最多招两个 sre 就没了， 还不算你自建的服务器成本。
不知道你们这个 s3 存储是干嘛的，如果是常见的静态资源场景，那么上 CDN 应该能帮你们挡掉大部分的费用。 写多读少的话，S3 不同等级的存储也用起来，业务上做些优化策略，也能省点钱。

[chanlk]

@blueswhisper 用户的视频数据哈，家用摄像机的。

[zsj1029334]

Ceph 集群，多种支持文件，对象都可以

[blueswhisper]

@chanlk 这种场景的话，你们这就类似于网盘逻辑了。是不是对应服务的定价太低了？或者说定价策略不太合理？

从楼主的预算推测，短期内你们也没有资源投入到底层存储的建设，这部分技术红利需要适当的投入才能吃到，开源确实有很多解决方案，但是要保证可用性，成本，性能都需要资源投入，不是随便找个开源软件部署下就可以的，否则出了问题一群人抓瞎，对你们的服务信誉打击是毁灭性的。那么你们只能从商业策略上，把这部分的成本通过合理的定价转移给用户。

[ihciah]

S3 有不同的类型，你得根据需求选择合适的，如果可以牺牲一部分延迟的话可以大大降低成本。
甚至可以分析用户回放频率，以及分析新旧的视频回放频率来调整 S3 存储类型。
例如 S3 标准类型 $0.023 per GB ，Glacier Instant Retrieval 就只要 $0.004 per GB ，S3 Glacier Deep Archive 甚至只要$0.00099 per GB 。

[dann73580]

个人项目自建过刚到 pb 门槛的机器，基本上就是租了 8 台机器组了 minio 集群。你们这个体量应该可以和靠谱的 idc 下订单了，我就说一个点，一定要找服务给力的。我之前没经验，遇到个售后不好的 idc,换硬盘就换了三四天，很着急。

考不考虑去美国的 ovh 租赁杜甫自建啊？大厂还是稳定一些。

[dann73580]

@dann73580 另外补一句，我觉得如果你们公司每年只有 100 万（人民币？）的预算，10PB 规模可能不够用。按照我的计算，10PB 一个月的开支大概在 2.5W-3W 美元左右，一年要 140+了，这还是纯基础成本。

[dann73580]

@dann73580 #23 在美国我说一个比较合适的基准价格，每 TB/2.5-3 刀，是自建 S3 的常规价位（包含机器租赁，带宽，机架空间，电力费用等），比这个低，那就说明你的冗余度拉的实在是太低了（低冗余可以做到每 TB/2 刀，但不适合跑关键业务，适合备份），这是一道简单的数学题。更不要说你业务在美国，有没有必要考虑合规问题，选择合适的，有认证的商家，等等等等，我觉得这个事没想的那么容易……

[ZE3kr]

按照你这个需求只需要换成 S3 Intelligent-Tiering storage class 就可以便宜很多

[joynvda]

安防监控的视频，不适合使用 CDN 。同一视频内容也就是极有限的人看。

如果是用户付费的视频需求。倒不如提升网络到用户边侧的链路；用户要回看近期，直连过去。
如果要求长时间保存，才用到数据中心的对象存储。选择 归档类型 会便宜很多。

[caola]

读得很少的话，直接在国内弄两台服务器到机房托管就行了，
如果是面向国际，直接去香港托管也不算贵太多

[dearmymy]

minio 建好后使用跟 s3 差不多，如果是纯想便宜，多找几家测试几家不限流量 vps 对比出最合适的把，我觉得初期花钱外包写一个 docker ，还有基础运维脚本，之后你单独就着改就行，出去花万把块找踩过坑的人写下把。自己之后根据清空在去改，有 gpt 也简单很多。
之前我也是因为存储经常变，s3 实在太贵了，自己买个大流量 vps 自己建了。很好用，省不少钱

[northbrunv]

一个 P 不限流量的独服大概一个月 1000 刀，小厂可能有 500 刀，10P 价格大概月付 5000 刀-1w 刀
年付 6w 刀-12w 刀这个样子。
100w 如果是人民币的话，折腾半天费用不见得能减掉多少

[SenLief]

10pb ，估计流量也不小，你这个自建未必会省钱，还必须要招运维。

[zizon]

你先试试分层存储吧.
冷数据价格砍半.

[ZhiyuanLin]

Backblaze B2, Cloudflare R2, Wasabi, StorJ ，都是 S3 兼容但比 S3 便宜很多。