V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
everlost
V2EX  ›  分享创造

构建一个基于 p2p 的“水滴云“存储如何?

  •  
  •   everlost · 2021-12-27 07:53:56 +08:00 · 3214 次点击
    这是一个创建于 1090 天前的主题,其中的信息可能已经有所发展或是发生改变。

    不同于厂商的云存储,这个云存储是由成千上万的家庭电脑组成,利用它们的剩余硬盘量。

    一个文件被加密,拆分后,分散到随机的几个电脑上,这样两道工序来保证数据的隐私。

    一个人贡献的 硬盘容量 x 在线时间 的值,换算成一种货币,有“钱”才能往这个云存东西。

    大多数人的开机习惯应该能做到自给自足,类似于买保险,平时保持接入这个 p2p 网络,关键时候,这个云提供了冗余防灾功能。

    慢慢演化,应该会出现专门的“矿工”,提供大硬盘和长时间在线,来赚取这种货币。有些人不愿意平时接入这种网络的,买这种货币。

    防止这种矿工的中心化(因为危害数据隐私),可以学比特币,做 pow 或者 pos 。

    类似的电驴好像也可以这样做。。。

    23 条回复    2021-12-29 15:38:50 +08:00
    murmur
        1
    murmur  
       2021-12-27 08:04:39 +08:00   ❤️ 1
    你说的不就是 pt 么
    LeslieLeung
        2
    LeslieLeung  
       2021-12-27 08:06:30 +08:00 via iPhone   ❤️ 3
    Piped piper ?
    biguokang
        3
    biguokang  
       2021-12-27 08:19:58 +08:00
    你说的就是 ipfs filecoin 吧
    t6attack
        4
    t6attack  
       2021-12-27 08:23:33 +08:00
    ipfs / filecoin 比较接近。但和我预期差太多。开发团队心太大。能把分布式文件协议做好就不错了,非得搞什么下一代互联网。
    我希望看到更简洁的东西,就是给 bt 下载加上 coin 系统。相当于把 pt 的积分系统分布化、全网化,激励更多人做种,盘活更多冷门资源。想快速下载、想下载冷门资源就得付出 coin ,做种就可以获得 coin 。
    pxiphx891
        5
    pxiphx891  
       2021-12-27 08:35:48 +08:00
    ipfs 想替代 http 呢

    现在都没人维护 ed2k 客户端了
    icegaze
        6
    icegaze  
       2021-12-27 08:37:47 +08:00 via Android
    哈哈哈,
    这个就是五六年前电视剧《硅谷》里讲的故事,,,,
    主人公做了个超级牛的压缩算法,
    又在资本的驱动下做了个分布式手机存储。

    就是和你说的一样的。
    shakoon
        7
    shakoon  
       2021-12-27 08:40:54 +08:00
    存储的几个副本都不开机怎么办?这和 emule 、bt 没有本质区别,都得看别人脸色吃饭
    Veneris
        8
    Veneris  
       2021-12-27 08:45:43 +08:00
    @shakoon #7 存储节点需要质押,把别人数据弄丢了就要罚款了,当然,必然解决不了丢数据的问题
    snw
        9
    snw  
       2021-12-27 08:52:08 +08:00 via Android
    我有钱买你的 coin ,为什么不直接买硬盘或者买网盘?这种分布式去中心化存储要达到同样的可靠性,单位容量的成本必然要高于中心化存储。

    别的不说,你一个文件块至少存 3 份吧?不然 1~2 个备份同时被删除,这个文件块就永久损坏了(中心化存储的有意删除是有计划的,极少出现同时失效;去中心化存储的有意删除是无计划的,很容易撞车)。存 3 份的话,代价就高于 RAID1 了。
    snw
        10
    snw  
       2021-12-27 08:53:52 +08:00 via Android
    而且上述还只是在所有用户都是善意的情况下。要是其中有恶意用户,这种网络只会死得更快。参考迅雷吸血、pt 刷分等等。
    everlost
        11
    everlost  
    OP
       2021-12-27 08:54:38 +08:00
    @shakoon 把访问命中率放在货币的奖励函数里,高命中率的提高奖赏。到时候也许会出现的矿工,长期开机。
    linglin0924
        12
    linglin0924  
       2021-12-27 08:56:15 +08:00
    当前好多 qu kuai lian 项目就是用 p2p 偷梁换柱的,理念类似都是去中心化保存数据,再假模假样的做一个唬人的大数据界面,编个上链号,唬住那些不懂技术的领导,经费就骗到手了。
    snw
        13
    snw  
       2021-12-27 08:57:46 +08:00 via Android
    @Veneris
    一旦你考虑惩罚机制,鼓励用户长期开机和尽量少删除,那就和起初的“利用家庭电脑闲置空间”的想法相背离了。
    niubee1
        14
    niubee1  
       2021-12-27 09:11:24 +08:00
    最大的问题和 BT 一样,BT 没有金融属性驱动,结果大家都不留种,ipfs 用金融属性解决了驱动大家在线留种的时间问题,但是,如果你下载必须支付 coin 的话,那么事实上和付费下载没啥区别了,更特别的是,这样也无法保活,比如文件冗余 6 份,因为是家庭网络的关系,很可能 6 个节点都不在线,手机那个就更不靠谱了,手机后台运行本来就坑很大, 特别你还后台跑流量。结果现在在 IPFS 上部署网站,还是要靠商业化的 CDN 来支撑,纯属脱了裤子放屁,唯一的好处是你数据确实很难彻底删除。但是搞不死你文件可以搞你域名啊,不用域名你让用户去记忆你的 hash 地址?最后这套基础设施委实不能说是便宜,起始也只有搞灰产甚至是黑产的人才用得起。你想用这个下电影?趁早洗洗睡了
    NewYear
        15
    NewYear  
       2021-12-27 09:45:27 +08:00
    1.一份文件多处存储,浪费存储空间。
    2.唯一存档的内容的用户都离线后就再也无法下载到了。

    本来你是想利用用户剩余空间,结果实际存储一份东西要占用几份空间,是你笨还是用户笨?成本比现有的网盘还要高,你拿什么来盈利,没有盈利就不可能支撑这个架构运行下去。

    去中心化的 ed2k 就是一个很好的例子,虽然 ed2k 仍然存在,但是很多文件通过 hash 值永远都无法下载成功了,存储的意义是什么?不就是存储的文件想要的时候能拿到么,能快速的拿到么。如果为了存储一份东西要占用几份东西的空间,存储的东西又随时可能消失,用户早不把你干掉了?

    还有提到 ipfs 的,事实上 ipfs 的很多文件都消失了。

    有想法没有问题,但是凡事都要考虑“成本”,成本和收益一定是相当的,否则它就不可持续。
    littlefishcc
        16
    littlefishcc  
       2021-12-27 10:05:43 +08:00
    完全得 P2P 只有到一定规模才可高,如果没有中心服务支持,服务没法保证得。
    你看 BT 在国内使用率与迅雷 P2PSP 使用率比例是多少?
    上面想法很多年前就提出来了,只是落地很难。
    beijiaoff
        17
    beijiaoff  
       2021-12-27 10:07:20 +08:00
    为了冗余,一份文件肯定不止存一份对吧,那我既然有两三倍的空间去存别人的文件,为什么不存自己的文件副本呢?(暂不考虑自己可能只有一块硬盘的情况这种细节)
    sujin190
        18
    sujin190  
       2021-12-27 10:24:40 +08:00
    这不就是 ipfs 么,事实上 p2p bt 为啥越来越不行,不在于技术本身,问题来源越来越多的云服务提供了更可靠稳定的服务,大量小白用户根本就没需求,剩下那么点用户可用性太差几乎没啥存在的价值了,再说现在知识产权保护这么严格,普通用户还有何价值非要用这种方式存文件,未来肯定是 ipfs 这种了,但参与者必然是数据中心,数据和算力需求会持续增长,数据中心数量未来会非常多,那么这个说白了就是数据中心金融化的过程,构建强大的商业属性和金融属性才是可以持续发展的最大动力
    whitehack
        19
    whitehack  
       2021-12-27 10:49:13 +08:00
    https://www.arweave.org/

    这个比 filecoin 靠谱.文件保证永不丢失的. filecoin 不能保证
    wangsyi13
        20
    wangsyi13  
       2021-12-27 11:29:12 +08:00
    ipfs ,但是试了下,体验不好,p2p 还是要大规模流行了才能达到可用的状态
    yunchuanwu
        21
    yunchuanwu  
       2021-12-27 14:38:16 +08:00
    你说的不就是 Chia 吗。。
    gearkey
        22
    gearkey  
       2021-12-29 11:31:24 +08:00 via Android
    pt 不错,区块链技术就应该用在这个地方,而不是永无止境的挖矿浪费资源
    wangshushu
        23
    wangshushu  
       2021-12-29 15:38:50 +08:00
    Arweave 永久存储,区块链项目
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2809 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 06:56 · PVG 14:56 · LAX 22:56 · JFK 01:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.