V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
HarryYu
V2EX  ›  程序员

外接硬盘盒能用来做大数据分析吗?

  •  
  •   HarryYu ·
    yujiangshui · 2022-12-24 12:30:55 +08:00 · 2303 次点击
    这是一个创建于 489 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教下各位大佬,我有一个 Mac Studio M1 Ultra ,最近可能会有大数据分析的需求,大概几个 TB 。正常可能是买个云服务器或者自己搞个台式主机,硬盘都插到主板上面,那么这样就有点浪费了 Mac Studio 了。所以想着能不能买个硬盘盒然后链接到电脑上,数据存在硬盘盒上,使用 Mac Studio 链接读取分析。

    这样做可能有什么问题呢?除了链接速度慢一些。除此之外,有没有推荐的硬盘盒?谢谢各位。

    12 条回复    2023-01-05 00:00:18 +08:00
    aru
        1
    aru  
       2022-12-24 12:45:29 +08:00
    没什么问题,直接买移动硬盘,西数或希捷自己的品牌就行了。
    MrKrabs
        2
    MrKrabs  
       2022-12-24 13:06:53 +08:00
    几个 TB 我猜你是机械硬盘,那 USB3.0 的 5G 速度足够
    documentzhangx66
        3
    documentzhangx66  
       2022-12-24 13:25:50 +08:00
    外接硬盘盒,有几个重要特性:

    1.与非 nvme 相比,与 SATA 相比,带宽是够的,也就是说顺序读写能保证速度。

    2.但随机读写,因接口特性,就很差了。如果你的大数据处理,需要大量随机读写,就不建议这么做。

    3.不稳定,容易掉线。原因有很多,比如协议本身原因,其他接口设备干扰,线材质量等等。

    4.外界设备如果内部缓存有坏块,写入数据就需要做二次校验,否则数据容易被无感知写坏。

    题外话:

    如果你要做存储扩展,上策是买 ATX 大主板,然后通过 PCIE 转 SATA 的转接卡,然后接大量的 SATA 机械磁盘或 SATA 固态磁盘。

    苹果的电脑,溢价高,性价比低,除非有苹果环境的开发刚需,否则用苹果根本就不是来进行正规开发的。

    真正大佬跑开发,跑数据,谁用苹果,简直搞笑。
    HarryYu
        4
    HarryYu  
    OP
       2022-12-24 13:36:52 +08:00
    搜了一下感觉有个 4T 的闪迪 SSD 移动硬盘不错,读写速度大概 1000MB/s 。感觉机械硬盘是不是速度太慢了,好像在 100MB 左右。

    @documentzhangx66 感谢大佬专业建议,我就是随便搞搞比较业余的,正好有个苹果电脑,想着低成本弄一下。
    HarryYu
        5
    HarryYu  
    OP
       2022-12-24 13:37:58 +08:00
    感觉有更专业的需求之后,可以按照大佬的方案买个主板弄个机箱了,再次感谢 @documentzhangx66
    closedevice
        6
    closedevice  
       2022-12-24 14:18:19 +08:00
    搞个固态 ssd 就行了,我目前就是这么用的。话说老哥 mac studio 啥配置?
    limbo0
        7
    limbo0  
       2022-12-24 15:46:36 +08:00
    可以, 无非就是速度慢点,
    但你说搞单机大数据就没啥意义了
    HarryYu
        8
    HarryYu  
    OP
       2022-12-24 17:28:20 +08:00
    @closedevice 就是 M1 Ultra 的标配
    wanguorui123
        9
    wanguorui123  
       2022-12-24 23:33:08 +08:00
    做 NAS 都可以
    lookStupiToForce
        10
    lookStupiToForce  
       2022-12-26 11:48:47 +08:00
    你实在不放心可以上个 raid 阵列柜啊,有这个啥任务搞不定,usb 3.0 口的速度也能用上
    xianglifei
        11
    xianglifei  
       2022-12-28 14:30:50 +08:00
    同 Mac Studio ,蹲一下楼主的方案
    我倒是没有大量热存储的需求
    目前用硬盘盒挂了两个 3T 的硬盘,作为冷数据的存储,基本上一个月才连接一次
    但是确实机身自带的存储空间过小

    之前考虑过海备思的扩容底座,可以提供 M.2 接口,跟机身的融合度也比较高
    HarryYu
        12
    HarryYu  
    OP
       2023-01-05 00:00:18 +08:00
    @xianglifei 我后面就买了个 4T SSD 移动硬盘,先凑活一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2504 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 16:02 · PVG 00:02 · LAX 09:02 · JFK 12:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.