V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
gazhang
V2EX  ›  问与答

对百万量级的数据如何快速聚类?

  •  
  •   gazhang · 2019-08-15 11:03:49 +08:00 · 2802 次点击
    这是一个创建于 1715 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我有 100 万条数据,每个数据是一个 200 维的向量,考虑对它们进行聚类。目前尝试了 scipy 的 k-means 聚类算法,但是半天没有结果。 计算平台是 windows 7,内存 16G。

    5 条回复    2019-08-23 17:33:49 +08:00
    xxxy
        1
    xxxy  
       2019-08-15 11:35:16 +08:00
    有 gpu 的话可以用 tensorflow 的 k means,应该会快十几倍吧
    pwrliang
        3
    pwrliang  
       2019-08-15 13:35:56 +08:00 via Android
    上分布式吧,用 Spark 写个 K-means
    shidenggui
        4
    shidenggui  
       2019-08-15 13:38:28 +08:00
    pca 降维,再聚类
    gazhang
        5
    gazhang  
    OP
       2019-08-23 17:33:49 +08:00
    最后还是在好点的机器上跑了,大概半小时。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2849 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 15:25 · PVG 23:25 · LAX 08:25 · JFK 11:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.