V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
whooami
V2EX  ›  MySQL

还有用 MYSQL 视图的大佬吗(N<20 张表 union),麻烦指点一二。

  •  
  •   whooami · 239 天前 · 1192 次点击
    这是一个创建于 239 天前的主题,其中的信息可能已经有所发展或是发生改变。
    起因是这样的
    因为目前业务表中有 N 个业务模型的数据结构类似的表,相似字段有 80%吧,因为后期单个模型的数量级都至少千万级以上,所以就没有使用公用表,直接分开存储的。

    现在有时可能比如说一下查出所有模型下某个特征的所有数据(或者进行 Group by 统计),所以有打算用视图的方式 union 所有共同字段到一个视图中进行查询。这样代码会比较简洁。但是性能不确定后期数据量上来之后怎样?

    所以想请教下各位大佬?这种情况一般你们都是怎么处理的,给点建议。

    谢谢~
    5 条回复    2023-09-02 16:04:15 +08:00
    zengguibo
        1
    zengguibo  
       239 天前
    如果实时性不高,不如新建表,定时把数据导进去
    whooami
        2
    whooami  
    OP
       239 天前
    @zengguibo 是实时的
    yinmin
        3
    yinmin  
       239 天前 via iPhone
    如果做统计分析系统,通常是每天凌晨会跑一个计划,对昨天数据进行清洗,也就是根据业务需要,先做一次 group by 去除一些分析功能不太会用到的字段,然后保存在几个 table 里。之后的统计分析基本上都是从数据清洗后的表里取数。
    yinmin
        4
    yinmin  
       239 天前 via iPhone
    只有查询当天数据,以及查询以前的明细数据才会读实时表。在做系统时,查询实时表的功能做在 2 级/3 级页面里,慢一点用户也能接受。
    whooami
        5
    whooami  
    OP
       239 天前
    @yinmin 嗯,不是 BI 。是实时生产的数据,还要支持检索。其实单个查还行,不会慢,有的场景需要分组统计就……
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3139 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 13:03 · PVG 21:03 · LAX 06:03 · JFK 09:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.