V2EX › kingmo888 的所有回复 › 第 17 页 / 共 23 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 9 10 11 12 13 14 15 16 17 18 ... 23

❮

❯

2017 年 3 月 11 日

回复了 kingmo888 创建的主题 › MacBook Pro › 对于只会用 windows 的我来说，很好奇你们的 macbook pro 都用来干什么？

@weixiangzhe 你是 xps 几呀。装黑苹果的意义是啥。

2017 年 3 月 11 日

回复了 cnwtex 创建的主题 › 云计算 › 阿里云是涨价了吗？

@ylsc633 我勒个去。勾选已经禁用

2017 年 3 月 6 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

@mathgl x86 也可以接受啊。只要是 pypy for py3.5 即可。。。

2017 年 3 月 6 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

@lecher 请问有木有 windows 的？

2017 年 3 月 6 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

@lecher 谢谢。我这是 windows 哈

2017 年 3 月 6 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

没有找到 pypy for python3.5 的下载地址咧？

以前就听过 pypy ，也装过一次，但是貌似很难达到 anaconda 这种傻瓜式布置环境和模块的程度啊。
自己装模块的时候老是有问题。

2017 年 3 月 4 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 同时，我尝试了一下在 put 的时候指定 data_columns ，发现存储速度在下降，文件大小增加了将近一倍。

这种情况就很尴尬了。
每个 code 的数据单独存放，不用指明 index 和 data_columns 读取很快，可以读出来在内存里进行检索。唯一的问题就是通过 XX.keys()来获取所有表名会很慢。是否可以通过单独建一个表存放表名。嘿嘿。

所有 code 数据都存放到一个表里的话，为了检索，就必须使用 data_columns ，否则所有数据都读入内存的话既不科学又撑不住。

不知大神有什么好的思路？

2017 年 3 月 4 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 高手你好，我还有一个问题哈，就是存储的模式上，是所有数据都怼到一个表里好，还是分表保存（一个代码的数据一个表这种）

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 那会报错吗？还是等待写入？如果报错的话，还是需要自己处理的哈，不然的话有的进程就写不进去了。

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 是这样的，原始文件是大约 3000*255 个 csv 的股票订单数据，

多进程>>>

处理函数(文件路径)：
读入一个文件，
处理为分钟数据，
进程锁开
塞入 hdf5
进程锁关

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 3Q ，确实问对地方了。
ptrepack --complib=zlib test_c4.h5 --complevel=9 out.h5
ok.

还发现了一个问题，请教一下，是不是数据越多，在 put 的时候就越慢？感觉效率不够呀。
越来越慢

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 感谢你。
刚试了下，
原始文件 1.5M ，没加任何参数的情况下， out.h5 大小为 2.2M 。。
压缩方式上貌似没有 zlib?

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@justou 是的。我是在测试追加来着。但实际上，并没有追加，只是把这个主键重新赋值了。从读取的数据上检查过。

而且，我做新的测试，就是 remove 所有的 keys ，使用 hdfview 查看确实数据都没有了。但是文件大小还是很大。

2017 年 2 月 28 日

回复了 19zero 创建的主题 › 云计算 › 云舒：给小白的租户隔离科普文

@solidx 感觉你没看仔细。
耗子根据聚石塔的情况说，是在同一内网的。
云舒说，我们确实不同租户有隔离，可 TM 聚石塔本来就 TM 是一个租户，当然在 TM 一个内网里，资源可以访问这再正常不过了。

2017 年 2 月 28 日

回复了 kingmo888 创建的主题 › 问与答 › [日经贴] 本来想做金融博客，结果越来越 IT 入门博客了，你觉得呢？

@designer 已经添加。 http://www.lizenghai.com/links

2017 年 2 月 27 日

回复了 kingmo888 创建的主题 › 问与答 › [日经贴] 本来想做金融博客，结果越来越 IT 入门博客了，你觉得呢？

@bryantandk ok,append

2017 年 2 月 25 日

回复了 kingmo888 创建的主题 › MacBook Pro › 对于只会用 windows 的我来说，很好奇你们的 macbook pro 都用来干什么？

@ovear 你是 app 开发者咯，啥是 xps

@Showfom 有种脱裤子放屁的感觉。等于同时运行双系统，卡不。我金融民工一枚， N 多数据都是几百 G 的，跑一边。心累

1 ... 9 10 11 12 13 14 15 16 17 18 ... 23

❮

❯