8 核 CPU 终于达到了 80%以上的占用率～～～

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2526 天前的主题，其中的信息可能已经有所发展或是发生改变。

自从配好了这台 pc 一直觉得配置太高浪费了，CPU/内存长期都在 10%以内。晚上在本地 build tensorflow CPU 一下子占了 80%多，感觉终于派上用场了，只是很遗憾，内存还是不到 20%

下面是 mac 上安装 keras-tensorflow-gpu 的吐槽： 1.tf 编译的坑多，多到有 N 篇文章专门论述，各个版本（ python、cuda、cudnn、tf ）都有，太混乱了，不知道信哪一个好 2.conda+tf 的坑，其中 protobuf 就是坑中之坑，坑王之王

这两个问题我分别花了两个晚上才搞定，现在可以在 jupyter notebook 上直接跑 keras-tf-gpu，速度快得飞起，同样程序相比 K80 还要快 5 倍（ k80 上是 keras+theano ），所以结论是折腾是值得的！

第 1 条附言 · 2017-12-24 21:09:31 +08:00

忽然发现我没有说明环境，导致大家有疑问：
1.硬件：i7-8700k,16g,1080ti
2.OS：macOS
3.tensorflow:1.5
4.keras:2.0
5.python:3.6

第 2 条附言 · 2017-12-25 16:01:39 +08:00

真是个悲伤的结局：16g 内存远远不够用啊，读取了 20000 多张图就爆了～～～

CPU

k80

坑

keras

63 条回复 • 2017-12-27 00:36:31 +08:00

cybermay

2017-12-23 19:30:31 +08:00

也没说是什么配置啊

winglight2016

2017-12-23 19:54:32 +08:00

@cybermay 常见配置：i7 8700k+1080ti

ZRS

2017-12-23 20:14:10 +08:00 via iPhone

总感觉 windows 下配环境是很蛋疼的事

greyterry

2017-12-23 20:16:08 +08:00 via iPhone

我配了 64G 的内存才发现日常使用率 5%……

JJaicmkmy

2017-12-23 20:28:13 +08:00

8700K 不是六核吗？

cnta

2017-12-23 21:08:08 +08:00

8 核 16 线程自己主要是平时开虚拟机开得多吧，多核还是很有必要的。

winglight2016

2017-12-23 21:51:12 +08:00

@JJaicmkmy 哦呵呵，搞错了，是六核的
@ZRS 习惯就好
@greyterry 利用率低了感觉太浪费了
@cnta 我现在已经完全不用虚拟机了，感觉各种不方便太多了

Rorysky

2017-12-23 22:09:01 +08:00

8400+1070ti 瑟瑟发抖

ioriwong

2017-12-23 22:11:34 +08:00

我 28 核 56 线程，从未满载过，很难超 50%，哈哈

greenskinmonster

2017-12-23 23:20:16 +08:00

装 gentoo 啊，前几天刚好重新编译了整个系统，4 核 8 线程 [email protected] 满载了大半天

lycc

2017-12-23 23:32:12 +08:00 via Android

Adobe 全家桶可以把你的内存吃干净 233333

somebody

2017-12-23 23:33:26 +08:00

编译 Java, C/C++ 的时候可以多线程，make -j8。编译 Android ROM 的时候 make -j8，8 核满负荷运行了 1 小时

hadoop

2017-12-23 23:36:35 +08:00

@ioriwong 啥 u ？

snnn

2017-12-23 23:36:50 +08:00 via Android

你内存得多大啊？编译 tf 需要 16G 内存才能 4 核全开不 oom。8 核得 32G 才对

Tardis0127

2017-12-24 00:13:41 +08:00 via iPhone

yes > /dev/null &
试试这个

mattx

2017-12-24 00:16:17 +08:00

挖门罗吧.一年可以挖半个

WildCat

2017-12-24 00:27:42 +08:00

1. 几张 1080Ti ？感觉你的 U 好亏，4 路的话 6850K 就足够了吧
2. 没必要自己编译吧，pip install tensorflow-gpu 就好了。
3. 即使官方版本不好，github 上边有别人发布的不少编译好的版本
4. 第一次安装比较痛苦，之后就轻车熟路了，推荐 52nlp 的教程（感觉很好）：《从零开始搭建深度学习服务器: 基础环境配置（ Ubuntu + GTX 1080 TI + CUDA + cuDNN ）》 http://www.52nlp.cn/%E4%BB%8E%E9%9B%B6%E5%BC%80%E5%A7%8B%E6%90%AD%E5%BB%BA%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AEubuntu-1080ti-cuda-cudnn

congeec

2017-12-24 00:28:17 +08:00

@ioriwong make -j 呢？

jhdxr

2017-12-24 00:49:46 +08:00

sklearn 路过，72 核 144 线程（ E7-8890 ）很容易满 100%，但是内存（ 1.2PB ）的确用不完。

wwqgtxx

2017-12-24 00:50:00 +08:00 via iPhone

试试用 x265 压视频，分分钟 cpu 用满

guochengjie

2017-12-24 00:58:26 +08:00 via Android

Dual E5-2670 V1C2 洋垃圾配上 32G Samsung DDR3 ECC 洋垃圾
日常使用根本超不过 20%

fzinfz

2017-12-24 01:18:35 +08:00

挖矿吧，分分钟告诉你电脑有多渣。
要保险的话，找个容易提现的币挖；要投资的话，选 1~N 个山寨币挖。

azh7138m

2017-12-24 01:39:08 +08:00 via Android

压片啊，你立马就知道自己配置不够用了😀

ppbaozi

2017-12-24 02:08:30 +08:00

用 pr ae 剪个 4k，cpu 内存都得爆

realpg

2017-12-24 02:42:48 +08:00

@winglight2016 #7
cpu 利用率低有妙招
开个进程挖 XMR 线程数设置 1.3~1.5 倍物理核心数即可

aminic

2017-12-24 03:10:10 +08:00 via Android

都是码界大壕啊，那个 e7 的哥哥，还需要男秘嘛

20015jjw

2017-12-24 03:14:02 +08:00 via Android

dev server 200 多核心不说话

amai

2017-12-24 05:54:07 +08:00

@jhdxr 1.2PB 内存？？是不是写错了 1.2TB 吧

根据你所表述的我猜测应该是四路 v3，这个平台也不支持 1.2PB 这么大的内存

shenyu1996

2017-12-24 08:52:21 +08:00 via Android

黑五买了战地 1 发现这游戏疯狂吃 u，不锁 fps,我的 e3 分分钟满载

togodo

2017-12-24 09:14:26 +08:00

开虚拟机

i730

2017-12-24 09:39:56 +08:00 via Android

2 核 cpu 2.8GHz intel 的我瑟瑟发抖，显卡 N 820M

vicence

2017-12-24 09:42:44 +08:00

@winglight2016 单条内存多大，多少钱哪家买的，我在京东买金士顿(Kingston)骇客神条 Fury 系列 DDR4 2400 8G 台式机内存 749 入的。

likuku

2017-12-24 10:12:37 +08:00

@wwqgtxx 有这么强的 N 卡，干嘛不直接用 hevc_nvenc 压？速度快的飞起。

silencefent

2017-12-24 10:15:14 +08:00

1.2PB,就算天顶星科技 512G 内存也要插 2048 条槽子

ioriwong

2017-12-24 11:04:39 +08:00 via iPhone

@hadoop 双 E5

zetary

2017-12-24 11:18:08 +08:00

7700k + 1070 瑟瑟发抖, 用的 manjaro, yaourt 装环境一个小时不到全都装好

deepkolos

2017-12-24 11:24:55 +08:00

运行跑分软件的时候~

wwqgtxx

2017-12-24 11:36:23 +08:00 via iPhone

@likuku 大部分压制组还是倾向于 cpu 压，因为无论是最后的成像质量，文件体积和参数可调性都比 gpu 的好的多

aheadlead

2017-12-24 12:29:42 +08:00

@amai 他那个可能是超算和我们普通的 PC 不一样的
PB 的内存也不难做太湖之光就有 1.3PB 的内存

winglight2016

2017-12-24 16:12:21 +08:00

@snnn 有这种限制？我编译完成也才 12 分钟，没感觉 cpu、内存压力很大，而且编译时的内存也才占用 15%左右
@WildCat 一个 1080ti，tf 在 Mac 上并没有官方支持，你那个链接上 ubuntu 的，区别还是很大的
@jhdxr 内存 1.2pb ？单主板能放多少条内存啊？
@realpg 挖矿最大的成本上电力，显卡太差得不偿失啊
@vicence 2*8g，价钱并不了解，因为我是一起买的主机
@wwqgtxx 压制质量大约只和算法和片源有关系吧，真的和 cpu、gpu 有关系？

hadoop

2017-12-24 17:49:18 +08:00 via Android

@ioriwong 扫雷数框框？