1
defunct9 2018-04-18 10:32:18 +08:00
跑不起来的,自己找台机器,用 vagrant 来吧
|
2
user919lx 2018-04-18 10:34:50 +08:00
建议自己买一台高配置电脑,开多个虚拟机。同样可以达到模拟集群的效果。
|
3
abmin521 2018-04-18 10:45:32 +08:00
建议自己买一台高配置电脑,开多个 Docker。同样可以达到模拟集群的效果。
|
5
defunct9 2018-04-18 10:54:55 +08:00
我是用服务器,40 核,128G 内存,4T 盘
|
6
xenme 2018-04-18 10:55:08 +08:00
去搜 X79,单路或者多路吧。性能高还便宜。
|
7
defunct9 2018-04-18 10:56:21 +08:00
不用 docker 的理由,vagrant 是 kvm,跟真实环境一样,docker 是半虚拟,还略有不同
真实环境的的应该全是实机,集群大概 600 台,要考虑的也很多(从运维方面) |
8
depress 2018-04-18 11:14:35 +08:00
我自己电脑 i7+20G 内存+500G 硬盘,开 4 个虚拟机刚好,你自己看吧...
|
9
whatsmyip 2018-04-18 11:20:35 +08:00 1
Spark 可以上 databricks,免费 6G,但是需要信用卡
Hadoop 的环境,可以去撸 Google cloud 的羊毛,学完以后也就用不到了,同样需要信用卡 如果没有信用卡,楼主大概是学生吧,可以联系实验室,进组学习,集群资源还是有的 |
13
cyspy 2018-04-18 12:37:14 +08:00 via Android
docker
|
15
bbx 2018-04-18 15:43:00 +08:00
@defunct9 本地的 docker 就行。这年头还有 barebone machine 上直接跑的? 600 个 node 不 mesos 之类的不得烦死
|
16
bbx 2018-04-18 15:46:43 +08:00
话说 spark 本地 docker compose,一个 master,一个 slave。简单到不行,google 一下估计一大堆 docker 现成的
帮你找了一个,我自己没试,不过应该问题不大 https://github.com/gettyimages/docker-spark |
17
MonoLogueChi 2018-04-18 15:53:17 +08:00 via Android
你是实际生产还是只是用来学习,我前两天开了三个虚拟机搭了一个 Hadoop 和 spark,在我电脑上跑跑还行,但是 spark 负载搞了主机就会炸。后来我把虚拟机导出到我同学电脑上,在他那三台虚拟机刚开机,主机就已经卡得不行了。
所以说,自己想真正跑起来的话,自己花点钱去买两台实体机,或者是收点二手洋垃圾试试看吧 |
18
yuanfnadi 2018-04-18 15:55:11 +08:00
|
19
owenliang 2018-04-18 15:55:30 +08:00
玩的话为什么不在自己笔记本上跑。。
|
20
yuanfnadi 2018-04-18 16:01:17 +08:00 2
阿里云 ecs.c5.large 2 核 4g 的 机器竞价 目前价格 ¥ 0.16 /时
自己先买一台。配好环境之后保存成自定义镜像。使用 弹性伸缩 配置好一次开启 10 台和关闭 10 台 使用之前自定义的镜像。 随用随开,成本超低。 |
21
einvince OP |
22
startar 2018-04-18 17:18:50 +08:00 via Android 1
学习的话,不用搭集群,搭伪分布式模式的 hadoop 就行了,毕竟你的关注点在于在于大数据处理,而不是主备高可用之类的工程问题。我家里的 4 核 16G 机器跑得很 ok。
|
23
startar 2018-04-18 17:44:31 +08:00 via Android
而且不建议用云主机。。还是太贵。自己配一台就是了。内存要尽可能大,其他无所谓
|
24
bbx 2018-04-18 17:53:39 +08:00
@einvince 目前好点的笔记本 4core 16Gb 外加 ssd 比便宜的所谓的云主机好不知道哪去。百万数据或者几个 G 左右的一台笔记本差不多就行了
|
25
gabon 2018-04-18 18:48:46 +08:00 via Android
1 核 1g。。
|
26
yjd 2018-04-18 19:30:23 +08:00 via Android
淘宝买台二手服务器。便宜
|
28
autogen 2019-05-28 08:39:09 +08:00
淘宝搜 X79 服务器(16 核 32 线程,64G 内存,整机 3000 元左右)或者 X58 服务器(12 核 /24 线程,48G 内存,整机 1000 元左右)
|