V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3410 天前的主题，其中的信息可能已经有所发展或是发生改变。

互联网薪水预测

先保证安装了必要的软件库

git clone https://github.com/origingod/salary-prediction-with-machine-learning
pip install -r requirements.txt

首先，先抓取数据，目前我的记录是抓取了10w条，大概有100w~500w条记录

前置性能优化：

1.启动redis

$ redis-server

2.启动celery

$ celery -A Tasks worker --loglevel=info

运行

python DataCrawer.py

会在目录下面生成一个带时间标识的csv文件

接下来，生成数据训练集

运行

python DataAnalyser.py

上一步会自动处理数据并生成一个预测子名为clf.pkl存放于当前目录，看到clf知道怎么用的都不用说了吧，接下来主要调准精度。

训练模式输入：

数据1: Job Description
数据2: 薪水数量

最后

预测模式输入：

数据1: Job Description

输出：

数据1: 薪水数量

链接： https://github.com/origingod/salary-prediction-with-machine-learning 可以友情加Star~

第 1 条附言 · 2015-07-31 10:31:52 +08:00

数据来源：拉钩网
数据量：10w~500w
分词：结巴分词:https://github.com/fxsjy/jieba
数据整理方式：筛选高频词组成jd向量，同时提取出salary
X格式：array/list([...],[...],[...])
Y格式：array/list([...])
算法参考：http://scikit-learn.org/stable/auto_examples/plot_rbm_logistic_classification.html
参数优化：无

bash

薪水

Celery

21 条回复 • 2015-08-30 15:04:00 +08:00