厉害了，这是我见过的 issue/star 比例最小的 repo。

显然是因为方便啊，其实现在 Node 写应该也挺方便。

不是有 ignore error 的参数吗，还有，重复记录，应该是可以配置 upsert 的吧

崩溃指什么？

就算说大数据，目前也是大概分两个方向，一个数据平台开发，另一个才是算法研发。

数据平台开发依旧倾向于开发和架构，说白了就是经验，怎么把传统算法并行化，怎么合理调度 hadoop 集群的 Job 等等。

1、没问题，稍微有个小瑕疵
def author(self, url):
author = Author(url, self.session)
return author

2、如果是我自己写的话，我也会写类似的方法
3、该函数返回的是类，而不是实例。

又不说是因为什么而换回 java.....

如果是因为 python 效率跟不上，换 golang。
如果是应用场景只有 jvm 环境支持，换 scala。

@liyu4 go 既不支持重载，又不支持函数默认参数

这就体现函数默认参数的优越性了，当然，如果是 golang，就当我没说。

总的思想是一样的，就是把 document 映射到向量空间，然后计算向量间的 cos。

难点就是怎么在特定的场景下训练合适的 doc 向量。

如果是粗粒度的聚类，tfidf+KMeans 就够了，或者直接 LDA。
但如果是细粒度的新闻去重，tfidf 就完全不够了，词序、同义词等等都是问题。

@binux 当然点 run 了......之前运行过，但也是卡在`data:,_on_get_info`，所以已爬取的 url list 是空，这和能否重复运行有关系吗？而且我也主动清空过 taskdb

表示对咖啡、红牛等全免疫了......睡前一杯咖啡，半小时后睡得不省人事。

找到这个[issue]( https://github.com/binux/pyspider/issues/208)

但似乎`/task/project:taskid`这个路由已经遗弃了，访问`/task/{name}:data:,on_start`是 404

因为 type(self.data) == string

无聊不至于，就是真正懂算法的不多，公司里号称大数据部门，其实大部分人都是写 sql 的。

更多的时候，就是自己一个人在瞎摸，就像解一道数学题，从太阳上山到太阳下山，都没解出来，难受。

FACEBOOK、GOOGLE 等企业认证著名算法培训机构 leetcode

本身就是 py 脚本程序啊.....

你用编辑器查看一下`{PY_HOME}/bin/{command}`的源码就行了啊

真的有心，看几本基础书入门之后，刷论文才是王道。

任何交流群必将沦陷为水群.......

@dongweiming 可以理解为给成员属性做了一次 md5 吗？那不同微信号的相同好友呢？