首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  locoz  ›  全部回复第 132 页 / 共 318 页
回复总数  6351
1 ... 128  129  130  131  132  133  134  135  136  137 ... 318  
❮ ❯
2021-08-03 16:15:57 +08:00
回复了 TaiChou 创建的主题 › 职场话题 › 兄弟们，我才 23 就不想卷了怎么办
公司管理层有问题就这样，趁着没啥压力赶紧炒了他就完事
2021-08-03 15:56:59 +08:00
回复了 ppl 创建的主题 › 分享发现 › 喜马拉雅又搞活动了
这次的这些基本没啥卵用啊…比上次的差多了。
2021-08-02 22:01:11 +08:00
回复了 cjw1115 创建的主题 › 问与答 › 关于 HTTP/2 抓包
@ysc3839 #8 有降级功能，但是如果别人强制走 HTTP2 的话其实也没啥办法…
2021-08-02 19:28:45 +08:00
回复了 cjw1115 创建的主题 › 问与答 › 关于 HTTP/2 抓包
Charles 应该是支持 HTTP2 的，这工具追新追得很快，很多 Fiddler 搞不定的它都可以搞。话说不能降级处理吗？你要抓包的东西强制 HTTP2 了？
2021-08-02 19:21:10 +08:00
回复了 Gizmo 创建的主题 › 问与答 › 文件夹的英文名称疑惑？
看个人习惯，我一般用复数
2021-08-02 19:18:09 +08:00
回复了 Zien 创建的主题 › 全球工单系统 › 极客时间现在越来越拼夕夕式骗人了
@des #10 应该是中间有我拉黑了的人…
2021-08-02 19:05:31 +08:00
回复了 Zien 创建的主题 › 全球工单系统 › 极客时间现在越来越拼夕夕式骗人了
@labulaka521 #6
极客时间虚假举办活动、随意更改规则
https://www.v2ex.com/t/792714
2021-08-02 19:05:16 +08:00
回复了 Zien 创建的主题 › 全球工单系统 › 极客时间现在越来越拼夕夕式骗人了
我表示怀疑，毕竟极客时间都做这么大了，怎么可能做这种卑劣的事呢，你这图都看不清，再说了，极客时间是 [池建强] 做的，池大一直是厚道人，怎么可能为了这个小奖品搞这种事呢？你是 [拉钩教育] 之类派来捣乱的吧？竞争不过就搞这盘外招？
2021-08-02 14:19:41 +08:00
回复了 icetea12138 创建的主题 › 问与答 › 请问有没有知道家里网线的水晶头是不是归宽带运营商管啊
如果是运营商的人帮你接的，那当然归他管啊，没测试完好就跑了属于工程未验收…
2021-08-02 13:10:17 +08:00
回复了 patz 创建的主题 › 职场话题 › 你理想中的技术团队，是怎样的？
@darkengine #8 最完美的情况其实是那种团队好、公司方向市场大、公司资金来源充足、对外商务负责人人脉充足的，这样的公司想不做大都难。像 B 站在陈睿刚带着核心的几个人加入的时候就是这几大项都满足了，补全了团队之外的所有问题，并且补充了团队之前还没有的优点，而陈睿本身对市场决策也很准，所以才过了一两年就起飞了，后面更是一路冲到上市。类似情况的还有编程猫、字节跳动、大疆、腾讯这种，都是想不做大都难。
2021-08-02 12:57:22 +08:00
回复了 patz 创建的主题 › 职场话题 › 你理想中的技术团队，是怎样的？
@darkengine #8 主要原因有四点：
1 、核心业务偏数据整合平台和爬虫外包方向，弄的还都是些高强度的东西，虽然技术成长快、挑战大但法律风险过高，毕竟是一个公司面对几乎所有互联网大厂的几乎所有主要 to C 产品线和部分 to B 产品线，不像一般的公司只是对数据有点需求所以就面对一两家大厂的一两个 to C 产品线随便弄弄就够了。
2 、创始人由于都是技术出身且有自己的底线，不太愿意吹牛逼，也不想受到投资人过多的干预，所以即使技术到位，加上当时投资环境非常好，基本就是投资人追着创业者投资的情况下，公司也没能拉到投资。
3 、虽然公司能自给自足活得还比较滋润，但由于拉不到投资，其他方向的业务轻度尝试多次也没起色，公司很难进一步扩张，长期卡在瓶颈期。
4 、主要的爬虫程序都极其稳定了，基本没有维护问题，而团队其他同时期进来的人也都意识到了前面三个问题，除了还有其他技术领域有挑战的事情的人没啥意向以外，其他人都开始逐渐离职找更好的机会。

不过即使让现在的我回到那时候去选，我也大概率还是会离职。毕竟现在来看的话其实创始人不管是人脉、选择方向的眼光还是对外吹牛逼方面都不是特别好...如果没有其他人能帮他们改善这方面的话，除非运气好，否则公司必然只能是小而美，根本不可能做大，收入天花板摆在那了。而且由于法律风险和反爬随时改版的原因，也不太能作为养老的选择之一。
2021-08-02 00:56:17 +08:00
回复了 patz 创建的主题 › 职场话题 › 你理想中的技术团队，是怎样的？
想了想，我理想中的技术团队的样子就五点：
1 、人均追求效率。包括但不限于没事不开会、开会只拉关键的人、讨论直切重点不扯空话不车轱辘话来回说、通过自动化减少重复的人工操作、不搞没有实际意义的日报周报等。
2 、真正的弹性工作时间。不是强制某个很早的时间，而是团队所有人都自觉在一个大致时间范围内工作，个体有差异情况早一点或晚一点上下班也可以接受，且都自觉工作足够时间后才下班。
3 、良好的氛围。比如团队内有人发现有意思的东西时会互相分享，且如果这个东西有价值就会专门投入时间进行研究，最终通过约定时间开会深入讲解进行普及。
4 、扁平化的管理。没有什么严格的上下级关系，所有人都是平等交流，而非只要职位高就会莫名自信，以为自己掌控一切。
5 、没有各种莫名其妙的限制，但人均自觉而不过分。比如强制性的上班不能吃东西、不能看手机、不能穿特定服饰等。

其实吧，能做到这五点的团队 /公司，其他方面也不可能有啥比较差的了。毕竟最核心的能带出这样团队的领导者本身就不差，团队里的人也不差，有啥问题都可以高效地补上。

很巧的是，我在第一家公司时，团队状态就是完美符合这五点的，而后续待的公司，团队状态是逐步反过来的，最近的这一家更是几乎完全相反…感觉现在都基本可以得出一个规律了，越是领导者年龄大、团队平均年龄大的越是会无法满足这五点，转而向着效率低、屁事多的方向发展，反之则是会越符合这五点。
2021-07-31 13:03:32 +08:00
回复了 ghmum 创建的主题 › 问与答 › 有哪些论坛能较好地学习、交流爬虫相关技术
@ipwx #13 对于爬虫而言，网络原理只是一部分，而且对于当下环境里的大多数场景而言不会需要用到特别深的东西…真正对于大多数人和职位的关键其实在于偏安全领域的逆向，没有逆向能力基本搞不定复杂需求。
2021-07-31 12:44:25 +08:00
回复了 ghmum 创建的主题 › 问与答 › 有哪些论坛能较好地学习、交流爬虫相关技术
@shilianmlxg #10 Python 本来就是一个难度不高的万金油语言啊，无处不在没啥问题。
2021-07-31 07:56:36 +08:00
回复了 ghmum 创建的主题 › 问与答 › 有哪些论坛能较好地学习、交流爬虫相关技术
@shilianmlxg #3 学 Python 和学爬虫实际是两码事，爬虫不仅限于 Python 的。
2021-07-31 07:29:20 +08:00
回复了 ghmum 创建的主题 › 问与答 › 有哪些论坛能较好地学习、交流爬虫相关技术
@locoz #7 打错了，是 https://bbs.nightteam.cn
2021-07-31 07:28:39 +08:00
回复了 ghmum 创建的主题 › 问与答 › 有哪些论坛能较好地学习、交流爬虫相关技术
先回答一下你的问题：

爬虫领域的社区是有的，比如我们团队（ NightTeam ）搞的夜幕爬虫安全论坛 https://bbs.nightteam.com
还有我们公众号的读者群、课程的学员群、团队成员自己搞的技术交流群的交流环境也都挺好，就是读者群平时会比较冷清一些，毕竟没什么人闲聊，进群管控也比较严格，不会有打广告的混进来发些有的没的。

教程、书籍以及隐含的学习方向这方面问题的话，我已经重复回答太多次了，直接甩知乎链接你自己看吧：

请问爬虫学哪些可以就业啊？- loco 的回答 - 知乎
https://www.zhihu.com/question/460129002/answer/1894395065

python 爬虫基础学完了，我真的能找到一份工作吗？ - loco 的回答 - 知乎
https://www.zhihu.com/question/407856161/answer/1351562789

有没有关于图论的推荐书，爬虫和深度学习也可以？ - loco 的回答 - 知乎
https://www.zhihu.com/question/317802681/answer/1352294701

至于使用数据库存媒体文件这种事情...除了 MongoDB 这种有特殊优化过的还行以外，其他的都不合适，而且数据库里要存也只能存一些小文件，存大的很影响速度。最佳选择实际上是结合对象存储操作，使用对象存储来存文件，数据库中只存一个文件 ID 用来关联对象存储中的文件，这样既能方便管理，又得到了高性能。

简单使用时可以是直接 Docker 跑个 Minio 来提供对象存储，生产环境要高可靠的话就得多节点跑甚至是搞一套 ceph 或者直接用公有云的对象存储服务，具体可选方案很多，但它们基本都可以通过 S3 协议来操作，所以同时建议你了解一下 S3 相关知识（ S3 是亚马逊云的对象存储服务，它的通信协议已经成了事实上的行业规范，现在的对象存储服务基本都会兼容 S3 的协议，只不过具体实现的功能有所差异而已）。

---

然后说一下你碰到的这种情况：

其实吧…你的情况是绝大多数做爬虫的人也同样碰到过的情况，因为根据我看过的几百份投向爬虫岗位的简历来看，绝大多数人的水平其实就处于你这个阶段上下，而且其中很多人即使三五年经验了也依然因为公司项目原因而没啥长进…

这绝大多数人里，水平高一点的能会点 JS 逆向、手机端抓个包或者反编译看看代码，水平差一点的连 JS 逆向都不会，就只会 selenium 、pyppeteer 一把梭（大多数连写 JS 调原版的 puppeteer 都不会，只会用个问题一堆的 python 版本），面对现在的环境和企业招聘需求真的不太行。尤其是后者这种，企业没特殊需求的话招个这水平的人还真不如直接用傻瓜式爬虫工具，毕竟人家好歹自动处理完了反爬、能快速配好解析规则，而这水平的人基本也就只能做到这样了，可能做得还没工具快...

这种情况，究其原因其实就是有太多 Python 相关自媒体、非真正做爬虫方向的人对爬虫领域的内容灌水过多，以及无良培训机构过多，导致爬虫领域的文章、书籍、付费课程等都充斥着大量仅限于这个阶段水平的内容，罕有更进一步的。再加上很多人学习方式真的很奇葩，只想得到解决具体网站或 APP 问题的“鱼”，而非解决问题所用到原理、技巧的“渔”，这就进一步加剧了拿简单网站或 APP 水内容的现象。

我们团队（ NightTeam ）当初之所以组建，就是因为我们都看不下去这种情况，想聚集声量输出一些更具有实际价值的内容，以尽可能地改变这种情况。可惜的就是现在大家都比较忙，也没那么多时间运营，跟那些灌水的没法比，以至于这个主题发布到现在都这么长时间了，居然还没有一个人提到我们团队或团队成员发布和运营的东西...

---

最后还是建议一下楼主和其他抱着同样问题点进这个主题的人，千万别想着只要有“鱼”就行而不学“渔”。我看到过很多水平不咋地的人，他们一看个偏思路、技巧、原理性质的内容就会觉得内容水，觉得只要不是教他怎么搞定某个具体的网站或 APP 就是没意义的内容，这种学习方式真的学不到啥...别人只要改动一点细节或者换个做法，原来学到的东西就废了，知其然而不知其所以然，有啥用？

说白了，爬虫与反爬虫的本质和软件安全、网络安全是一样的，都是攻防对抗、思维碰撞，这种与人对抗较多的领域跟前后端、客户端开发这种实现功能就行的领域完全是两码事，思维、操作技巧和感觉才是根本，搞不清重点只会白交智商税还没啥长进。
1 ... 128  129  130  131  132  133  134  135  136  137 ... 318  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2545 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 50ms · UTC 08:22 · PVG 16:22 · LAX 01:22 · JFK 04:22
Developed with CodeLauncher
♥ Do have faith in what you're doing.