走爬虫好还是走后端好？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1278 天前的主题，其中的信息可能已经有所发展或是发生改变。

python 工作一年了，做过爬虫和小网站

python 用来爬虫看起来比后端合理？但是以目前的能力阶段可能会更喜欢后端一点，但是仿佛又存在 python 做后端的就业环境，如果做后端是否要转语言呢？

Python

爬虫

后端

端

36 条回复 • 2021-07-02 10:40:27 +08:00

wzymmy

2021-06-28 13:43:15 +08:00 via iPhone

爬虫写的好，牢饭吃得早（口胡）

herich

2021-06-28 13:50:44 +08:00

我刚开始做过一年左右的爬虫，后来业务需要用 go 写后端去了，这条路子非常适合现在的你

yitingbai

2021-06-28 13:56:25 +08:00

后端是 Java 的天下, 虽然有很多人不愿意承认

Morriaty

2021-06-28 14:23:43 +08:00

我一直不理解，除了百度、头条爬虫这种级别，其他什么类型的公司需要一个专职做爬虫的岗位...往往说是爬虫工程师，都或多或少带点 web 后端的工作（写个页面展示数据）吧？

MarkLeeyun

2021-06-28 14:37:15 +08:00

爬虫不行。后端吧。。。。

Fenglin0721

2021-06-28 14:53:38 +08:00

走后端，和爬虫不完全冲突，后端方面更广，建议后端。单单做爬虫就把格局做小了

TAFMT

2021-06-28 18:00:43 +08:00

我大学是学爬虫的，现在转到后端了。。。

3dwelcome

2021-06-28 18:03:01 +08:00

后端好一些，爬虫每天就是在电脑面前发呆，等着下载进度。

还要看天吃饭，万一有一天官方不开心封你号，凭空又多一堆麻烦事。

fire2y

2021-06-28 18:06:06 +08:00

不能做单一的开始我也是会爬虫后面公司倒闭了发现自己只会爬虫单独爬虫的公司又很少所以还是建议最起码的后端是要会的

czfy

2021-06-28 18:15:19 +08:00

从长远来看，肯定是走后端好的
从短期来看，爬虫短时间内工资可能会开得比较高，但风险也更高

Jooooooooo

2021-06-28 20:07:48 +08:00

后端肯定天花板更高

no1xsyzy

2021-06-28 20:12:07 +08:00

@yitingbai 如果你不确定自己想做什么东西，请使用 Java 。这是一种糟糕的编程语言，但几乎无所不能。

tumaowolf

2021-06-28 21:10:02 +08:00 via Android

重要的是 java 吗?重要的是 spring boot

aru

2021-06-28 21:22:13 +08:00

还有考虑？肯定是后端啊

auh

2021-06-28 23:08:54 +08:00

后端简单，爬虫水深

zhangxh1023

2021-06-28 23:15:56 +08:00

小爬虫已经转行 java 了。。。。真不行这行当

ipwx

2021-06-28 23:30:54 +08:00

@Morriaty 数据分析的岗位很可能需要爬虫。比如，做量化投资。。。

ipwx

2021-06-28 23:31:59 +08:00

不过其实这种公司需要的不仅仅是爬虫，还需要这个岗位的人运维数据库、还要有一点点数据分析的能力才行。那这种岗位肯定是 Python 没跑了。

HankLu

2021-06-29 00:41:06 +08:00

宁要后端一棵草，不要爬虫一枝花

luo31

2021-06-29 00:48:06 +08:00 via Android

爬虫好

kingfalse

2021-06-29 09:34:01 +08:00

能转就早点转,不然后面会发现路越走越窄了.前车之鉴

Nich0la5

2021-06-29 11:11:28 +08:00

大公司 python 要的少转 java 后端了

Morriaty

2021-06-29 11:37:08 +08:00

@ipwx 对的，我的意思是相对于百度爬虫工程师，这种小爬虫工程师更应该称为数据分析工程师吧，核心技能点时 excel 、pandas 和业务理解吧

Morriaty

2021-06-29 11:39:22 +08:00

在明确下，如果是大规模爬虫，我觉得还是很有钱途的，核心技能点是大规模队列、分布式数据库

WilliamYang

2021-06-29 15:34:36 +08:00

有人曾经问我，工作里面遇到哪些计算机相关的难题是最难解决的，是分布式，高并发吗，人工智能？我告诉他，这些都不是，爬虫比这些难多了，上面的问题，再难都可以解决，解决了就是解决了，而爬虫，今天弄好的完美的方案，明天就被改了，突然间要排查发生了什么问题，是自己的还是对方的，如果是对方的，又要知道对方更新了什么，知道了又要改，最后周末还在加班都不一定搞完。所以再高工资都没用，根本就不是自己能控制的，写一个自己不能控制稳定运行的程序有意思吗