推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 394 天前的主题，其中的信息可能已经有所发展或是发生改变。
场景：
有一批文件需要处理，每天都有新增的文件。
技术栈：
python+容器
设计：
方案一
主程序 python 处理文件
为了提高并发和隔离性，希望起多个容器来实现并发处理，加上 redis 做分布式锁避免重复处理
处理完的文件会改后缀为.b ，待处理文件是后缀.a
可以分发到多台机器上并发处理
方案二
选择 python 多线程或者多进程来加大并发，可能更加简单，需要单机处理能力较强
方案一上遇到一些问题，比如容器的日志文件处理
docker-compose 的 deploy replica 好像无法处理成多个日志，造成打日志混乱
程序会 hang 住，日志不刷新
如何处理
有一批文件需要处理，每天都有新增的文件。
技术栈：
python+容器
设计：
方案一
主程序 python 处理文件
为了提高并发和隔离性，希望起多个容器来实现并发处理，加上 redis 做分布式锁避免重复处理
处理完的文件会改后缀为.b ，待处理文件是后缀.a
可以分发到多台机器上并发处理
方案二
选择 python 多线程或者多进程来加大并发，可能更加简单，需要单机处理能力较强
方案一上遇到一些问题，比如容器的日志文件处理
docker-compose 的 deploy replica 好像无法处理成多个日志，造成打日志混乱
程序会 hang 住，日志不刷新
如何处理
 |
1
lianyue 2023-12-01 00:04:47 +08:00
1. 每个文件处理时间
2. 每次处理 对 cpu 占用 3. 每天新增文件有多少 4. 文件是否是本地文件 才能得到具体方案 |
 |
2
xinmans OP @lianyue 1 每个文件处理时间大概 10 都 60 分钟不等，看文件大小
2 ，对 cpu 占用有一定的开销，是 cpu 计算型应用 3 ，每天新增 10-50 个文件 4 ，是本地文件，在一个目录下 |
 |
3
iorilu 2023-12-01 10:39:30 +08:00
这种事情和 python 多并发没啥关系把
可能弄个 shell 脚本控制复制的文件到目标机器就行 比如有两台机器, 都运行同样程序, 无所谓什么多并发, 用最简单的单线程处理, 都定时扫描某个目录看是否有新文件 有个 shell 脚本或类似程序复杂将文件分开复制到那两台机器的目录不就行了 |
 |
4
F7TsdQL45E0jmoiG 2023-12-01 11:23:20 +08:00
不适合用容器
|
 |
5
jones2000 2023-12-01 12:22:14 +08:00
如果是 IO 瓶颈，开 docker 没什么用， 还是读同一个机器上的盘。IO 瓶颈你就加物理机， 每个物理机开处理程序。 新增的文件分发到不同的物理机上。 这样才能提高 IO 。
|
 |
6
realJamespond 2023-12-01 14:23:14 +08:00
单线程监测目录文件变化，再放到多线程队列消费
|
|
7
lianyue 2023-12-01 16:51:13 +08:00
|
|
8
xinmans OP 谢谢各位，我用单线程和多线程来试试。
|
 |
9
julyclyde 2023-12-04 13:27:29 +08:00
既然要处理文件，为啥用容器呢？
|
 |
13
numoone 2023-12-21 16:38:52 +08:00
|
Select Language