V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ClericPy  ›  全部回复第 82 页 / 共 133 页
回复总数  2657
1 ... 78  79  80  81  82  83  84  85  86  87 ... 133  
楼主也不给点代码看看到底哪的问题, 这样提问题让人很困扰啊, 只看报错的话, 不像是客户端(也就是 requests) 的问题, 反而像是你在同一个端口下开了多个 server 报的错, 没有代码也猜不了更多了

另外提 requests 并发的几个常识吧

1. 多线程并不是越多越快, 毕竟压根又用不到多核 CPU, 直接用官方建议的并发数比较合理, https://docs.python.org/zh-cn/3/library/concurrent.futures.html#concurrent.futures.ThreadPoolExecutor , 以前默认为机器处理器的个数, 3.8 以后又建议了 min(32, os.cpu_count() + 4).

2. 如果是 Windows 操作系统, 那就更不用考虑把并发数开大了, 别说开到几千, 开到五六百可能就超了 Windows 的单进程默认最大 文件描述符(句柄) 限制而报错了, 在 GIL 的作用下, 走协程+多路复用的路子比传统多线程要合理的多.

3. 如果真想要性能, requests 比 aiohttp 慢了 4 倍, 而且还是在 Windows 上无法启用 uvloop 提速的前提下, 协程开销比线程小很多, 也快很多, aiohttp 有 Cython 加成, 也比同样是协程的 httpx 快一大截.

4. requests 的 Session 是共享连接池的一套逻辑, 速度比 requests.get 快一大截, 毕竟后者每次要开启一个新的 Session, 也就创建新的连接. PS: 就我目前测试结果来看, 是线程安全的, 没必要加无谓的锁

5. 突破默认 http 适配器连接数上限也可以用以下代码来实现

custom_adapter = HTTPAdapter(
pool_connections=n, pool_maxsize=n)
session.mount("http://", custom_adapter)
session.mount("https://", custom_adapter)
目前我是自己爬的... Github api 标准的一塌糊涂, 而且不用 FQ, 好用的一匹
2020-03-02 23:03:36 +08:00
回复了 ingramyang 创建的主题 Chrome 为什么最近 chromium 浏览器加载网页会有很多元素加载不全?
3 楼已经找到问题了, 我就提一句: 当年也遇上过, 整个 Github 都成了这种 x......
2020-02-29 17:32:47 +08:00
回复了 justincnn 创建的主题 Python [求助,急] Python 文件保存出错,
re.sub(r'[^ \w]+', '_', name).strip()
2020-02-26 23:24:11 +08:00
回复了 linsxiang0731 创建的主题 问与答 Chrome 有没有窗口标签分组的插件?
@linsxiang0731 #3 呃, 我说的是它里面的会话分组功能, 也可以冻结, 不过看到 2 楼才刚知道你要的是新版本这功能
2020-02-26 12:23:35 +08:00
回复了 linsxiang0731 创建的主题 问与答 Chrome 有没有窗口标签分组的插件?
The Greate Suspender, 最有名气的了
2020-02-22 12:19:46 +08:00
回复了 frostming 创建的主题 Python 支持 PEP 582 的 Python 包管理器,和虚拟环境说再见
@frostming #12 期待 new release

提几个小需求, 不是很重要那种:

1. 目前升级单个 package 的语法是什么没找到, 之前 pipenv 升级单个包的那个命令有 bug, 然而 fix 的版本没 release 到 pypi 上, 坑惨我了, 楼主作为贡献者, 知道为啥 pypi 最新版本还是 2018 那个么

2. 有清理掉当前目录 pdm 全部相关文件夹的指令么, 有时候要重建 init, 发现旧的 __pypackages__ 似乎留下了, 有时候又纯粹想清理清理

3. 有计划支持 PEP 441 那种把整个项目打包成 pyz 么, 就是 linkedin/shiv 做的那样类似的, 毕竟依赖什么的都收集好了, 单文件发布的时候更省力气, 不过好像又和 pdm 初衷不太接近
2020-02-22 01:16:28 +08:00
回复了 downeywang 创建的主题 问与答 github pages 的访问记录可以查到吗?
我自己套的 ga 的那个 js, 反正不用 FQ, 还帮着统计统计
2020-02-22 01:08:56 +08:00
回复了 frostming 创建的主题 Python 支持 PEP 582 的 Python 包管理器,和虚拟环境说再见
复现方式
1. pdm init
2. pdm add futures
3. 执行脚本的 py 文件只要一行 from concurrent.futures._base import FIRST_COMPLETED
主要就是 concurrent.futures._base 覆盖了默认 python3.7 的, 但是里面 381 行语法是 python2 的

我这全局 python 是 3.7 的, 和 python2 共存, windows10, pylauncher 的 py.exe 默认也是 3.7
2020-02-22 01:03:15 +08:00
回复了 frostming 创建的主题 Python 支持 PEP 582 的 Python 包管理器,和虚拟环境说再见
随手试了下, 安装挺快的, 不用像以前一样折腾 shiv 了

不过解释器部分感觉怪怪的, init 的时候没有解释器参数, add 的时候, __pypackages__ 里文件夹是我默认 3.7 没错, .pdm.toml 文件里的解释器路径也是 3.7 的没错, 但是 add 的库给我下载的全是 py2 的 whl...... 当场凌乱了

certifi-2019.11.28-py2.py3-none-any.whl
chardet-3.0.4-py2.py3-none-any.whl
futures-3.1.1-py2-none-any.whl
idna-2.6-py2.py3-none-any.whl
requests-2.18.4-py2.py3-none-any.whl
torequests-4.9.2-py2-none-any.whl
urllib3-1.22-py2.py3-none-any.whl
Ubuntu 自带那个 Cockpit 虽然也自带了 Web 控制台, 感觉还是自己手撸脚本更省事呢...
插眼看看有没有靠谱点的
2020-02-21 12:49:29 +08:00
回复了 Marinej 创建的主题 Python 不懂就问,走火入魔了,函数对象会被 GC 吗
看情况吧, 不知道你具体怎么用的, 可以试试: 丢到 WeakSet 里, 看没有引用了以后这个 set 空了没有. 不过看 set 的时候要确保是在程序退出时候执行栈的最外层, 比如试试 atexit 或者丢到这个函数外层 class 的 __del__ 里
先赞为敬

以前习惯上善用佳软, 后来停更了, 上小众软件, 后来感觉大部分用不上, 上异次元佳软, 更新太慢了...
2020-02-20 22:06:34 +08:00
回复了 zgxzgx 创建的主题 Python 请教一个 venv 的问题
这种同系统发布, 看看 shiv 吧, linkedin 家的, 以前打包成单个 pyz 在有 python 解释器的环境里发布感觉还可以
2020-02-14 12:32:48 +08:00
回复了 skies457 创建的主题 程序员 有没有这样一种语言
@whoami9894 #29 第一行写的就是 1.0 吧...
2020-02-14 09:01:03 +08:00
回复了 skies457 创建的主题 程序员 有没有这样一种语言
我怀疑你在说 Nim, 但又没有证据...

https://github.com/the-benchmarker/web-frameworks

这语言的 web 框架 Benchmark 不知道什么时候在这个榜单里成第一了... 2 和 3 是 JS 也很 6 了

但是没大厂背书的语言, 不太敢用
不提在线聊天室, 碰到过几次 V2 半夜更新, 但没有一次把回帖的代码格式化给带上过, 凑合用吧, 以前你没的选, 现在你只能选一个
想起 wegame 导致的劫持 LSP 等网络驱动了...

腾讯 WEGAME 导致 wsl 网络故障, 执行完重启:
sc delete QqGameMasterControl


能不能帮到你我也不知道了
2020-02-09 18:10:04 +08:00
回复了 JerningChan 创建的主题 Python 请教一下 vscode 写 py 装哪个自动提示的插件最好用
@JerningChan #32
autodocstring v0.4.0
beautify v1.5.0
code-blue v0.9.12
code-runner v0.9.15
code-settings-sync v3.4.3
errorlens v2.9.0
git-graph v1.21.0
gitblame v3.0.1
gitignore v0.6.0
Go v0.13.0
html-snippets v0.2.1
indent-rainbow v7.4.0
material-icon-theme v3.9.2
one-monokai v0.4.6
python v2020.1.58038
sublime-keybindings v4.0.6
todo-tree v0.0.167
unique-lines v1.0.0
vscode-autohotkey v0.2.2
vscode-language-pack-zh-hans v1.42.2
vscode-open-in-github v1.3.6
vscodeintellicode v1.2.5
1 ... 78  79  80  81  82  83  84  85  86  87 ... 133  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5620 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 48ms · UTC 03:28 · PVG 11:28 · LAX 19:28 · JFK 22:28
Developed with CodeLauncher
♥ Do have faith in what you're doing.