这是一个创建于 835 天前的主题，其中的信息可能已经有所发展或是发生改变。
求效率最快的思路
 |
1
someonedeng 2022-08-15 11:06:51 +08:00
按批次 select 出来塞线程池跑就好了
|
 |
2
lmshl 2022-08-15 11:26:56 +08:00
1. 选一个 reactive stream 库（比如 akka-stream ）
2. 数据源（例如 jdbc ）包装为 stream source （一般 reactive stream 已经有包装好的） 3. 在 mapAsync(parallelism = <根据你的网络与综合性能设定的并行度>) 中实现你的 http download （推荐 akka-http ） 逻辑 4. 把它润起来 优点是不需要管理线程池，全程异步，如果网速不快的话，那 CPU 会很低。如果网速足够快，CPU 也不会浪费在无意义的上下文切换 |
 |
3
java253738191 2022-08-15 11:41:20 +08:00
datax+udf
|
 |
4
qwer666df OP |
|
5
someonedeng 2022-08-15 22:23:56 +08:00
@qwer666df 50 万行又不多，随便搞搞就好了
|
 |
6
letitbesqzr 2022-08-15 22:32:09 +08:00
50 多万 就别折腾了... 那些复杂的流程写完以后.. 开多线程都已经下完了
|
 |
7
yuuyoo 2022-08-18 11:24:23 +08:00
导入迅雷批量下载
|
Select Language