V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  brainzhang  ›  全部回复第 1 页 / 共 2 页
回复总数  35
1  2  
可以的,最简单的办法就是用二级域名,每个 docker 服务用不同端口,然后一个域名对应一个 docker 服务;用 Nginx 的反向代理来控制;

比如
A1.xx.com ,对应 8001 端口 服务;
A2.xx.com ,对应 8002 端口服务;

每一个服务最好都封装到 docker 服务里面,像 static 目录静态 web 服务这种,最好也不要用 nginx 来做了,也封装到 docker 服务里面,就是做到一个 docker 容器启动,就能从本地 http://127.0.0.1:800x 端口直接访问,这样最干净;

我原来有一篇文章记录了自己的操作,可以参考一下:

[Nginx 配置多端口多域名访问 -- 子域名多端口访问]

https://brain-zhang.github.io/blog/2019/11/18/nginxpei-zhi-duo-duan-kou-duo-yu-ming-fang-wen/
这个技术叫做侧链;我正好之前也研究过,写过一篇总结文章,希望有所帮助:

https://brain-zhang.github.io/blog/2019/01/23/bi-te-bi-de-blockchain-2/
2023-06-15 09:58:14 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@ykk 对,就是这样的;现在最傻瓜的办法就是咸鱼接单,人工服务;但是这个模式肯定是低效无比;

如果把这个流程简化成美团接单,有硬件的把家里的显卡出租做 AI 骑手,有画图需求的就来平台点一单 AI 生图,SD 这样的服务 UI 搞简单,平台抽一点税,这个模式听起来是可以的;
2023-06-14 19:16:12 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
另外,这个池子并不完全像 PT ;我认为大部分小白用户,是愿意付费(一元?)购买那些闲置算力,来生成一张好看的图片的;是能覆盖跑一张图片的算力成本的;这个是积分流转的另一个来源,可能是主要来源;

中间平台抽一点税,这个机制应该就能长期运转下去;
2023-06-14 19:12:35 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@pkoukk 是这样的,具体的激励机制还没有想的太清楚;

但是只要确定一点:就是这种众包形式总体上可以有效利用闲置计算资源,提高利用率;并且能有效的分配计算能力给最需要的人;这是有价值的;

剩下的,就是设计一种机制,能最大限度的发掘这个价值出来;
2023-06-14 18:39:49 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@rphoho 这个不是去中心的,也跟币圈和挖矿没关系;仅仅是拿挖矿打了个比方而已
2023-06-14 17:14:55 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@pkoukk 这个问题我觉得已经说明了;

1. 首先不能纯依靠算法,要有人工排查;你说的这种作弊或者攻击者人工 ban 掉
2. 为了排除无效 Client 提交,初期那种简单的,固定输入固定输出的 task ;分给多个 client 执行;然后返回结果进行比对;如果 Client 是无效计算,那它就会被降权,降权到一定程度就标记为低信用节点,同理多次执行后可以筛选出高信用节点
3. 引入积分制,信用高者获取积分有加成

就像运营一个社区一样,多种措施保证参与节点的诚实度;
2023-06-14 17:10:15 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@woctordho 多谢多谢;大家集思广益果然开拓视野;我研究一下 Horde 看看;
2023-06-14 15:02:44 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@Pteromyini 为什么呢?这个我不懂了;作为平台,我发现一个设备出图又快又好,不就是信用极好吗?
2023-06-14 14:58:23 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
最后就是模型越全,设备算力越强,接单能力就越强,信用值就会提高,同时积分积累会更快;这样就会良性循环;

接单者就会自己去完善环境,尽可能多的配置最全的模型等等;
2023-06-14 14:56:35 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@kkwkk 大体思路是这样的;具体实现可以智能一点;比如接单者的环境上传到平台,平台收到任务,会自动寻找合适的接单者进行匹配;
2023-06-14 14:36:22 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@kkwkk

1. 这种众包平台,对于个人用户来说(一般是小白,应用者),应该是是推理需求多,训练需求还是专业人士在公有云上跑合适
2. 从技术上来说,训练任务不好反作弊,不好并行跑;
2023-06-14 14:31:51 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@kkwkk 对;这是细节问题;估计平台还得对每一个接入设备打分;不过现在讨论的是大体框架有没有问题;技术上是不是有坑;
2023-06-14 14:06:51 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@lambdaq 一个任务就在一张卡上跑啊; 想要快,就选性能强的节点,多消耗积分;
2023-06-14 13:58:01 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@lambdaq 前期可以只做单卡运行的推理任务;
2023-06-14 13:50:24 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@woctordho 是的;我的用词不严谨;这个平台主要作用是推理;

当平台通过用户的推理任务完成度,建立信用机制后;可以引入一些训练的任务;
2023-06-14 13:38:27 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@Pteromyini

有 noise 的训练先不分给新来的接单者做;

先把固定参数、固定模型的推理任务交给新人做;像 stable difussion ,固定的参数配置输入,结果是相同的,可以分给三个人同时做,然后比对结果;

随机的训练交给"信用极好"者来做;信用只能通过时间和任务来累积;这样就从经济模型上规避作弊风险了;
2023-06-14 12:26:15 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@chesha1 您说的就是问题所在啊,有的人显存并没有那么大;他不可能为了生成一张图去买个显卡吧;也不太可能去买个公有云服务去搞一遍搭建吧;只能去用像 midjourney 这样的现成的服务;或者他就想一次快速生成 1000 张图片,去买公有云的价格肯定不便宜;

一个 all for one ,one for all 的众包平台,会极大的降低成本;
2023-06-14 12:23:50 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@xu11111111

反作弊确实是个问题;但我认为并不是无解的;

1. 首先,像文生图这样的任务,如果传入相同的参数,指定同样的模型,其结果是固定的,并不是随机的;所以可以通过相同任务分给多个接单者,然后进行结果比对,来排查有没有作弊;

2. 因为最终用户会感知结果好坏,可以像咸鱼那样,对接单者和用户都建立评分机制;久而久之,可靠的接单者和可靠的用户自然会脱颖而出;这样就形成了类似于 信用极好者与信用极好者 交易的氛围;就从经济机制上反作弊了

3. 平台人工判读;首先我觉得做好了 1 ,2 ,需要人工判读的时候并不多;至于太闲了或主观性,想想内容审查就知道了;判断一个 AI 文生图好不好,总比内容审核靠谱简单多了;
2023-06-14 11:19:58 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@chesha1 对的;我就是想做一个比较通用的推理众包平台,上面可以运行 stable diffusion 文生图、声音转换等等现成的模型任务;这些任务是可以单卡运行的;

至于需求,这个真不好说;我只能说这个跟公有云是错位竞争,面向个人爱好者和小工作室,不是给大企业训练模型用的;
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1053 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 18:39 · PVG 02:39 · LAX 10:39 · JFK 13:39
Developed with CodeLauncher
♥ Do have faith in what you're doing.