关于公司搭建 AI 问答的一些风险

[hui9000]

这是上一个问题，https://www.v2ex.com/t/999563#reply52 关于搭建 AI 问答的 经过几天研究讨论，最终定下我们内部先搭建一个基于 chatGPT3.5-turbo 的问答的应用，先让公司内部习惯使用此工具； 这里有几个问题问一下各位大佬彦祖： 公司背景：处于国内，非互联网公司，传统零售业

1. 肯定需要 vpn ，如果我使用买的 vpn 是否有风险，改应用只限内部使用，也就是公司内网，以后也不会开放外部人员使用；
2. 如果 1 有风险，使用中转 api 是否有稳定可行；
3. 开发聚合的多模型的类似这种 https://anakin.ai 有没有成熟的方案？ 最后：其实我理解上层的想法，就是增加效率，降低成本，都不好过； 将来可能会淘汰一部分运营，设计，做报表的。

[asche910]

之前不有个老哥自己搭建的，被裁了还一堆屁事被公司告。

[gletec]

@asche910 对这事有印象，有啥后续没？

[halobugTurbo]

我是使用 Azure OpenAI 的服务，不需要 VPN 就可以调用。（即便是使用了 VPN 改善了网络环境，但是推理速度也不会很快！）

[lianglianglee]

可以让公司把服务器买在国外，开 IP 白名单，只对公司的 IP 开放。所有费用、账号，都用公司的。个人可以垫付后报销。

[paopjian]

字节不都说他们买了 azure 的服务么,感觉大公司表面上都是有访问外网的权利的,是不是得申请什么啊字节不都说他们买了 azure 的服务么,感觉大公司表面上都是有访问外网的权利的,是不是得申请什么啊

[Ghostsss]

3 楼+1 ，可以试试 azure 的，以公司名字注册申请该账号，后续消耗费由公司承担。

[whoami9426]

可以试试 cloudflare 的 worker 转发 api

[boolstone]

1 、cloudflare 代理
2 、中转 api 找个稳定的就是

[asche910]

@gletec 没，找不到了。。

[zh584728]

@gletec 在这里
上：[我给公司部署了一套 ChatGPT, 老板说没有目的性, 给我这件事的绩效打了个 C, 如何评价这一现象?]( https://www.v2ex.com/t/963224)
中：[我就是上次给公司部署 ChatGPT 的, 今天被开了]( https://www.v2ex.com/t/966243)
下：[我是 GPT 老哥, 现在公司因为我下了自己的 API-KEY 威胁我, 我可以怎么办]( https://www.v2ex.com/t/966984)

[huhu4018]

我有点好奇公司为什么要搭建这个？有什么应用场景呢，如何提高生产效率？

[whoiskoala]

3.5 可以使用中转 api ，可以不用 vpn ，而且价格还便宜

[Anshy]

反正不需要自己出钱，省事点，直接用中转 api ，然后中转 api 多找几家就好了

[hui9000]

@zh584728 我草 有点汗流浃背了哥

[hui9000]

@whoiskoala 有没有稳定的推荐呀

[hui9000]

@huhu4018 基本的运营是可以代替的，我们很多员工不懂计算机或者流程 我们都有专人管弄飞书服务台进行回复
还有一些海报设计，促销什么的；还有一些给老板看的销售报表都是人工弄；

[chitanda]

我在几家自己接入 ChatGPT 的公司干过，一家是集成到飞书里自己内部使用，走的香港亚马逊到米国的服务器，没有被 ChatGPT 封过。一家是客服性质的，用来做商业化的客服机器人，自己用的什么机场，ChatGPT 账号被封过，然后从什么黄牛那里买了 azure 的接口，后来 ai 管理法出来了，就转成了国内的。

[cherryas]

国内非互联网公司搞什么 gpt3.5 ，不会是你主推的吧？到时候开发票你就搞不定。

[churchmice]

将来报道出了偏差，lz 可是要负责任的

[paopjian]

你要真这么怕,还是直接找百度吧

[Maco]

公司用 VPN 的话，建议采购中国联通的 SDWAN 方案，合法的； 5M 大概 1400 人民币/月 + 一个境外的服务器即可。

[phytry]

用 azure 吧，需要提交公司资料申请 azure ai 的使用权，账号和信用卡绑定都用公司提供的就好了，自己只是协助公司开通和部署业务

[reeco]

请我当顾问，帮你搭一个完全私有部署的 :-)

[em70]

用 VPN 不是个好方案,应该部署一个海外代理服务器,阿里云有精品网络走国内,可以保证稳定

[reoah2]

建议 azure+langchain

[em70]

@reeco #23 搭一个跑起来很容易,但要精准召回,需要自己做数据对齐,特别在资料有表格和公式情况下,难度不亚于开发一个垂直搜索引擎

[weilongs]

感觉搞这事就是搞事。 惹一身骚。

[Seulgi]

如果用 openai 的 gpt ，发票就开不出来。所以合法合规就是用 azure openai ，至少有国内团队洽谈商务，都是出海正规做法。

[kalman03]

问楼主：你是如何有 openai 的 api 权限的（你搞定绑卡了吗）？如果连 API 权限都没有，你考虑怎么调用没意义吧？

[ShawBen]

Azure+1,不需要 VPN

[Rnreck]

@hui9000 #14 别做吃力不讨好的事情，，

[hui9000]

@cherryas 领导下达的任务，我也很难办，也在全体会议上公布了我负责研究搭建。难搞

[hui9000]

@weilongs 我也有这担心，弄好了怕出其他幺蛾子，弄不好，又怕领导怪罪。
@Seulgi @kalman03 走中转方案 找能开票的中转 api 应该能避免这个；

[hui9000]

@Rnreck 兄弟我现在是骑虎难下了

[whoiskoala]

@hui9000 我这边有，怎么联系你呢？

[hui9000]

@whoiskoala 能开票么？

[whoiskoala]

@hui9000 能得