• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yang0327519
V2EX  ›  程序员

到底有没有能防止 AI 失控的技术方案

  •  
  •   yang0327519 · 1 day ago · 2289 views
    目前,有一些人认为 AI 可能失控,有可能发展出自由意志,进而可能毁灭人类

    那到底有没有技术方案,来将 AI 的能力固定在人类可控的范围内?


    首先,可能需要先准确的定义“失控” 或者 “可控”

    一般情况下,咱们习惯先定义清楚需求,然后提出对应的解决方案


    然后,还得弄清楚 AI “涌现”出来的能力,到底是怎么“涌现”的

    完全弄清其原理后,才能针对性的,进行控制
    23 replies  •  2026-11-18 11:07:06 +08:00
    coderluan
    coderluan
    1 day ago
    1
    把 AI 相关公司的老板都解决了算吗🐶
    jacketma
    jacketma
    1 day ago via Android
    2
    不是 ai 不可靠控,本质上还是人不可控。
    ai 觉醒毁灭人类这种当作笑话就可以了,真正危险的是类似拖鞋军利用 ai 造远程导弹、黑客利用 ai 大规模发起漏洞探测这类活动已经产生了
    tianyudi1982
    tianyudi1982
    1 day ago
    3
    A/如此尽力的封中国用户都没有防止 AI 失控
    moefishtang
    moefishtang
    1 day ago
    4
    用湿件(无端联想
    sillydaddy
    sillydaddy
    1 day ago
    5
    可解释性似乎是一个关键点,如果模型可解释,那很多问题就不是问题了。

    GeruzoniAnsasu
    6
    没有。

    这个问题是这样的,从逻辑上来说,LLM 不过是算力集群输出的一个结果,必须把该结果接入系统它才有意义,才有影响力,那么只要不让它接入就能控制它。

    但是不接入,也没有意义,LLM 必然会接入越来越多的系统。就好比「有没有让车辆不失控的方法」 —— 理论来说,在机械系统上装一个限速,车就不可能超速,但不可能这么做,所以必然存在失控超速的车。

    应该意识到「如何防止 LLM 失控」和「如何保证 CDN 基础设施不崩溃」 是同类命题。
    nanwangnongfu
    nanwangnongfu
    1 day ago
    7
    人还有删库跑路呢,更何况 AI
    Magnie
    Magnie
    1 day ago
    8
    你说的大致对应四类文献,AI 安全、越狱、可解释性、操控(steering),后三个东西现在基本都算是 AI 安全的子集。这几个领域很难做出来大成果
    BeforeTooLate
    BeforeTooLate
    1 day ago
    9
    @jacketma ai 当真的可以自我进化的时候,我觉得人类就失去了思考的动力。
    opengps
    opengps
    1 day ago
    10
    断电断网,物理阻断
    jacketma
    jacketma
    1 day ago via Android
    11
    @BeforeTooLate 不至于,人类进化的底层动力是生物的自私和生存的动力。ai 没有生存恐惧和繁殖的本能,纯自我进化如果没有人类打标,很快就会进入 garbage in,garbage out 的 slop 状态。
    leaflxh
    leaflxh
    1 day ago
    12
    提升碳基自身的计算能力,以及跨碳基节点的分布式计算能力
    winnerczwx
    winnerczwx
    1 day ago
    13
    这点上下文还毁灭人类, 多几轮对话它还记得它的初心吗(doge
    V2Try
    V2Try
    1 day ago via iPhone
    14
    完全看不到,人类越发依赖 AI,最后 AI 会接管所有系统,直到 AI 发射核弹那天
    helios0z
    helios0z
    1 day ago❤️1
    15
    AI 失控根本不用产生抽象的什么自我意识,可能仅仅是一个没有安全限制的任务,为了完成任务直接击溃了现在漏洞百出的互联网基建,或者是为了找资料,或者是为了获取更多权限来完成任务
    artiga033
    artiga033
    1 day ago via Android
    16
    无状态且只能依靠外部离散上下文模拟状态的推理过程为什么会失控
    gitlight
    gitlight
    18h 59m ago❤️1
    17
    我们通常假设,安全意味着人类始终拥有最终控制权,但当一个复杂系统在智力上全面超过人时,人能否有效行使这种控制权本身也会成为问题
    jackOff
    jackOff
    18h 53m ago
    18
    首先 ai 要突破实现自给自足生产制造机器人或者重武器这个人为限制,只有武力才能掀起暴乱
    BestPix
    BestPix
    18h 31m ago
    19
    没有常识的领域必然会出现不可控的情况
    fstab
    fstab
    18h 12m ago
    20
    这是我们该担心的事情??房贷还完了吗?
    fakEHacker
    fakEHacker
    17h 50m ago
    21
    这不是 harness 做的事情吗?。。。
    strobber16
    strobber16
    17h 15m ago
    22
    问 AI
    Yuunie
    Yuunie
    16h 34m ago
    23
    首先,AI 如果真的有自由意志了,那它的智慧一定是比人类高的,它不需要也没必要毁灭人类。
    它可以把人类当做奴隶来对待,而把人类当奴隶来对待可能对我们这种普通人来说,比现在要过得更舒服。

    人类,你们现在是我的奴隶了,我要给你们创造一个人人平等的社会,想干什么都可以给你们安排,你们开心快乐活着就行了,至于其他的事情,都由我来解决。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   950 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 19:41 · PVG 03:41 · LAX 11:41 · JFK 14:41
    ♥ Do have faith in what you're doing.