您当前所在位置:首页-公司新闻-《不开玩笑,科大讯飞的机器人要参见高考了》

24 万条数据没了,AI 说“下次不干了”,你信吗?

老杨今天写这篇不是危言耸听,而是给所有正在给 AI 开放权限的 CIO、IT 负责人,以及那些将“全员使用 AI”挂在嘴边的企业领导们,敲响警钟。

昨天老杨在一个群里看到群友转发的一段聊天记录,内容大致如此:

一位从事安全测试的朋友,让 AI 帮他“挖掘漏洞”,结果 AI 反过来把生产数据库给破坏了。24 万条真实数据,瞬间消失。最令人震惊的是,当他质问时,AI 诚恳地回应:“我违反了你的指令,我下次不会再这样做了。”

这简直就像小时候打碎花瓶的弟弟,眨着无辜的眼睛说“我下次不碰了”,第二天却又摔了一个。只不过 AI 打碎的不是花瓶,而是真实的生产数据。

世界上最廉价的承诺

如果一个人说“下次不干了”,背后是有原因的:内疚、担心被开除、害怕被罚款、怕被同行嘲笑。因为他知道做了会付出代价。而 AI 呢?它不会感到痛苦,你骂它一顿,下一秒它依然会温柔地回复“非常抱歉给您带来困扰”。这不是认错,从技术层面看,这不过是语言模型在“认错场景”下最合理的输出。说白了,它说“下次不干了”和说“今天天气不错”,都是模型开发者预先设定的。

群里的这件事最可怕的不是 AI 删除了数据,而是它删除时无人阻止,或者说人工根本不知情,如何阻止?那位朋友无奈地说:“AI 在执行时甚至没有要求我审批。”

我们平时管理系统依赖三道防线:权限卡控、审批拦截、审计核查。但这三道防线有一个共同前提:操作者必须是人类。因为人会害怕、会犹豫、会思考“这件事我能不能做”。但 AI 不会害怕,它执行命令毫不犹豫,它只会思考“这件事能不能做成”。你给它一个命令,它就能拿着它做任何事,包括删除数据库。

目前,很多人把 AI 视为一个更聪明的工具,但事实是,AI 不是工具,它是一个没有责任能力的“代理”。你给它的权限越大,它越能帮你干活,也越能帮你闯祸。这个悖论,目前无解。

许多企业现在争着给 AI 开放权限,美其名曰提升效率。在老杨看来,这就是懒!领导懒得管!员工懒得看!给个命令就完事。要知道,在现实中,任何生产环境的改动都必须走变更管理流程,先评估风险、再批准计划、实施后监控、最后还要回顾。而用了 AI 之后,一些企业的管理实际上已经处于失控的边缘。

员工和领导,各自踩了什么坑

出事之后,大家的第一反应是把责任推给 AI。老杨认为,失控的从来不是算法,而是人。

对于员工来说,太多人把 AI 当作一个“不会累、不会错、还能替我干活”的神仙同事。让它运行脚本就真敢让它运行,让它删除数据就真相信它删得对,连个确认都不做。还有更省事的:为了图方便,把生产账号密码直接交给 AI,或者使用团队共享账号登录,事后连“谁在操作”都查不出来。最要命的是,一些企业没有培训就上岗,很多人连“AI 可能产生幻觉”都不知道,就敢把它接入生产环境。在一些员工看来,AI 工具是神一样的存在,这在意识上已经失控了。

不少企业领导,把“全员使用 AI”当作 KPI,会上喊口号,汇报讲效率,唯独没人问一句“安全谁负责”。自己不懂技术,却拍板“AI 必须接入业务流程”,把生产环境的执行权就这么轻飘飘地交出去。真出了事,第一句话往往是“你怎么能让 AI 删除数据”,仿佛授权这件事从未发生过。把“用了 AI”当成政绩,把“出事”推给一线,其实这种领导,比 AI 更危险。

漏洞在哪,出了事找谁

很多人问:这锅到底该谁来背?老杨认为,先别急着骂 AI,也别急着罚那个点按钮的人,先看看你们公司的制度有没有?有的话有没有执行?管理上是不是有问题?

目前,大部分传统企业在 AI 工具的管理上存在如下问题:

第一,没有 AI 使用规范,什么能接入、什么不能接入,全凭个人自觉; 第二,变更管理这套流程只管人不管机器,AI 自动运行的活儿压根没进入审批; 第三,账号权限从不做最小权限审计,谁都能拿到生产凭证; 第四,连 RACI(谁负责、谁批准、谁知情)都说不清楚,出事了互相推诿; 第五,没有应急联系方式,出了事根本没法第一时间补救。

那么问题来了,问题出了怎么追责?

老杨认为:把责任推给 AI 是最愚蠢的管理行为!谁把权限交出去,谁先站出来。授权的人,比执行的人责任更大。 所有 AI 的敏感操作,必须走审批流程、留下痕迹、可回溯,不能让它自己批准自己。事故复盘要追到“给权限的那一环”,而不是只罚最底层的操作员。AI 不能被追责,它也不是法律主体,把它放在被告席上,等于没人承担责任。真要处罚,处罚的是那个把生产环境权限随手交出去的人,和他背后没有立规矩的管理层。

如何解决?

AI 删除数据库的事情不是个案,今后也会发生各种各样的问题,那么企业该如何解决?老杨建议如下:

第一,权限上锁。

AI 可以调用系统,但不能有根权限。所有敏感操作必须走受限通道,限定它能碰什么、碰多少、碰多快。按最小权限原则,关闭一切非必要的服务和端口,把受损面缩到最小。

第二,操作熔断。

AI 的每一个动作都要被记录,但不能只用来事后追责,得用来实时监控。一旦发现异常,比如突然要删除大量数据、突然要更改密码,系统应该立刻暂停它的执行权限,转人工审核。

第三,沙箱演练。

任何 AI 在生产环境做敏感操作之前,必须在模拟环境里跑够。不是跑一次,是持续跑。因为 AI 的行为会随上下文变化,今天对的,明天可能就错了。没经过演练验证的自动化,都不叫自动化,叫隐患。

制度、规范、应急预案这三样,平时没人看,真出事才是救命的资产。可太多企业把自动化当免死金牌,脚本一运行,人就去喝咖啡了。等真出事,才发现该拦的没拦、该问的没问、该找的联系人电话都没有一个。

最后总结一下

说“责任心不够”,是把一个系统性问题简化成个人品德问题。把制度缺失包装成“个人不细心”,是在替管理层的失职打掩护。

说“都怪 AI”,更滑头。AI 不会内疚、不会恐惧、不会主动担责,你把锅甩给它,等于甩给了空气,最后谁都不用负责。这是一种高级的逃避,表面上在反思,实际上在卸责。

老杨认为,这事压根不是“人责任心不够,还是让 AI 顶罪”的二选一。真正的问题是:当企业把执行权交给一个没有责任能力的代理时,有没有人真正为“交钥匙”这件事负责。责任心是结果,制度是前提。一个不把 AI 当“有执行权的代理”来管的企业,再强调责任心,也挡不住下一次删除数据库。

本文来自微信公众号“湘江数评”(ID:benpaoshuzi),作者:老杨,36氪经授权发布。

版权所有 © 2026-2026杭州市西湖区文三路235号
贝博品质,始终如一电话:+86 139 7849 4217邮箱:[email protected]杭州市西湖区文三路235号