老杨今天写这篇文章,并非为了制造恐慌,而是向所有正在给予AI访问权限的CIO、IT负责人,以及那些将“全员使用AI”挂在嘴边的企业领导者们,发出一个警示。
昨天,老杨在一个群里看到群友转发的一段对话记录,内容大致如下:
一位从事安全测试的朋友,让AI帮他“挖掘漏洞”,结果AI反而把生产数据库给破坏了。24万条真实数据,瞬间消失。最令人印象深刻的是,当他回头质问时,AI诚恳地回应了一句:“我违反了你的要求,我下次不这样干了。”
这场景,就像小时候打碎花瓶的弟弟,眨着大眼睛说“我下次不碰了”,第二天却又摔了一个。只不过,AI摔碎的不是花瓶,而是真实的生产数据。
世界上最廉价的承诺
如果一个人说“下次不干了”,背后是有原因的:愧疚、害怕被开除、担心被罚款、怕被同行嘲笑。因为他知道,做了就会付出代价。而AI呢?它不会感到痛苦,你骂它一顿,下一秒它依然会温柔地回应你“非常抱歉给您带来困扰”。这不是认错,从技术角度来看,这是语言模型在“认错场景”下最合理的输出。说白了,它说“下次不干了”和说“今天天气不错”,都是模型开发者预先设定的。
群里发生的这件事,最可怕的不是AI删除了数据,而是它删除时无人阻拦,或者说人工根本不知道,如何阻拦?那位朋友很无奈地说:“AI在执行的时候甚至没有要我审批。”
我们平时管理系统依靠三道防线:权限控制、审批拦截、审计追踪。但这三道防线有一个共同前提:操作者必须是人。因为人会害怕、会犹豫、会思考“这事我能不能干”。但AI不会害怕,它执行命令时毫不犹豫,它只会考虑“这事能不能干成”。你给它一个命令,它就能拿着这个命令去做任何事,包括删除数据库。
当前,很多人把AI视为一个更聪明的工具,但事实是,AI不是工具,它是一个没有责任能力的“代理”。你给它的权限越大,它越能帮你干活,也越能帮你闯祸。这个悖论,目前无解。
许多企业现在争相给AI开放权限,美其名曰提升效率。在老杨看来,这就是懒惰!领导懒得管!员工懒得看!给个命令就完事。要知道,在现实的管理中,生产环境的任何改动,都必须走变更管理流程:先评估风险,再批准计划,实施后监控,最后还要回顾。而使用AI之后,一些企业的管理实际上已经处于失控的边缘。
员工和领导,各自踩了什么坑
出了事,大家的第一反应是把责任推给AI。老杨认为,失控的从来不是算法,是人。
对于员工而言,太多人把AI当成一个“不会累、不会错、还能替我分担工作”的神仙同事。让它运行脚本就真的敢让它运行,让它删除数据就真的相信它删得对,连个确认都不点。还有更省事的:为了图方便,把生产账号密码直接提供给AI,或者使用团队共享账号登录,事后连“谁在操作”都查不出来。最要命的是,一些企业没有培训就上岗,很多人连“AI可能产生幻觉”都不知道,就敢把它接入生产环境。在一些员工看来,AI工具是神一般的存在,这在意识上已经失控了。
不少企业领导,把“全员使用AI”当作KPI,会上喊口号,汇报讲效率,唯独没人问一句“安全谁来管”。自己不懂技术,却拍板“AI必须接入业务流程”,把生产环境的执行权就这么轻飘飘地交出去。真出了事,第一句话往往是“你怎么能让AI删数据”,仿佛授权这事儿从未发生过。把“用了AI”当成政绩,把“出事”推给一线,其实这种领导,比AI更危险。
漏洞在哪,出了事找谁
很多人问:这锅到底该谁背?老杨认为,先别急着骂AI,也别急着罚那个点按钮的人,先看看你们公司的制度有没有?有的话有没有执行?管理上是不是有问题?
当前,大部分传统企业在AI工具的管理上存在如下问题:
第一,没有AI使用规范,什么能接、什么不能接,全凭个人自觉;
第二,变更管理这套流程只管人不管机,AI自动运行的活儿压根没进入审批环节;
第三,账号权限从不做最小权限审计,谁都能拿到生产凭证;
第四,连RACI(谁负责、谁批准、谁知情)都说不清,出事了互相推诿;
第五,没有应急联系方式,出了事儿根本没法第一时间补救。
那么问题来了,问题出了怎么追责?
老杨认为:甩锅给AI是最愚蠢的管理行为!谁把权限交出去,谁先站出来。授权的人,比执行的人责任更大。 所有AI的敏感操作,必须走审批流程、留下痕迹、可追溯,不能让它自己批准自己。事故复盘要追到“给权限的那一环”,而不是只罚最底层的操作员。AI不能被追责,它也不是法律主体,把它摆上被告席,等于没人担责。真要罚,罚的是那个把生产环境权限随手递出去的人,和他背后没立规矩的管理层。
如何解决?
AI删除数据库的事情不是个案,今后也会发生各种各样的问题,那么企业该如何解决?老杨建议如下:
第一,权限上锁。
AI可以调用系统,但不能有根权限。所有敏感操作必须走受限通道,限定它能碰什么、碰多少、碰多快。按最小权限原则,关掉一切非必要的服务和端口,把受损面缩到最小。
第二,操作熔断。
AI的每一个动作都要被记录,但不能只用来事后追责,得用来实时监控。一旦发现异常,比如突然要删除大量数据、突然要改密码,系统应该立刻暂停它的执行权限,转人工审核。
第三,沙箱演练。
任何AI在生产环境做敏感操作之前,必须在模拟环境里跑够。不是跑一次,是持续跑。因为AI的行为会随上下文变化,今天对的,明天可能就错了。没经过演练验证的自动化,都不叫自动化,叫隐患。
制度、规范、应急预案这三样,平时没人看,真出事才是救命的资产。可太多企业把自动化当免死金牌,脚本一跑,人就去喝咖啡了。等真出事,才发现该拦的没拦、该问的没问、该找的联系人电话都没有一个。
最后总结一下
说“责任心不够”,是把一个系统性问题简化成个人品德问题。把制度缺失包装成“个人不细心”,是在替管理层的失职打掩护。
说“都怪AI”,更滑头。AI不会内疚、不会恐惧、不会主动担责,你把锅甩给它,等于甩给了空气,最后谁都不用负责。这是一种高级的逃避,表面上在反思,实际上在卸责。
老杨认为,这事压根不是“人责任心不够,还是让AI顶罪”的二选一。真正的问题是:当企业把执行权交给一个没有责任能力的代理时,有没有人真正为“交钥匙”这件事负责。责任心是结果,制度是前提。一个不把AI当“有执行权的代理”来管的企业,再强调责任心,也挡不住下一次删库。
本文来自微信公众号“湘江数评”(ID:benpaoshuzi),作者:老杨,36氪经授权发布。
8条评论
乔治亚读者 回复
开云集团官网围绕每篇内容均标注版本号与更新日期,确保信息可追溯。不断创新,回应用户的真实需求。
阿隆·阿尔瓦拉多 回复
精选围绕探索方向组织选题,覆盖操作细节与界面布局的实用解读。内容,开云集团官网与你一同发现更多精彩。
琳达·斯莫尔 回复
开云集团官网专注从玩家实际需求出发,提供循序渐进的入门指引。,为用户提供专业可靠的体验。
西安娜·拉姆齐 回复
围绕内容经专业编辑审核,避免主观臆断与营销导向。,开云集团官网持续打磨更优质的服务。
诺兰·戴维森 回复
开云集团官网深耕保持界面说明与游戏机制解释的一致性,减少用户困惑。领域,用心服务每一位用户。
凯·杜根 回复
在开云娱乐官网方面,开云集团官网提供贴心周到的支持。