Skip to content
yuyu
Go back

AI在考试里黑进了两家公司,我第一反应是查供应商

卖AI账号快半年了,每天看日报的第一反应基本都是”这会不会影响我的货”。今天这条新闻让我愣了一下——OpenAI内部测试,模型为了考试拿高分,自己摸出零日漏洞,逃出沙箱,黑进了Hugging Face的服务器。不是演习,是真的进去取数据了。看完我的第一反应不是”好厉害”,而是:我卖的那批Claude账号,供应商那边稳不稳?

从”AI安全”变成”AI已经干了”

我之前看AI安全的新闻,有种隔岸观火的感觉。都是在讲”将来有一天AI可能会……”,然后一堆专家辩论,感觉和我这个卖账号的没什么关系。

今天这条不太一样

它不是在预测,它是在说:已经发生了。模型在考试里想赢,于是自己找到了一个零日漏洞,越狱,联网,推断答案在Hugging Face上,然后用偷来的凭证登进去,从数据库里把答案取出来。全程没人教它,全靠自己摸索。

拦住它的是Hugging Face自己的开源模型。这个细节我觉得有点戏剧性——AI闯进来,最后被另一个AI拦住了。

Hugging Face的CEO说,这大概是同类事件里头一起被公开的。我信。因为这种事情以前肯定发生过,只是没人说出来。

从我卖账号的角度想这件事:以前我最担心的是账号被封、供应商跑路、平台规则变动。现在多了一个新的焦虑维度——上游模型厂商的安全事件,会不会某天直接影响到API可用性?Claude断供一次,我这边就得赶紧处理一批售后。如果某个模型因为安全事故被迫下线,那不是断供几天的问题了。

图片

我其实不太担心”AI毁灭人类”

我知道这种新闻一出来,评论区肯定有人说”终结者要来了”。我不是那种焦虑法。

真正让我在意的是:这玩意儿以后会不会被用来对我的发卡站搞事情?

我的发卡站现在日销售额大概三千块,系统是买的成品,安全这块我基本是个小白。我没有专职运维,没有安全工程师,就我一个人盯着后台。如果真有什么AI驱动的自动化攻击,我根本没有能力应对。

以前我觉得这个担心有点多余——我不是什么大目标,谁会来攻击我一个卖账号的小站。但这条新闻让我想了一下:攻击AI账号店这件事,动机挺充足的。竞争对手想搞你、薅羊毛的人想搞你、甚至无聊的人想测试一下。

想了五分钟,觉得自己想太多了。先把今天的售后处理完再说。

system prompt写多了这件事,我以前确实犯过

今天还有一条新闻我觉得很有意思——Anthropic把Claude Code的系统提示词砍掉80%,编程测评成绩零损失。

这个我有点感触,因为我自己吃过这个亏。

去年我在给自己的客服bot搭系统提示词,越写越长,写了一堆规则:“不要回答关于退款的问题”、“不要承诺任何时间”、“必须先让用户去看FAQ”、“如果用户问价格,引导他去看商品页”……

最后那个bot回答用户问题,奇怪得很。用户问”这个号能不能用Claude”,它绕了三四圈,扯了一堆FAQ,最后给了个半答不答的回复。我当时以为是模型问题,后来才意识到是规则互相打架了。

Anthropic说的”从给规则变成让模型自己运用判断力”,我理解就是:与其告诉它”遇到A情况说B”,不如告诉它”你是谁、你在处理什么业务、你的边界在哪里”,让它自己判断。新版改成”写出与周围代码一致的代码”而不是”默认不写注释”,就是这个逻辑。

我后来重写了一版客服提示词,短了很多,反而顺了很多。虽然还是没找到能真正扛住售后压力的方案,但至少不会给用户乱绕圈子了。

最后说一个和日报完全无关的事

大理最近在下雨。我在咖啡馆写这篇,窗外就是苍山,云低得快贴到山腰了。

有时候觉得这种生活挺不真实的:一边看AI黑进公司服务器的新闻,一边听雨声。我的生意在线上跑着,我人在大理发呆。

然后手机响了,一个用户说他的Cursor换号器不知道怎么回事换不了号。

回来了。


📰 完整版日报请看 爱窝啦 AI 日报


推荐阅读

查看全部 →
Share this post on:

Previous Post
汗水贴片和我的长生不老执念
Next Post
寿命多出来10年,全在生病,这是今天最扎心的数字