AI 不會(huì)因?yàn)榉稿e(cuò)而失去任何東西。當(dāng)越來(lái)越多的行動(dòng)經(jīng)由它進(jìn)入現(xiàn)實(shí) , 文明真正的風(fēng)險(xiǎn)不是機(jī)器覺(jué)醒 , 而是責(zé)任蒸發(fā)。

引子 : 第一件會(huì)參與決定如何使用自己的工具

人類很早就學(xué)會(huì)了造工具。石器延長(zhǎng)手臂 , 車輪延長(zhǎng)腳步 , 文字延長(zhǎng)記憶 , 蒸汽機(jī)延長(zhǎng)力量。

但過(guò)去所有的工具都共享一個(gè)特征 : 它們放大人的能力 , 卻從不取代人作為行動(dòng)者的位置。

刀不會(huì)自己決定刺向哪里。汽車不會(huì)自己決定開(kāi)往何處。印刷機(jī)不會(huì)自己挑選傳播哪一種思想。工具可以造成后果 , 但在工具背后 , 總有一個(gè)發(fā)出意圖、推動(dòng)行動(dòng)、并可以被追問(wèn)的人。

AI 正在改寫這條延續(xù)了幾萬(wàn)年的關(guān)系。它不再只是等待一條確定的指令 , 而是能理解目標(biāo)、拆解任務(wù)、選擇路徑、調(diào)用工具 , 并根據(jù)環(huán)境繼續(xù)行動(dòng)。

人類第一次造出了一種會(huì)參與決定如何使用自己的工具。

這讓 AI 看起來(lái)越來(lái)越像一個(gè)行動(dòng)者。但它又不是。

它能制造結(jié)果 , 卻不承受結(jié)果。它能解釋責(zé)任 , 卻不生活在責(zé)任里。它可以生成一段無(wú)懈可擊的道歉 , 卻不會(huì)因?yàn)樽约鹤鲞^(guò)的事失去自由、財(cái)產(chǎn)、職位、關(guān)系或者未來(lái)。

所以 AI 時(shí)代最鋒利的問(wèn)題 , 可能并不是機(jī)器是否擁有意識(shí)。而是 :

當(dāng)行動(dòng)可以脫離行動(dòng)者 , 責(zé)任還依附在誰(shuí)身上 ?

一、文明有兩個(gè)世界 , 過(guò)去連接它們的一直是人

《人類簡(jiǎn)史》提出過(guò)一個(gè)影響深遠(yuǎn)的判斷 : 人類之所以能大規(guī)模協(xié)作 , 是因?yàn)槲覀兡芄餐嘈乓恍┳匀唤缰胁⒉淮嬖诘闹刃颉?/p>

國(guó)家不等于那塊土地 , 公司不等于辦公樓加員工 , 貨幣不等于一張紙 , 法律也不等于一排文字。它們之所以有力量 , 是因?yàn)樽銐蚨嗟娜斯餐姓J(rèn)它們 , 并按它們行動(dòng)。

但共同相信本身不產(chǎn)生秩序。只有當(dāng)想象中的規(guī)則穿過(guò)制度、組織和人的行動(dòng) , 最終改變現(xiàn)實(shí) , 它才成為秩序。合同必須被履行 , 裁決必須被執(zhí)行 , 承諾必須變成行為 , 禁令必須真的能阻止某些事發(fā)生。

文明不只存在于人們相信什么 , 更存在于這些相信最終允許什么發(fā)生。

于是文明始終有兩個(gè)世界。一個(gè)是由語(yǔ)言、法律、貨幣和制度構(gòu)成的意義世界 , 規(guī)定什么應(yīng)該發(fā)生 ; 另一個(gè)是由資金轉(zhuǎn)移、身體行動(dòng)、機(jī)器運(yùn)轉(zhuǎn)和真實(shí)損失構(gòu)成的物理世界 , 決定什么已經(jīng)發(fā)生。

在人類歷史的絕大部分時(shí)間里 , 連接這兩個(gè)世界的通道 , 只有一種材料 : 人。

現(xiàn)在 , 這條通道里出現(xiàn)了第二種材料。

二、責(zé)任的本質(zhì) , 是不許行動(dòng)與行動(dòng)者徹底分離

我們?yōu)槭裁匆穯?wèn)責(zé)任 ?

并不只是為了懲罰。責(zé)任真正承擔(dān)的功能 , 是把一個(gè)已經(jīng)發(fā)生的結(jié)果 , 重新連回它的來(lái)源。

醫(yī)生誤診 , 我們追問(wèn)他的專業(yè)義務(wù)。管理者批準(zhǔn)了危險(xiǎn)決策 , 我們追問(wèn)他的判斷依據(jù)。司機(jī)撞了人 , 我們追問(wèn)他當(dāng)時(shí)在做什么。

這背后是一種非常樸素的直覺(jué) :

行動(dòng)不應(yīng)該成為沒(méi)有主人的孤兒。

一件事既然發(fā)生了 , 就應(yīng)該能沿著因果鏈找到某個(gè)可以回答 " 為什么 " 的主體。這個(gè)主體未必造成了全部結(jié)果——他可能被制度、命令、信息和環(huán)境裹挾——但他至少身處行動(dòng)鏈之內(nèi) , 無(wú)法完全站到行動(dòng)之外。

人類當(dāng)然一直在逃避責(zé)任。組織把它推給流程 , 管理者推給下屬 , 下屬推給命令 , 技術(shù)團(tuán)隊(duì)推給系統(tǒng)。但即便如此 , 我們始終默認(rèn) : 在這條鏈條的某個(gè)位置 , 應(yīng)該存在一個(gè)可以被追問(wèn)的人。

這正是法律、倫理和公司治理長(zhǎng)期成立的地基。制度從不假設(shè)人永遠(yuǎn)善良 , 它只是竭力讓權(quán)力、行動(dòng)與后果保持連接 : 有權(quán)力的人應(yīng)當(dāng)知道自己可能面對(duì)后果 , 做決定的人應(yīng)當(dāng)知道名字會(huì)留在記錄上 , 執(zhí)行命令的人也不能僅憑 " 我只是照做 " 就自動(dòng)免責(zé)。

正是這種切不斷的聯(lián)系 , 讓行動(dòng)保持了重量。

三、AI 讓 " 無(wú)主的行動(dòng) " 第一次成為可能

傳統(tǒng)軟件不會(huì)解釋自己的目標(biāo) , 也不會(huì)自主挑選路徑。它把人的決定轉(zhuǎn)成穩(wěn)定的結(jié)果。即便出錯(cuò) , 歸因也相對(duì)直接 : 需求誰(shuí)提的 , 代碼誰(shuí)寫的 , 配置誰(shuí)改的 , 按鈕誰(shuí)點(diǎn)的。

Agent 打斷了這條線性鏈。

人給出的不再是一條清晰指令 , 而往往只是一個(gè)目標(biāo) : 提高轉(zhuǎn)化率、降低運(yùn)營(yíng)成本、篩出最合適的候選人、優(yōu)化庫(kù)存、處理異常賬戶、完成一次系統(tǒng)遷移。

至于用什么手段、調(diào)什么工具、走哪些步驟 , 由 AI 自行規(guī)劃。在這個(gè)過(guò)程中 , 人的意圖被翻譯、拆分、補(bǔ)全 , 最終凝結(jié)成一連串真實(shí)動(dòng)作。

每一次翻譯 , 都在增加距離。

提出目標(biāo)的人 , 不知道最后執(zhí)行了哪些具體動(dòng)作。部署模型的人 , 不知道模型會(huì)遭遇怎樣的上下文。寫工具的人 , 不知道工具會(huì)被如何組合。點(diǎn)確認(rèn)的人 , 只看到了一段 AI 生成的摘要。

結(jié)果是 : 每個(gè)人都參與了行動(dòng) , 卻沒(méi)有任何一個(gè)人完整擁有這個(gè)行動(dòng)。

AI 最大的制度沖擊 , 不是它開(kāi)始像人一樣思考 , 而是它讓 " 沒(méi)有任何人完整做出過(guò)的決定 ", 也能真實(shí)發(fā)生。

這是一種全新的責(zé)任結(jié)構(gòu)。過(guò)去 , 一個(gè)壞結(jié)果通常來(lái)自一個(gè)做錯(cuò)事的人 ; 未來(lái) , 壞結(jié)果更可能來(lái)自一條沒(méi)有任何單一主體完整理解過(guò)的執(zhí)行鏈。

事情出問(wèn)題時(shí) , 每個(gè)人都能精準(zhǔn)指出自己沒(méi)有決定的那一部分。管理者只提了目標(biāo) , 模型只生成了方案 , 系統(tǒng)只完成了調(diào)用 , 審批人只確認(rèn)了摘要 , 供應(yīng)商只提供了能力。

行動(dòng)真實(shí)發(fā)生 , 責(zé)任卻像霧一樣散開(kāi)。

四、關(guān)鍵不是 AI 沒(méi)有感情 , 而是它不活在后果里

人們習(xí)慣說(shuō) , 機(jī)器與人的區(qū)別在于機(jī)器沒(méi)有情感。這個(gè)說(shuō)法不算錯(cuò) , 但它沒(méi)有擊中制度層面的要害。

因?yàn)樵S多重要行動(dòng)本來(lái)就不依賴情感。會(huì)計(jì)核對(duì)賬目不需要熱愛(ài)發(fā)票 , 工程師關(guān)停危險(xiǎn)設(shè)備不需要同情設(shè)備 , 法官作出裁決更不能憑個(gè)人情緒。

文明并不是靠情感維系的。它依賴的是 : 人被放置在一套責(zé)任關(guān)系之中。

人會(huì)失去職位 , 會(huì)被處罰 , 會(huì)被別人記住 , 會(huì)因?yàn)樽约旱臎Q定改變往后的人生。即便一個(gè)人毫無(wú)同理心 , 他依然會(huì)畏懼法律、聲譽(yù)和現(xiàn)實(shí)后果。

AI 不是這樣。它能精確描述一次錯(cuò)誤將造成多大損失 , 但這段描述不會(huì)變成它自己的恐懼。它能生成道歉 , 但道歉不改變它的處境。它可以被關(guān)閉、替換、回滾 , 卻不會(huì)以人的方式理解 " 失去 "。

人受責(zé)任約束 , 不只是因?yàn)槿死斫庖?guī)則 , 而是因?yàn)槿艘采钤谝?guī)則的后果里。

AI 可以處在因果鏈中 , 卻不處在道德后果中。它可以是執(zhí)行的原因 , 卻無(wú)法自然成為責(zé)任的終點(diǎn)。

所以真正的問(wèn)題不是 AI 缺少情感。而是人類正在把越來(lái)越多的行動(dòng) , 交給一個(gè)不會(huì)因?yàn)檫@些行動(dòng)而改變自身命運(yùn)的系統(tǒng)。

五、當(dāng) " 我做了 " 變成 " 系統(tǒng)做了 "

語(yǔ)言會(huì)悄悄改變?nèi)藢?duì)責(zé)任的體感。

過(guò)去人們說(shuō) : 我批準(zhǔn)了這筆付款。我拒絕了這個(gè)申請(qǐng)。我改了這項(xiàng)配置。我刪了這批數(shù)據(jù)。

AI 進(jìn)入組織之后 , 句式變了 : 系統(tǒng)自動(dòng)處理了。模型判斷不符合條件。算法調(diào)整了參數(shù)。Agent 執(zhí)行了任務(wù)。

這些說(shuō)法未必在撒謊 , 但它們制造了一種心理距離。行動(dòng)明明源自人類設(shè)定的目標(biāo)、授予的權(quán)限和搭建的系統(tǒng) , 卻開(kāi)始被描述成一種技術(shù)現(xiàn)象——像下雨、斷電、設(shè)備老化一樣 , 自然發(fā)生 , 無(wú)人可怨。

當(dāng)人類把動(dòng)詞交給機(jī)器 , 人類也開(kāi)始丟掉動(dòng)詞背后的主語(yǔ)。

這不是修辭問(wèn)題。英國(guó)郵政的 Horizon 系統(tǒng)就是一個(gè)代價(jià)慘重的注腳 :1999 年之后的十幾年里 , 數(shù)百名加盟店長(zhǎng)因?yàn)橄到y(tǒng)顯示的賬目缺口被起訴 , 有人破產(chǎn) , 有人入獄 , 有人自殺。系統(tǒng)出錯(cuò)了 , 而在長(zhǎng)達(dá)二十年的時(shí)間里 , 幾乎所有人的說(shuō)法都是——賬目是系統(tǒng)算出來(lái)的。

荷蘭稅務(wù)部門的育兒補(bǔ)貼風(fēng)波是另一個(gè)版本 : 一套用于識(shí)別欺詐風(fēng)險(xiǎn)的自動(dòng)化系統(tǒng) , 把兩萬(wàn)多個(gè)家庭錯(cuò)誤標(biāo)記為騙補(bǔ) , 追討巨額款項(xiàng) , 大量家庭因此破產(chǎn)、離婚、失去子女撫養(yǎng)權(quán)。2021 年 1 月 , 內(nèi)閣集體辭職。事后回看 , 沒(méi)有哪一個(gè)官員 " 決定 " 要摧毀這些家庭。系統(tǒng)做的。

系統(tǒng) " 拒絕 " 了一個(gè)人 , 算法 " 淘汰 " 了一名員工 , 模型 " 判定 " 了一筆交易——但它們不會(huì)出庭解釋自己相信什么 , 不會(huì)面對(duì)被拒絕者的目光 , 也不會(huì)在很多年以后想起自己做過(guò)的這個(gè)決定。

因此 ,AI 時(shí)代最危險(xiǎn)的變化 , 也許不是機(jī)器獲得了人的權(quán)力 , 而是人類開(kāi)始借機(jī)器的名義 , 行使一種看上去沒(méi)有主人的權(quán)力。

六、行動(dòng)越來(lái)越輕 , 后果一點(diǎn)沒(méi)變輕

技術(shù)史本質(zhì)上是一部持續(xù)降低行動(dòng)成本的歷史。機(jī)器降低生產(chǎn)成本 , 互聯(lián)網(wǎng)降低傳播成本 , 云計(jì)算降低算力成本 ,AI 正在降低判斷、規(guī)劃與執(zhí)行的成本。

過(guò)去十個(gè)人干幾天的活 , 以后可能是一個(gè)人帶幾個(gè) Agent 幾分鐘完成。這確實(shí)是巨大的生產(chǎn)力。

但行動(dòng)成本下降 , 不等于后果成本同步下降。

一筆錯(cuò)誤付款不會(huì)因?yàn)橛?AI 發(fā)出就不再錯(cuò)誤。一次錯(cuò)誤拒絕不會(huì)因?yàn)槌鲎运惴ň筒辉賯唧w的人。一個(gè)危險(xiǎn)配置不會(huì)因?yàn)閳?zhí)行更快就破壞力更小。

恰恰相反。執(zhí)行越便宜 , 錯(cuò)誤越容易被規(guī)?；瘡?fù)制。

過(guò)去一個(gè)人的偏見(jiàn)影響身邊幾十個(gè)人 ; 當(dāng)偏見(jiàn)被寫進(jìn)自動(dòng)系統(tǒng) , 它可以影響幾十萬(wàn)個(gè)陌生人。過(guò)去管理員的誤操作要一項(xiàng)項(xiàng)手動(dòng)完成 ; 現(xiàn)在一句模糊指令可以在多個(gè)系統(tǒng)里連續(xù)擴(kuò)散。2010 年 5 月的美股閃崩 , 道指在幾分鐘內(nèi)蒸發(fā)近千點(diǎn) , 人類交易員來(lái)不及做任何事——那還只是算法交易的年代。

技術(shù)降低了行動(dòng)的重量 , 卻沒(méi)有降低現(xiàn)實(shí)承受行動(dòng)的重量。

于是形成一種徹底的不對(duì)稱 : 發(fā)出行動(dòng)的人越來(lái)越輕松 , 承受結(jié)果的人依然真實(shí) ; 執(zhí)行越來(lái)越抽象 , 損失依然具體。

這也是為什么 AI 風(fēng)險(xiǎn)不能被簡(jiǎn)化成準(zhǔn)確率問(wèn)題。當(dāng)模型只是回答問(wèn)題 , 錯(cuò)誤停留在語(yǔ)言層面 ; 當(dāng)模型開(kāi)始執(zhí)行 , 語(yǔ)言就越過(guò)屏幕 , 變成賬目、權(quán)限、資源、機(jī)會(huì) , 甚至一個(gè)人的身體處境。

從模型能夠執(zhí)行的那一刻起 ,AI 就不再只是知識(shí)工具 , 它成了現(xiàn)實(shí)的分配機(jī)制。

七、不要把文明押注在機(jī)器的善意上

人類社會(huì)從來(lái)沒(méi)有因?yàn)橄嘈耪茩?quán)者永遠(yuǎn)善良 , 就放棄制度。

我們立法 , 不是因?yàn)樗腥硕紩?huì)犯法 ; 做審計(jì) , 不是因?yàn)樗腥硕紩?huì)造假 ; 設(shè)制衡 , 也不是因?yàn)樗袡?quán)力都必然被濫用。制度的意義恰恰在于承認(rèn) : 任何行動(dòng)者都可能犯錯(cuò) , 任何權(quán)力都可能偏移 , 任何意圖在進(jìn)入現(xiàn)實(shí)的路上都可能變形。

面對(duì) AI, 很多人的第一反應(yīng)是把模型訓(xùn)練得更善良、更誠(chéng)實(shí)、更對(duì)齊人類價(jià)值。這些工作當(dāng)然重要 , 但文明不能只依賴一個(gè)系統(tǒng)愿意服從。

因?yàn)榉氖且环N內(nèi)部狀態(tài)。它可能隨上下文變化、模型升級(jí)、提示詞注入、數(shù)據(jù)污染或目標(biāo)沖突而改變。今天成立 , 明天未必。

成熟的制度不要求權(quán)力永遠(yuǎn)善良 , 它確保權(quán)力即使失去善意 , 也無(wú)法無(wú)限抵達(dá)現(xiàn)實(shí)。

這正是 AI 時(shí)代需要重新理解的 " 邊界 "。邊界不是對(duì)智能的否定 ; 恰恰因?yàn)橹悄茏銐驈?qiáng)大 , 邊界才必須獨(dú)立于智能之外存在。

AI 可以提方案、找路徑、加速協(xié)作。但某些行動(dòng)能否真正發(fā)生 , 不能只取決于 AI 當(dāng)時(shí)的判斷——否則人類等于把制度交給了一種無(wú)法被責(zé)任約束的能力。

八、復(fù)雜性 , 正在成為一種新型免責(zé)裝置

圍繞 AI 的公共討論 , 總是很快滑向宏大問(wèn)題 : 機(jī)器會(huì)不會(huì)成為真正的主體 ? 它有沒(méi)有意識(shí) ? 會(huì)不會(huì)擁有權(quán)利 ?

這些問(wèn)題也許終有一天要回答。但在那一天到來(lái)之前 , 一個(gè)遠(yuǎn)為現(xiàn)實(shí)的問(wèn)題已經(jīng)擺在每家公司面前 :

當(dāng) AI 參與了行動(dòng) , 這個(gè)行動(dòng)在制度上屬于誰(shuí) ?

屬于提出目標(biāo)的人 ? 部署模型的企業(yè) ? 設(shè)計(jì)系統(tǒng)的工程師 ? 最后點(diǎn)確認(rèn)的人 ? 還是提供基礎(chǔ)模型的平臺(tái) ?

2018 年那起自動(dòng)駕駛測(cè)試車致死事故給出了一個(gè)耐人尋味的答案 : 最終被刑事追責(zé)的 , 是車上那位分神的安全員 ; 公司層面未被追究刑責(zé)。責(zé)任沿著鏈條一路下滑 , 最后落在鏈條上最末端、也最容易被識(shí)別的那個(gè)人身上。

這不是一個(gè)能簡(jiǎn)單歸因的問(wèn)題。但不能簡(jiǎn)單歸因 , 不等于可以無(wú)人負(fù)責(zé)。

技術(shù)越復(fù)雜 , 越需要人為地重新建立責(zé)任連接。否則復(fù)雜性本身就會(huì)變成一臺(tái)免責(zé)機(jī)器 : 每個(gè)人只負(fù)責(zé)局部 , 每個(gè)人只掌握部分信息 , 每個(gè)人都能證明自己沒(méi)有完整控制結(jié)果——而結(jié)果早已無(wú)法撤回。

復(fù)雜系統(tǒng)最大的誘惑 , 是讓每一個(gè)人都顯得無(wú)辜 , 卻讓現(xiàn)實(shí)承擔(dān)全部后果。

所以 AI 時(shí)代需要的 , 不是虛構(gòu)一個(gè) " 機(jī)器責(zé)任人 ", 而是重新設(shè)計(jì)人的責(zé)任。

九、責(zé)任地圖 : 六個(gè)必須寫上名字的位置

這聽(tīng)起來(lái)像技術(shù)治理 , 實(shí)質(zhì)仍是最古老的政治與倫理問(wèn)題 : 權(quán)力如何被限制 , 行動(dòng)如何被歸屬 , 后果如何被承擔(dān)。落到一家具體的企業(yè) , 它可以變成一張必須填滿的表。

在任何一個(gè)高風(fēng)險(xiǎn)的 AI 執(zhí)行鏈上 , 以下六個(gè)位置都必須有一個(gè)具體的人或崗位署名——不能是 " 團(tuán)隊(duì) ", 不能是 " 系統(tǒng) ", 更不能是空白 :

這張表填不滿 , 自動(dòng)化就不該上線。

能不能追責(zé) , 不該由事故來(lái)回答。它應(yīng)該在系統(tǒng)上線之前 , 就已經(jīng)被寫下來(lái)。

尾聲 : 從共同想象 , 到共同承擔(dān)

《人類簡(jiǎn)史》講的是人類如何依靠共同想象 , 把互不相識(shí)的陌生人組織成國(guó)家、公司與市場(chǎng)。

但任何想象出來(lái)的秩序要想持續(xù)存在 , 都不能只靠人們相信它。它還必須讓行動(dòng)有歸屬 , 讓權(quán)力受約束 , 讓后果被追問(wèn)。

AI 的挑戰(zhàn)在于 , 它正在進(jìn)入想象與現(xiàn)實(shí)之間的那條唯一通道。它接收人的語(yǔ)言 , 理解制度的目標(biāo) , 然后調(diào)用工具 , 把抽象規(guī)則變成具體結(jié)果。它正在成為文明的執(zhí)行中介。

如果這個(gè)中介只擁有行動(dòng)能力 , 卻不處在任何責(zé)任關(guān)系之中 , 人類就必須在它之外建立更強(qiáng)的約束。否則我們會(huì)走進(jìn)一個(gè)非常古怪的時(shí)代 :

每一個(gè)結(jié)果都有完整的數(shù)據(jù)記錄 , 卻找不到真正負(fù)責(zé)的人。每一個(gè)動(dòng)作都通過(guò)了系統(tǒng)授權(quán) , 卻沒(méi)有人完整理解它為什么發(fā)生。每一個(gè)參與者都盡職完成了自己那一小段 , 而整體結(jié)果違背了所有人的初衷。

這不是機(jī)器反叛 , 甚至不需要機(jī)器懷有惡意。

真正危險(xiǎn)的不是 AI 產(chǎn)生了自己的意志 , 而是人類的意志經(jīng)過(guò) AI 之后 , 再也找不到原來(lái)的主人。

責(zé)任不是一種可以訓(xùn)練出來(lái)的語(yǔ)言能力。它來(lái)自主體與后果之間那條切不斷的關(guān)系。機(jī)器可以被要求解釋 , 系統(tǒng)可以被要求記錄 , 執(zhí)行可以被要求驗(yàn)證 , 但最終承擔(dān)的 , 只能是人 , 和由人建立的組織。

人類不能因?yàn)樾袆?dòng)經(jīng)過(guò)了機(jī)器 , 就當(dāng)它不再屬于任何人 ; 也不能因?yàn)橄到y(tǒng)足夠復(fù)雜 , 就默認(rèn)責(zé)任天然消失。

文明的下一步 , 不是讓機(jī)器擁有行動(dòng)能力 , 而是讓人類在機(jī)器行動(dòng)之后 , 依然無(wú)法逃離責(zé)任。