這幾天最重要的 AI 新聞，無非是 Google 又向 Anthropic 這家公司砸了 20 億美元資金。

Anthropic 是推出了「可與 ChatGPT 匹敵」AI 模型 Claude 背後的公司，由 OpenAI前研發主管 Dario Amodei 在 2021 年創立。2022 年，Anthropic 便已獲得 Google 的 3 億美元投資，亞馬遜（Amazon）亦在今年 9 月宣布投資 40 億美元。Anthropic 的共同創辦人 Daniela Amodei 最近則是又向 CNBC 證實，Google 確實再加碼了 20 億美元。

Anthropic 的核心精神

Anthropic 的其中 2 位創辦人：Dario Amodei（40 歲）以及 Daniela（36 歲） 是一對兄妹，並且分別擔任 Anthropic 的執行長以及總裁。其它 5 位創辦人也都來自 OpenAI，這些人對於為何離開 OpenAI 指出，「從一開始就在模型安全性方面有著不同的願景」。

Claude 通常被媒體描述為可與 ChatGPT 匹敵，隨後的更新版大模型 Claude 2 也被視為是 GPT-4 的強勁競爭對手——可支援輸入 100K token 資料內容長度（相較之下，GPT-3.5 Turbo 為 16K Token；GPT-4 為 32K token），這相當於一整本書的資料內容長度。這款可以完全免費使用的 AI 工具向公眾開放了競爭對手需要付費才能擁有的功能，其他還包括可上傳多個檔案、從 PDF 取出文字、產生摘要等能力。

不過其中最引人注目的「理念」，也是 Claude 的核心設計精神，即是確保 AI 與人類的價值觀「保持一致」（aligned，此概念又稱人工智慧對齊），這也是 Anthropic 內部的開創性研究——機械可解釋性／模型解釋能力（mechanistic interpretability），目的是希望讓開發者可以進行類似於大腦掃描的操作，以了解 AI 系統的內部「到底發生了什麼」，就像試圖解開機器的思考過程，看看它是如何達到結果的，這種方法是基於機器學習模型的內部機制，而不是僅僅關注模型的輸出。

這也是為什麼 Claude 會在今年 8 月機器學習監控平台 Arthur AI 所進行的「幻覺」競賽中，展現出最可靠的自我意識。這意味著這個 AI 模型能夠精確地知道自己知道什麼，同時也知道自己不知道什麼，並且只回答「有訓練數據支持」的問題。 Anthropic 亦將自己定義為「人工智慧安全研究實驗室。」

人工智慧對齊（AI alignment）為何重要？

要達成人工智慧對齊，要透過 Anthropic 自主研發的「合憲 AI」（Constitutional AI）訓練技術。這是一種讓開發者明確指定其系統應遵守的價值觀（也就是憲法），來將「AI 是否能夠做某件事」的問題，和「AI 是否『應該』做某事」這類更具政治爭議的問題分開來。

Dario 指出，另一種使 AI 與人類價值觀對齊的方式被稱作人類反饋強化學習（，reinforcement learning from human feedback，RLHF）通常會導致上述兩種問題搞混在一起。卡內基美隆大學最近的研究表明，接受過更多 RLHF 訓練的聊天機器人往往會比沒有接受過 RLHF 訓練的聊天機器人給出更自由派的社經答案。這可能是因為訓練過程通常會獎勵模型的包容性和無害性。

「我認為將技術問題與價值觀辯論分開很有用。」如此一來，便可以更清晰地了解 AI 模型是否遵循了憲法，而不必過多地討論憲法中的價值觀。過去，這兩個問題常常混淆在一起，導致有關 AI 系統運作方式和應該如何運作的討論變得不那麼有建設性。

 Anthropic 會否與 OpenAI 走向相同道路？ 

自微軟投資了大量資金在 OpenAI 後，該非營利組織是否真正獨立就引發了許多討論。馬斯克（Elon Musk）就在今年 3 月時指出，OpenAI 已從一個開源的非營利組織變成了閉源的營利性組織。

Anthropic 現在也面臨相同問題。為達成其願景，7 位創辦人將 Anthropic 設立為一個公益公司（public benefit corporation），也就是其主要目標是追求社會和公共利益，這意味著它們可以賺錢，但必須在實現社會目標方面保持透明和負責任。

不過，隨著 Google、亞馬遜（Amazon）向 Anthropic 投注更多資金，目前 Anthropic 在作為公司運營以及達成其 AI 安全的理想之間，看來仍然是個待解決的問題。

：Chris

快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！