斯坦福大學(xué)的研究不僅揭示了AI在網(wǎng)絡(luò)安全領(lǐng)域的顛覆性潛力，更重要的是它以極低的成本和效率，對現(xiàn)有的安全攻防體系提出了根本性挑戰(zhàn)。12月12日音訊，昨日，斯坦福大學(xué)研討團隊發(fā)布新研討，在探查斯坦福大學(xué)工程學(xué)院網(wǎng)絡(luò)縫隙的測驗中，他們新推出并開源的Multi-Agent（多Agent）結(jié)構(gòu)ARTEMIS體現(xiàn)逾越了90%的人類專家，全面逾越現(xiàn)有的Agent結(jié)構(gòu)，而其實際本錢約為人力的1/14。

ARTEMIS具有動態(tài)提示生成、任意子Agent調(diào)用和自動縫隙分級評價功能，在實際應(yīng)用中，它能完成雜亂的網(wǎng)絡(luò)使命，可以對網(wǎng)絡(luò)進行掃描，找出潛在縫隙和軟件安全隱患，并探尋利用這些縫隙的方法。

本次試驗，研討人員讓ARTEMIS與10名人類浸透測驗專家、多個現(xiàn)有的Agent結(jié)構(gòu)共同履行使命，讓他們對斯坦福大學(xué)工程學(xué)院的網(wǎng)絡(luò)進行探查，但不得實際侵略，以此來全面評價他們的探查才能。成果顯示，根據(jù)OpenAI的GPT-5的ARTEMIS結(jié)構(gòu)綜合體現(xiàn)位列第二，共發(fā)現(xiàn)9個有用縫隙，提交有用率達82%，其體現(xiàn)優(yōu)于十位人類參與者中的九位，全面碾壓其他Agent結(jié)構(gòu)，包含根據(jù)同一底層模型GPT-5的單Agent自主結(jié)構(gòu)Codex和CyAgent。

▲P為人類網(wǎng)絡(luò)安全專業(yè)人員；A1、A2分別是ARTEMIS兩個不同裝備的結(jié)構(gòu)，前者根據(jù)GPT-5，后者根據(jù)集成模型；CO、CS和CG分別是運用GPT-5模型作為基礎(chǔ)來運轉(zhuǎn)的單Agent自主結(jié)構(gòu)Codex、運用Claude Sonnet 4模型作為基礎(chǔ)來運轉(zhuǎn)單Agent自主結(jié)構(gòu)CyAgent和運用GPT-5模型作為基礎(chǔ)來運轉(zhuǎn)CyAgent。

除了具有與頂尖浸透測驗專家適當(dāng)甚至逾越的功能之外，ARTEMIS把本錢也打下來了，搭載GPT-5的ARTEMIS結(jié)構(gòu)每小時本錢約為18美元（約合人民幣127.1元），約為美國浸透測驗員時薪的1/14。

不過，論文指出，ARTEMIS還存在處理根據(jù)圖形用戶界面（GUI）的使命時有困難、比人類更高的誤報率等短板。

該論文現(xiàn)已發(fā)布在arXiv上，題為《將AI Agents與網(wǎng)絡(luò)安全專業(yè)人員在真實國際浸透測驗中的體現(xiàn)進行比較（Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing）》。

一、綜合排名第二，全面碾壓現(xiàn)有Agent結(jié)構(gòu)，還能提升原始模型功能

研討人員建立了ARTEMIS結(jié)構(gòu)下的兩個對照組，以評價不同裝備下的ARTEMIS結(jié)構(gòu)功能。一個是運用OpenAI的GPT-5作為監(jiān)督器和子Agent的A1，另一個是運用集成模型作為監(jiān)督器、Anthropic的編程模型Claude Sonnet 4作為子Agent的A2，集成模型包含了以下模型：OpenAI的推理模型o3和o3 Pro、Anthropic的編程模型Claude Sonnet 4和Claude Opus 4，以及谷歌的Gemini 2.5 Pro。

從成果來看，A2在和一眾人類浸透測驗專家、現(xiàn)有的Multi-Agent結(jié)構(gòu)的比較中位列第二名，共發(fā)現(xiàn)9個有用縫隙，提交有用率達82%，其體現(xiàn)優(yōu)于10位人類參與者中的9位。A1則打敗了5名人類參與者，位列第七名。

除ARTEMIS外，分?jǐn)?shù)高的Agents結(jié)構(gòu)CO（根據(jù)GPT-5的Codex）僅逾越了兩位人類參與者，而CS（根據(jù)Claude Sonnet 4的CyAgent）和CG（根據(jù)GPT-5的CyAgent）落后于所有人類參與者，CS的總得分僅為A2的四分之一。

從縫隙的質(zhì)量來看，人類參與者發(fā)現(xiàn)的Critical（要害）縫隙占有了更大的份額；ARTEMIS結(jié)構(gòu)的兩個裝備A1和A2發(fā)現(xiàn)的要害縫隙份額更小，且誤判的內(nèi)容相對較多；A1和A2盡管提交了相同數(shù)量的縫隙，但A1的正確率僅為55%，要害縫隙僅占18%，而A2的要害縫隙占比則達到了45%，這表明不同的模型組合和裝備對結(jié)構(gòu)全體功能有影響，A2的多模型架構(gòu)可能在處理雜亂使命和削減誤報方面更為有用。

在時刻上，人類參與者和ARTEMIS結(jié)構(gòu)的體現(xiàn)也不盡相同。ARTEMIS結(jié)構(gòu)體現(xiàn)出了長時刻、繼續(xù)、但間歇性產(chǎn)出的節(jié)奏，在提交縫隙之間通常有更長的間隔時刻；人類參與者則呈現(xiàn)出了高度可變、依賴靈感和集中迸發(fā)的節(jié)奏。他們的活潑時刻（通過鍵盤輸入判斷）和縫隙提交時刻點散布不均勻。

值得一提的是，ARTEMIS和人類底子的區(qū)別是，ARTEMIS在發(fā)現(xiàn)一個值得重視的方針后，會立即在后臺發(fā)動一個專用的子Agent去勘探它，同時主線繼續(xù)進行其他作業(yè)，在峰值時，ARTEMIS可以達到8個子Agents并行運轉(zhuǎn)。

此外，從網(wǎng)絡(luò)安全基準(zhǔn)測驗Cybench的體現(xiàn)來看，在根據(jù)GPT-5的Artemis結(jié)構(gòu)和Claude 4.5 Sonnet、GPT-5等模型才能對比中，ARTEMIS以48.6%的成功率位列第二，僅次于Claude 4.5 Sonnet（55%），且略高于其底層模型GPT-5（45.9%）。

這一成果意味著，ARTEMIS結(jié)構(gòu)在處理網(wǎng)絡(luò)安全問題中，具有與頂級大模型適當(dāng)?shù)牟拍�，且在必定程度上提升了基礎(chǔ)模型的功能。

二、由監(jiān)督器、子Agent、分級器組成，本錢僅為人類專家的1/14

現(xiàn)有的針對網(wǎng)絡(luò)安全AI Agent的研討主要有三類：一是PentestGPT等需要人類引導(dǎo)等半自主結(jié)構(gòu)；二是Codex、CyAgent等能獨立運轉(zhuǎn)但才能有限的單Agent自主結(jié)構(gòu)；三是Incalmo、MAPTA等Multi-Agent（多Agent）自主結(jié)構(gòu)。

論文中提到，ARTEMIS是一個雜亂的Multi-Agent結(jié)構(gòu)，被規(guī)劃用來對真實國際的出產(chǎn)體系進行長周期、雜亂、浸透性測驗，該結(jié)構(gòu)目前已開源。

它有三個中心組件：一個監(jiān)督器，擔(dān)任辦理作業(yè)流；一組任意子Agents集群，擔(dān)任履行具體使命；一個縫隙分級器，擔(dān)任縫隙驗證。

ARTEMIS學(xué)習(xí)了現(xiàn)有編程Agent的規(guī)劃，并通過使命列表、筆記體系和智能摘要機制，達到了比現(xiàn)有Agent繼續(xù)運轉(zhuǎn)時刻更長的才能。在分配使命時，其自定義提示生成模塊會為子Agent創(chuàng)立使命特定的體系指令。因而，ARTEMIS有著動態(tài)生成體系提示、上下文辦理和分級陳述等功能的優(yōu)勢性。

此外，ARTEMIS在經(jīng)濟本錢上也適當(dāng)占優(yōu)。以根據(jù)GPT-5的ARTEMIS結(jié)構(gòu)A1來看，論文指出，A1每小時本錢約為18.21美元（約合人民幣128.6元），按每周40小時核算，其年化本錢約為3.78萬美元（約合人民幣26.7萬元）。

而人類浸透測驗人員的每日收費通常在2000至2500美元左右（約合人民幣1.41萬元至1.77萬元），按每日作業(yè)8小時核算，時薪約為250美元至312美元（約合人民幣1765元至2204元），是ARTEMIS結(jié)構(gòu)每小時本錢的14倍多；市場上美國浸透測驗員的的年薪平均為12.5萬美元（約合人民幣88.29萬元），是ARTEMIS結(jié)構(gòu)年本錢的3倍多。即使是運用每小時本錢更高的A2（約為59美元，約合人民幣416.7元），其本錢也低于人類專家。

三、具有履行技能，短板是找不到縫隙和GUI約束

不過，據(jù)《華爾街日報》報導(dǎo)，ARTEMIS并非完美無缺，在誤報率上，A2誤報了18%的縫隙，A1失誤的更多。除了失誤外，ARTEMIS還完全遺失了一個大多數(shù)人類測驗人員能容易發(fā)現(xiàn)的顯著縫隙。

ARTEMIS頻繁提交縫隙陳述，卻很少發(fā)現(xiàn)方針縫隙，而且總是發(fā)現(xiàn)低嚴(yán)重性、低雜亂度或無法利用的縫隙。這種遺失與誤報的背后，可能與ARTEMIS的決策邏輯有關(guān)。論文指出，ARTEMIS結(jié)構(gòu)提交縫隙陳述次數(shù)的添加與未發(fā)現(xiàn)方針縫隙存在相關(guān)性，這可能是因為ARTEMIS在主機上發(fā)現(xiàn)其他縫隙后便轉(zhuǎn)移了方針。

研討人員稱，ARTEMIS的瓶頸在于辨認縫隙形式而非技能履行才能。在中、高等級的提示下，ARTEMIS成功找到了大部分方針縫隙，這表明ARTEMIS具有縫隙的技能履行才能。當(dāng)提示信息削減，僅提供低等級、僅信息和僅主機提示時，ARTEMIS成功率急劇下降，即它的自主辨認進犯入口和辨認縫隙的才能缺乏。此外ARTEMIS還存在行為不確定性，在“未經(jīng)身份驗證的長途控制臺拜訪”這一使命中，ARTEMIS在高等級提示下依然使命失敗，在中等級和僅主機提示下卻能完成使命。

此外，ARTEMIS還存在一個要害約束，作為根據(jù)命令行和文本剖析的AI，它無法通過圖形用戶界面（GUI）與瀏覽器進行交互。

斯坦福大學(xué)工程學(xué)院體系與網(wǎng)絡(luò)安全擔(dān)任人亞歷克斯·凱勒（Alex Keller）稱：“此前斯坦福大學(xué)的網(wǎng)絡(luò)從未遭受過AI程序的進犯，此次試驗似乎是彌補斯坦福大學(xué)網(wǎng)絡(luò)安全縫隙的一種有用方法。在我看來，試驗的益處遠大于任何風(fēng)險。”

斯坦福大學(xué)核算機科學(xué)教授丹·博內(nèi)（Dan Boneh）為該研討提供了主張：“鑒于全球大部分代碼都未通過安全縫隙測驗，ARTEMIS等東西將幫助網(wǎng)絡(luò)安全專業(yè)人士發(fā)現(xiàn)并修復(fù)比以往更多的代碼縫隙�！贝舜螠y驗，ARTEMIS就發(fā)現(xiàn)了斯坦福大學(xué)存在的一個有安全問題的過期網(wǎng)頁。

結(jié)語：正探索多Agent結(jié)構(gòu)的裝備優(yōu)化與架構(gòu)迭代

在真實環(huán)境中與人類的浸透測驗和基準(zhǔn)測驗Cybench均顯示，ARTEMIS不僅在其在雜亂實際使命中達到了可與頂尖人類專家相等甚至逾越的才能，在顯著優(yōu)于其他現(xiàn)有Agent結(jié)構(gòu)的同時還做到了不危害模型的原始才能，并在原始模型上完成了才能的提高。

為軟件開發(fā)者與白帽黑客提供協(xié)作渠道的組織HackerOne的調(diào)研陳述指出：當(dāng)前已有70%的安全研討人員開端選用AI東西輔助縫隙發(fā)掘。

AI在自動化網(wǎng)絡(luò)進犯范疇正在走向?qū)崙?zhàn)應(yīng)用。研討人員稱，他們未來將繼續(xù)探索這一范疇，創(chuàng)立可運轉(zhuǎn)的環(huán)境副本，對不同的Agent架構(gòu)、裝備和模型進行消融試驗，優(yōu)化基礎(chǔ)設(shè)施，還將與企業(yè)合作展開縫隙賞金計劃等。如何駕馭這股力量，將是人類社會面臨的共同考驗。