去年,生成式AI不可避免地出現了過度炒作,然而,儘管存在各種干擾、未經證實的好處和潛在陷阱,Dana-Farber Cancer Institute(DFCI)研究所首席資訊官Naomi Lenane也並不想徹底禁止這項技術。生成式AI無疑是開創性的,研究所的員工可能會用它來做一些有趣的事情。
CREDIT: SHUTTERSTOCK
但那些允許免費地、不受約束地使用公共生成式AI的平台並不在他們的選擇範圍內。因此,DFCI採取了三個主要步驟以可控的方式部署DFCI,包括建立治理框架、開發員工可以安全使用的內部工具、開發用於審查嵌入第三方系統的生成式AI流程。
主動治理
治理框架是第一位的。
Lenane說:「一年多以前,到處都是大肆宣傳。作為一個組織,我們開始和我們的首席法律顧問、高級臨床領導和一些運營領導進行這方面的溝通。我們的員工可以使用這項技術嗎?我們對他們的指導原則是什麼?」
這些領導和其他利益相關者聚集在一起,組成了一個生成式AI治理社區,其中包括了研究所的隱私官、業務領導、通訊、人力資源、臨床方面的成員——「從醫生到慈善機構的每個人,」她說。
第一步是在整個組織內發布一份聲明,聲明使用明確批准用於臨床工作的工具或其他任何工具,但不要使用免費工具,接下來用戶很快就提出了生成式AI的使用場景。
「大多數部門都有他們試圖解決的具體問題,或者有可以成倍提高效率的工作示例,實際最終用戶來自質量和安全、慈善事業、人力資源部門,他們說,『我們希望將七種不同的職位描述綜合成一個』,並有明確的用例,其中一些我以前都沒有想到過。」
這些任務是AI可以更快速、更有效地完成的,在某些情況下,甚至可以做得更好或更有說服力。「我很高興人們在讓工作變得更好方面有了實實在在的例子,沒有人走進來說,『如果我們這樣做,我可以減少全職員工。』但他們可以完成更多工作,花更多時間在以人為本的任務上,而不是反覆寫職位描述或者提案。」
治理小組為那些想要使用AI的員工制定了培訓計劃,也制定了隱私和安全政策。與此同時。研究所的AI支持小組啟動了一個名為GPT4DFCI的AI項目,運行在研究所的網路內,而且還研究了如何與供應商合作,將AI添加到他們的系統中。
內部開發
Lenane說,GPT4DFCI旨在用於非臨床用途,去年首次在用戶中進行了測試,於2023年底和2024年初全面發布。現在,該項目已經部署在整個組織中,包括IT部門。例如,Lenane鼓勵人們將其用於文檔編制,因為這是許多技術人員都不喜歡或者不想做的事情。人們也用它來進行一般研究。「我們鼓勵人們在需要了解他們不知道的東西時使用它,但我們還沒有批准或鼓勵使用它作為一種更快捷的編碼方式。相反,GPT4DFCI是基於OpenAI GPT-4 Turbo的,託管在研究所在Azure私有雲中,因此不會將數據泄露回OpenAI,它更像是一個改進的搜尋引擎,可以幫助人們更好地理解某些東西。
Lenane自己用它來幫助重寫電子郵件或文檔。她說:「如果我試圖向老闆(首席財務官)解釋某件事情的時候,我有時會拿出技術段落,並使用生成式AI工具來確保措辭得當或更清晰。」她還使用GPT4DFCI來更新或合併職位描述,增加了用於內容過濾和審核的其他AI模型。
「前幾天我用它宣布了某人的晉升,但對我來說,內容有點太華麗了,整個部門都知道它不是我寫的,所以我當然要做一些編輯了。」
把生成式AI視為盟友
DFCI擁有約5000名直接雇員,另有5000名通過贊助商或其他合同安排租借給DFCI的員工,或者是供應商的員工。Lenane說,當前有大約700人正在積極地使用GPT4DFCI。
「我們已經將其開放並可供使用,人們需要在經過一些必要的培訓後註冊才能使用它。畢竟,為了從工具中獲得好的內容,你必須正確地提出問題,思考你在其中投入了什麼才能得到可靠的答案。」正如治理委員會所規定的那樣,GPT4DFCI不允許用於臨床目的,但它已經通過了隱私和資訊安全團隊的安全性和有效性審查。
她說,這是一種其他組織都能效仿的有用方法,他們希望為員工提供提高效率的工具,但又不想讓組織面臨更大的風險。
他們還有一個Dana-Farber前端,讓員工不會直接與OpenAI聊天機器人互動,讓研究所能夠跟蹤使用情況和查詢,全面了解人們如何使用該工具。Dana-Farber允許圍繞它建立安全性、合規性、PII檢查措施和其他護欄。
DFCI AI運營和數據科學服務總監Renato Umeton表示,由於GPT4DFCI在符合HIPAA要求的Azure雲上運行,因此一些合規性問題也得到了解決。
他說,根據HIPAA的規定,保護患者隱私和數據的義務使他們無法使用ChatGPT等公共的生成式AI服務,而且從頭開始訓練大型語言模型的成本太高了。
「雖然考慮過本地開源大型語言模型,但這需要在基礎設施上進行大量投資,並且可能無法提供與GPT-4等商用模型相同的多元化。」
在選擇使用哪種特定的商用大型語言模型的時候,該研究所查看了LMSYS Arena的基準。Umeton說:「GPT-4 始終是優秀的模型組,沒有對所有用戶可訪問的通用版本進行微調。但是,我們已經在各種項目中成功實施了檢索增強生成技術。」
檢索增強生成(RAG)使用矢量資料庫或其他知識庫為單個查詢提供附加上下文,從而獲得更準確和定製化的結果。
Umeton說:「例如,我們與康奈爾大學合作,利用RAG合成了數百份手稿,為即將發布的PathML工具包提供了重要資訊。」
他說,GPT4DFCI的API可供初始技術測試人員使用,很多人正在探索如何利用RAG技術實現可靠的資訊提取和聚合。來自運營、基礎研究和臨床研究的人員正在使用RAG技術探索他們自己感興趣的用例,同時幫助進一步增強GPT4DFCI API。他說,在過去幾個月里,Teams中的GPT4DFCI API討論頻道從3名開發人員發展到100多名。但為了確保資訊安全,該應用是在研究所的Azure雲邊界內構建的,安全實踐包括專用IP位址、VPN路由、服務到服務身份驗證和HTTPS實施。
「還實施了內容過濾以儘量減少有害內容,以及報告不遵守規定的用戶,」他說。
DFCI AI治理委員會還專門針對GPT4DFCI發布了負責任使用的政策。
「以政策護欄為例,所有員工都必須對自己生成的作品負責,無論生成方式是的怎樣的」,他補充道。因此,人們只能將GPT4DFCI用於他們可以親自驗證的結果,並且必須警惕存在偏見或不完整的資訊。大多數情況下,還需要披露工具的使用情況。
Umeton將生成式AI在實際臨床護理中的運用比作一種新型藥物。他說,新藥需要臨床試驗來評估安全性和有效性。「我們應該使用類似的臨床試驗框架來評估臨床AI的各個方面。」但該研究所能夠將資源集中在其他應用上,例如研究和運營。Umeton補充說,這些領域是AI可以以相對較低的風險帶來高投資回報的領域。
供應商管理
生成式AI不僅僅是要在免費但不安全的公共聊天機器人和私有但受控的聊天機器人之間進行選擇。對於許多公司來說,員工與生成式AI主要互動將通過他們已經使用的企業和生產力軟體進行。Dana-Farber也不例外。
Lenane說「所有人力資源供應商,包括我們的供應商,都在發布或準備發布生成式AI集成,」例如,AI可以審查文檔或創建草稿消息。
「還有業務供應商,比如微軟Copilot類型的解決方案,我們可以用它來製作更漂亮的PowerPoint,或者重寫電子郵件以使其更清晰嗎?」
在某些情況下,生成式AI功能是對現有軟體系統的免費升級,這些系統是Dana-Farber與之有現有合同的供應商已經批准的工具。
「如果有額外成本,我們可能會試用一種工具來了解它是否值得額外花費,看看人們會用它來做些什麼。」因此,第三方軟體試點過程於今年早些時候開始啟動,目前正在進行Copilot試點,以測試該工具在幫助人們寫電子郵件方面的用途。
第三方軟體的生成式AI附加組件問題是DFCI謹慎關注的。這已經成為治理小組的一部分,該小組確保關鍵利益相關者要參與到AI相關的供應商決策中,包括供應鏈負責人、技術負責人或隱私官。例如,供應商合同可能需要添加新語言以涵蓋生成式AI用例,這些工具需要遵守一些特定的要求。
「我們強烈認為,任何由AI生成的東西都需要經過人工審查,許多供應商都是這樣做的,難度更大的部分,是有人在流程之外購買的工具。」
為了應對這種情況,治理委員會還參與了對組織的教育工作。
「我們不能失去智慧財產權,也不能允許這些供應商使用我們的內容來學習其他工具或產品,這些是無法與10000人分享的,我們正在努力實現這一目標。」
由於領導團隊在治理委員會中有代表,這有助於讓人們知道,需要重點關注生成式AI的法律和資訊安全因素。「我們是否了解他們對我們的數據做了什麼?」她說。
展望未來
Umeton表示,來自高管的支持和多學科治理委員會是該研究所部署生成式AI的關鍵因素。對於GPT4DFCI來說,謹慎的部署過程也是關鍵,從一小群高級用戶開始,逐漸擴大訪問權限。
「GPT4DFCI就相當於一名優秀實習生,增強了我們的員工隊伍,他們能夠根據在線資訊起草高質量的工作成果,但由於他們沒有工作經驗,因此需要監督。」
接下來,研究所將開設關於快速工程技術和使用生成式AI的道德規範培訓課程。在治理方面,DFCI將繼續完善AI政策,與社區溝通,審查使用情況,討論道德考量,並及時了解外部法規和行業經驗。
Umeton承認,保持最新狀態並不總是那麼容易。隨著AI的快速發展,包括多模式模型和代理,需要掌握的資訊量非常大。Umeton說,他有一個機器人可以監控新聞媒體和社交媒體資訊,並匯編每周摘要供他查看。
「ChatGPT的出現只是一個開始,隨著延遲縮短和影片流處理領域的發展進步,我們正在接近一個AI代理可能在物理世界中無處不在的未來。」
他說,這些代理可以協助完成日常任務和提高工作效率。但對企業來說,最重要的是設計和部署AI,為臨床和研究運作提供幫助。「我們最終是要為DFCI研究所減輕癌症負擔的使命提供支持。」