銀行控股企業Ally Financial在監管嚴格的行業中運營，開發了一個平台來利用生成式AI，同時保持嚴格的數據安全和治理。
Sathish Muthukrishnan，Ally Financial首席資訊、數據和數字官
銀行控股企業Ally Financial想走在金融行業技術的前沿，這就意味著要利用AI來轉型業務。但Ally所在的行業監管嚴格，很多銀行和金融機構都因為監管而沒有採取行動。Ally給出的答案是什麼？開發一個AI平台並編寫一個AI劇本，使其能夠快速行動起來，不在安全和治理措施方面有所欠缺。
「我所學到的是，有紀律、有目的的技術投資和技術能力對於利用技術發展趨勢是至關重要的，」Ally首席資訊、數據和數字官Sathish Muthukrishnan這樣說。
Muthukrishnan指出，在看到2022年大型語言模型和生成式AI的崛起之後，很明顯企業需要改變自己的AI野心以利用這樣新技術，問題是如何在不犧牲安全的情況下將其融入其中。
為了讓企業領導層加入進來，他說，必須向他們證明Ally是可以負責任地使用生成式AI的。
「從第一天起我就非常清楚，雖然你可能會被視為行業領導者，並因早期採用生成式AI而獲得認可，但即使是小小的失誤也會讓我們從前進半步變成倒退100步，我們不想陷入那種境地，所以我們需要保護自己。」
Muthukrishnan和他的團隊制定了三個簡單的指導原則：首先嘗試面向實習生的用例，設置一個專人始終參與其中，並且永遠不要將任何Ally數據暴露給大型語言模型。
「當時沒有路線圖，所以我們制定了一個路線圖，一個安全、可靠且可擴展的平台，可以從中運行所有AI應用。我們希望證明AI是可以負責任地完成工作，同時保護客戶隱私和企業數據，並且我們可以有效地培訓員工使用這項技術。」
為了執行這些原則，Ally在2023年6月構建並推出了Ally.ai，這個專有平台適用於企業所有的AI應用，其中包含傳統的機器學習、MLOps功能以及生成式AI功能。Ally的內部開發團隊通過AWS和微軟Azure OpenAI在Ally雲的支持下構建並運行這個平台，不過Muthukrishnan指出，這個平台對大型語言模型來說是中立的。
「All.ai之所以能提供幫助，是因為它有能力和控制力有效安全地使用所有這些大型語言模型，這就是為什麼我們也不怕全力投入OpenAI，因為Ally.ai今天有能力與OpenAI對話，明天也可以與Claude、Llama對話，或者與任何其他新的大型語言模型對話。」
密切關注生成式AI
儘管內部對這個平台感到興奮，但Muthukrishnan表示，AI治理仍然是首要考慮的因素。Ally公司調整他們用於生成式AI的Ally Technology Operating Model (ATOM)，這個模型有五個核心支柱，為所有新技術的引入提供指導，為評估、評價和批准提供路線圖：發現、構思、闡述、執行和衡量。
Ally還成立了一個AI工作組，與現有的治理小組協同工作。他們共同組建了一個內部團隊，由金融服務領域的專業人士組成，包括監管合規、風險管理和審計等。該團隊負責審查以及就生成式AI用例提供建議。
為了指導團隊實施傳統AI和生成式AI，AI工作組還開發了Ally AI Playbook，使Ally的業務線能夠探索AI用例、規劃試點項目、並以負責任的、深思熟慮的方式將其投入生產。Muthukrishnan表示，這使得他們在整個公司範圍內創造了一種大家都能理解的通用語言。
「你可以用任何語言來參與[一個項目]，但AI Playbook是一個通用的翻譯器，它會告訴你，『這是你要問的，這是你必須去理解的，』」他說。
此外，Ally公司為所有11500名員工創建了一個基本的AI培訓課程，並設立了AI Days，讓外部行業領導者和內部演講者都能分享他們的掙扎和成功。此外Ally還會定期展示他們是如何在內部使用AI的。
「所有這些都創造了一場人人參與其中的變革，大多數AI Day活動都是技術之外的人員參與的。我們平均每6到8周就有1200人參與其中，每次超過4個小時。我們感受到了變革的勢頭和正在發生的轉變，Ally的每個人都參與其中。」
AI的兩大主要用例
Ally在他們的專用雲基礎設施上構建了Ally.ai，並擁有他們自己的私有網路，打造了一個完全安全的、無需外部訪問的環境。這個平台會在大型語言模型參與之前刪除個人身份資訊（）PII），其他Ally數據也保持私密，不會對外共享。為了提高安全性，平台會在把數據發送到Ally.ai上的私有大型語言模型之前使用標記化。團隊會和監管機構保持定期溝通，並與Azure OpenAI和AWS等第三方大型語言模型展開合作，防止數據泄露，防止基礎模型從Ally數據中進行學習。
這個平台上線之後不久，Ally就推出了兩個AI用例：通話摘要和營銷。
通話摘要功能旨在為Ally的客戶關懷和體驗團隊提供支持，利用微軟Azure和Azure OpenAI服務為呼叫中心員工接聽的每個電話生成詳細文檔，提供每周數萬個客戶服務電話摘要的實時訪問。
Muthukrishnan說：「我們平均每天接聽約10000個電話，這個功能減輕了客戶服務人員的認知負擔，使他們能夠專注於我們的客戶，而不是跟蹤對話並試圖在通話結束時撰寫摘要。」
另一方面，營銷團隊功能使用了Ally.ai的大型語言模型聊天和提示功能來幫助營銷人員生成創意活動。Ally表示，這個功能將製作創意活動和內容所需的時間縮短了多達三周，主要是在研究、初稿和命名練習等早期任務方面，與沒有AI的典型流程相比，平均節省了34%的時間。
Muthukrishnan表示，成功實現這兩種能力的關鍵，在於確保企業各個領域的人員參與其中。
「這是一次企業轉型，而不僅僅是技術轉型，我們必須有耐心，不僅是在推進技術使用方面，還有耐心等待技術的應用方式和使用者以及推動變革的人。我們特意從外部聘請了一名人員來推動AI模型，但組織中的其他人都是內部員工。」
撒下更大的網
Ally正在研究其他很多生成式AI的用例。例如，Ally的審計團隊正在使用Ally.ai創建風險審計控制指標，將風險因素分散到他們審計的每項能力，以前這項任務需要幾天時間，但現在生成式AI讓他們幾個小時就能完成這項任務。
Muthukrishnan表示，他覺得AI取得了成功，任何尖端技術都歸結為三點：
專注、有意圖的技術投資和建設。勇於嘗試新技術，但要有展示價值的意圖，以便將整個組織凝聚在一起。耐心和體貼地在整個公司內展開教育。
「不要只局限在技術領域進行實驗和發明，要向整個企業展示技術的價值，用他們的語言說話，通過教育和授權整個組織讓他們加入其中。」
