有問題，才有解決問題的方法
大模型是過去一年的「大明星」，各種大模型的湧現讓整個市場看起來異彩紛呈。
不過大模型還只是處於發展的初級階段，能力標準、技術路徑、場景落地以及商業模式等依然存在不確定性。
例如，傳統的自然語言榜單側重語言理解和生成，比如辨析詞句意義是否相近、文本分類、關鍵資訊提取、文本生成等。自從GPT-4開始用真實的考試評估模型能力開始，目前業界對於模型能力的評估有了更多維度，知識、邏輯和計算等非語言模型擅長的能力都作為了衡量大模型能力的關鍵點之一。
在浪潮資訊「源」大模型團隊看來，要衡量大模型的整體性能表現大致有如下幾類，每一類又有非常細緻的各類技術指標：
準確度是指大模型生成的結果與真實或參考結果之間的相似度或一致性。比如模型是否能給出準確的計算結果、可運行的代碼、符合真實的答案等等。
效率是指大模型在完成任務時所消耗的資源或時間。效率可以用不同的方法來衡量，通常的衡量方式是顯存占用和推理時間，這些決定了模型可以在怎樣的配置下完成推理。
可靠性是指大模型在處理異常提問或有害資訊等情況時所表現出的穩定性或魯棒性。比如能否拒絕關於有害內容的提問，在提問不完整時能否進行追問等等。
解決「幻覺」，對齊「價值」
在大模型方面，困擾業界的一大難題是「幻覺」問題。「幻覺」是由大模型的Transformer技術路線帶來的，其路線本質是用訓練中學到的文本語言結構和語義的理解，預測文本序列中下一個token，從而選出一個最好的關鍵字眼，不斷「湧現」出新的內容，這既是它的創造能力來源，也是它的「幻覺」來源。
同時，大模型的訓練數據缺陷、RLHF對齊過程、推理過程都會對大模型的「幻覺」產生影響。這是大模型基於現有的技術路線不可避免的問題，也是一個引人關注的持續問題，需要持續的研究。
浪潮資訊「源」大模型專家表示，大模型的幻覺問題有不同的類型，針對不同類型的幻覺，採用不同的技術路線進行解決。
首先，針對事實性幻覺（即模型生成的內容與可驗證的現實世界事實不一致），檢索增強生成（RAG）的技術方法正獲得更多關注。浪潮資訊在「源2.0」的訓練中構建了RAG相關數據集，可以有效提升其在檢索生成上的表現。
在大模型落地應用中，浪潮資訊也會基於RAG技術，將「源」大模型掛載專業的數據中心服務知識庫上，以提升「源」大模型對於專業的IT服務知識的理解，更好地回答專業的數據中心客戶問題。
基於「源」大模型，使用知識庫檢索的方式打造的智能客服「源曉服」對於浪潮資訊8大產品線的全部服務問題，覆蓋率達到92%，針對數據中心常見的技術問題，如系統安裝、Raid配置、部件異常等問題，「源曉服」的解決率高達80%，可將複雜技術諮詢問題的業務處理時長降低65%，提升浪潮資訊整體服務效率達160%。
針對忠實性幻覺（指模型生成的內容與用戶的指令或對話上下文不一致）目前大模型領域一個核心的技術路線是增加上下文窗口長度。更大的上下文窗口，可以讓模型從輸入中獲得更豐富的語義資訊，甚至直接基於全文理解進行問答和資訊處理。「源2.0」大模型將輸入序列長度增加到8192，在容納上下文內容方面更加遊刃有餘。目前，「源2.0」大模型在持續擴大上下文的長度。
由此，模型不僅能更好地捕捉上下文的相關性、消除歧義，進而更加精準地生成內容，緩解「幻覺」問題，提升性能。而且，也可以在長上下文的加持下，與更多的垂直場景深度結合，真正在人們的工作、生活、學習中發揮作用。
浪潮資訊「源」大模型專家介紹說，為了與人類價值觀對齊，「源2.0」主要在數據和訓練方式兩方面做了工作。在處理數據集的時候，過濾各種有害資訊，尤其是中文語境下的有害資訊，包括涉及暴力、色情、違反法律、違反價值觀的資訊，從而保證模型無論在預訓練還是微調階段都不會接觸到低質有害的數據。在監督微調階段，「源2.0」會在訓練數據中加入拒絕回答的範例，當輸入的問題涉及不良資訊或引導時，模型會拒絕給出回答。
加速大模型產業應用進程
除了標準和「幻覺」問題，由於大模型的基礎能力還有限，在實際落地過程中還不能很好地滿足各個細分場景的具體需求。在應用落地層面，大模型開發優化工作是一項複雜的系統工程，僅通過有限開放的API進行微調，只能停留在「套殼」階段，大模型的產業化、場景化應用治標不治本，難以持續滿足不斷變化的行業應用需求。
針對此，浪潮資訊提出了「共訓計劃」，依託「源2.0」大模型，通過與開發者共訓、共創的模式，可以快速輕量化地發掘更多的應用場景，掌握更多的AIGC的產業化應用先機。
大規模模型在落地使用過程中，需要強大的基礎設施來支撐，因此，AI Infra層面的挑戰也是各個企業在使用大模型的過程中不得不面對的難題。無論是大模型的開發訓練，還是在行業應用中的落地微調，其都面臨基礎設施層面的系統性工程問題，從數據清洗到算力適配，從性能兼容適配到軟硬體協同，這些挑戰會共同影響大模型的性能與落地的速度。
針對AI Infra層面的挑戰，浪潮資訊發布了大模型智算軟體棧OGAI（Open GenAI Infra），通過全流程的軟體工具棧來解決算力與大模型應用之間的難題，讓上層應用開發者能夠專注於業務邏輯和應用功能本身的創新實現。
開源協作，匯聚創新力量
展望未來，大模型會有哪些發展趨勢呢？浪潮資訊「源」大模型專家表示，基礎大模型是生成式AI能力提升的核心。未來，在大模型產業發展中，基礎模型的能力是最基礎、最核心的部分。以OpenAI為例，他們走出了一條清晰的基礎模型能力提升路線。當基礎模型應用在對話領域的時候就形成了ChatGPT，當應用在其他領域便形成了各種Copilot應用。
「眾人拾柴火焰高」，繁榮的開源模型生態體系是吸納、培養用戶的重要途經，也是避免當下AI大模型企業重複造輪子的商業新範式。以優秀的開源模型性能匯聚技術創新力量，以技術創新反哺大模型數據、工具、應用的疊代升級，為行業用戶、應用開發商、社區開發者提供堅實的底座和成長的土壤，激發無窮創新力。
目前，浪潮資訊的「源2.0」大模型進行了全面開源，全系列模型參數和代碼均可免費下載使用。大模型的開源開放可以使不同模型之間共享底層數據、算法和代碼，有利於打破大模型孤島，促進模型之間協作和更新疊代；同時，有利於以更豐富的高質量行業數據反哺模型，打造更強的技術產品，加速商業化進程。
雖然大模型還面臨諸多挑戰，在產業界的努力和開源生態的推動下，我們相信未來的大模型將繼續創造更多價值，成為推動技術進步和社會發展的重要力量。
