軟通智慧與人大聯合發布《2023年AIGC賦能城市治理應用白皮書》。
前言
2022年末，ChatGPT一經推出即火爆全球，作為一款自然語言處理（Natural Language Processing，NLP）大模型，ChatGPT在意圖理解和內容生成上，表現出了令人驚嘆的性能。2023年初，ChatGPT的升級版GPT-4引入了對圖片、語音的支持等多模態能力，多項考試分數已經超越了大部分人類。如果說2016年AlphaGo在圍棋上戰勝人類棋王，是Al在專業領域戰勝人類的起點，那麼以ChatGPT為代表的大模型的發布，則標誌著泛化能力更強，通用任務處理更出色的生成式人工智慧（AIGC：Artificial Intelligence Generated Content）的奇點來臨。
城市治理、民生服務作為智慧城市應用的主戰場，因其場景的開放性、複雜性和不確定性，此前鮮有顛覆性的技術和應用出現。如今在大模型的發展浪潮下，人們也清晰的看到了，技術進步將給城市治理和服務帶來顛覆性影響，甚至不可避免的引發社會形態的變遷。
本白皮書通過對以大模型為代表的生成式人工智慧的回顧和研究，以場景化的形式對生成式人工智慧如何賦能智慧城市應用進行了思考和分析，並針對城市如何構建智能基礎設施進行了初步探討和實踐。亦期待各城市管理者以及行業同仁，在生成式人工智慧的加持下，圍繞城市治理、民生服務和行業賦能，發展開放共享的創新生態，加速構建新一代城市智能基礎設施，服務百姓安居樂業，賦能千行百業蓬勃發展。
一、AIGC與大模型研究
人工智慧概念，在1956年召開的達特茅斯會議上正式被提出。該會議是由資訊學鼻祖克勞德·艾爾伍德·香農（Claude Elwood Shannon）以及馬文·明斯基（Marvin Minsky）、約翰·麥卡錫（John McCarthy）等十位資訊學、數學、電腦學的科學先驅，在美國東部的達特茅斯召開的一次具有傳奇色彩的學術會議。會上首次出現了「人工智慧」（Artificial Intelligence，Al）這個術語，也是在這次會議上，他們決定，將像人類那樣思考的機器稱為「人工智慧」。
提到「人工智慧」不得不提的另一個名字，則是享有「人工智慧之父」稱號的電腦科學家艾倫·圖靈（Alan Turing），他在其論文《Computing Machinery and Intelligence》中提出了著名的「圖靈測試」，定義了判定機器是否具有「智能」的方法。
1、從統計理論到大模型，人工智慧發展的飛躍
達特茅斯會議以後，截至今日人工智慧歷經了67年的發展，縱觀其歷史，大致可分為：統計理論、機器學習、深度學習和大模型四個發展階段。從大模型階段開始，其對人類意圖的準確理解以及內容生成能力，則標誌著人工智慧從判別式時代，開始走向生成式時代。
2、從Word2Vec到Transformer，NLP技術淺析
在展開討論GPT大模型之前，我們把時間稍微往前回溯一下，通過一些案例簡要回顧一下Word2Vec、Seq2Seq等早期NLP技術，以及大模型的奠基技術：Transformer結構。
Word2Vec：
Word2Vec（Word to Vector）即：詞-向量轉換，是由托馬斯·米科洛夫（Tomas Mikolov）等科學家於2013年在論文《Efficient Estimation of Word Representations in Vector Space》中提出的。Word2Vec是NLP的重要思想，它提出了一種將自然語言的詞語轉化為「可計算」的向量的方法，這個過程通常稱為「嵌入」（embedding）。
我們來看一個例子，下圖將「King」、「Man」和「Women」三個詞進行了Word2Vec操作，並對它們的向量矩陣用顏色進行了可視化，其中每個色塊代表一個特徵（feature），特徵向量用顏色表示：深紅色為 2，白色為0，深藍色為-2。從圖中所顯示的特徵模式我們可以看到，「man」和「woman」兩個詞的向量矩陣在向量空間中的距離更近（這兩個詞的語義上相似度更高），而與「king」的距離更遠（語義上差異更大） ：
Word2Vec的表示方法能夠將詞映射到一個高維的表示語義的空間中，即：詞向量空間，使得電腦可以對自然語言進行「理解」和計算。
Seq2Seq：
Seq2Seq（Sequence to Sequence），即：「序列到序列」，是伊爾亞·蘇茨克維（Ilya Sutskever）等科學家在NIPS 2014發表的論文《Sequence to Sequence Learning with Neural Networks》中被首次提出。該論文的一作——伊爾亞·蘇茨克維即現任OpenAl首席科學家，時任Google Brain研究科學家。該論文在谷歌學術引用目前已經超過2.1萬次，可見其在NLP領域的重要性，在其發表至今近9年的時間裡，NLP的發展可以說或多或少受到了該論文思想的影響。
Seq2Seq的思想其實很直觀，就是把語言生成任務建模為序列到序列的任務。何為序列？句子就是一個文本序列，模型的輸入是一個序列，輸出也是一個序列。其提出的初衷，主要是用於翻譯任務，後來廣泛應用到對話生成、摘要生成等文本生成任務當中。
這種結構的顯著特點就是：通過編碼器-解碼器結構，維繫著輸入序列和輸出序列的一個鬆散的映射關係，鬆散主要指，輸入輸出序列的長度是可變的，且無需嚴格對應。
在實現Seq2Seq時，根據應用場景和任務不同，我們可以構建不同的編碼器和解碼器，這也就意味著序列之間的映射方法不同，如：從一種語言映射到另一種語言，是翻譯任務；從一個問題映射到一個答案，是問答系統等等。而編碼器和解碼器的具體實現，可以是NLP的經典結構循環神經網路（Recurrent Neural Network，RNN），也可以是其改良版本長短期記憶網路（Long Short-Term Memory，LSTM），亦或是「注意力」（Attention）機制。
Tranformer：
來到這裡，一切開始變得熟悉起來：Transformer結構的本質，其實就是Seq2Seq的編碼器-解碼器模型加上「注意力」機制，該機制和Transformer結構，是谷歌公司翻譯團隊在2017發表的論文「Attention Is All You Need」中首次提出。
而何為「注意力」？簡單地說，注意力能夠在句子內部計算字詞之間的相關性，使序列內部的字詞產生關聯，以更準確的將字詞映射到詞向量空間中。我們來看一個例子。假如我們有下面輸入語料：
聰 明 的 / 小 明 / 在 一 間 / 明 亮 的 / 教 室 / 寫 / 一 份 / 很 難 的 / 作 業 。
分詞之後可以看出來，「聰明的」這個定語是用來修飾「小明」這個主語的。假設「小明」這個主語所對應的token是一個三維空間（詞向量空間實際維度要高得多）R當中的一個點，當我們用「聰明的」這個形容詞來修飾這個主語之後，那這個主語在空間R當中的位置相較於不被定語修飾的token的位置應該是有一定變化的（相當於該詞的語境發生了變化，自身的含義也會發生變化）。
同理，如果換成「愚蠢的小明」也將類似，將「愚蠢的」所對應的token的資訊搬運到「小明」這個主語所對應的token，只是愚蠢的定語將會對「小明」對應的token做負向的修改。
通過「注意力」計算，可以使得模型不僅能夠關注當前位置的詞，而且能夠關注句子中其他位置的詞（上下文），從而可以更好的編碼這個詞，即將其他詞的理解融入到當前詞中。
更重要的一點，通過「注意力」機制的位置編碼（Positional encoding）操作，能夠使序列數據離散化，將循環神經網路系模型（RNN和LSTM等）難以並行化訓練的問題很好的得以解決（RNN理解文章只能先看前文，再看後文，亂序的看意思不同；「注意力」機制模型可以亂序的看，也可以很多人一起看），從這個意義上看，可以說是「注意力」機制使得大模型的發展成為可能，正如其論文標題所述：Attention Is All You Need。
3、AIGC大模型體系及其技術概要
在對Word2Vec、Seq2Seq和Transformer等技術做了一些簡單回顧後，我們下面開始對BERT和GPT兩類常見的大模型結構展開討論。
2018年，谷歌公司發布了基於Transformer結構的預訓練模型：BERT（Bidirectional Encoder Representations from Transformers）。作為雙向編碼器（Encoder）的Transformer模型變體，BERT以獨特的掩碼（Mask）方式訓練，能力則側重於閱讀理解、完形填空和翻譯等任務，得益於340M（million）的較大參數量，其在機器閱讀理解頂級水平測試SQuAD1.1中，全部指標全面超越人類，並且還在11種不同的NLP測試中，創出全部最佳的驚人成績，其中包括：將GLUE基準測試成績推升至80.4%（將當時最好成績提升了7.6%），MultiNLI準確度提高至86.7%（提升了5.6%）等。
同年，OpenAI公司也發布了基於Transformer的預訓練大模型： GPT（Generative Pre-training Transformer）。GPT則採用的是單向注意力解碼器，構建了一個12層Transformer結構的模型，參數量為1.17億（117M）。主要用於自然語言理解和生成任務，其注意力計算方向為單向，與人類的閱讀、寫作的方向一致。
另外，GPT-1還使用了一種半監督的訓練方法，即結合了無監督的預訓練和有監督的微調實現。該思想與傑弗里·辛頓（Geoffrey Hinton）於2006年在 《Science（科學）》上發表的奠基深度學習的論文《Reducing The Dimensionality of Data With Neural Networks》類似，但做了一些優化，即把無監督預訓練的結構，全部使用「注意力」機制代替，這使得預訓練模型本身就有較強的泛化能力，通過學習通用的表徵就能夠以相對固定的代價，獲得廣泛用於各種下游NLP任務的能力，極大降低了任務微調的成本。
因GPT的單向注意力解碼器Transformer結構採用的自回歸生成範式，即：其僅考慮上文資訊，而不考慮下文資訊，與BERT雙向注意力編碼器的設計理念上有很大的不同，這也使得GPT和BERT兩種預訓練模型有著不同的能力側重：
在較小參數量的條件下（數億級）BERT結構表現出優於GPT結構的NLP性能，但在大參數量條件下（千億級），BERT因過擬合現象（Overftting），適應複雜場景的泛化能力逐漸不及GPT結構模型。
因此，儘管GPT初代版本，性能並不及同期的BERT，未產生較大的影響，但經過幾輪版本疊代後，於2022年末發布的參數量高達175B（1750億）的ChatGPT，其認知能力幾乎可以與人類媲美，並可使用自然語言完成各種文檔甚至電腦代碼的編寫，而於2023年初發布的GPT-4則新增了對語音、圖片等多模態的支持，並在包括GRE、SAT以及AP（Advanced Placement）考試中，獲得了高於大多數人類的分數。
依託大模型的通用泛化認知水平，將引起對生產力發展、社會形態和人機關係的廣泛討論的同時，勢必也將給城市治理帶來技術利好，引發城市治理和服務的範式的轉變。下面將結合大模型的技術特點展開闡述。
二、城市治理數字化基因：大模型賦能城市治理新範式
1、城市治理的現狀與挑戰
我國在快速城鎮化的過程中，隨著城市規模的不斷擴張，以往大城市資源要素帶來的規模紅利逐步遞減，人口、資源等要素的聚集反而為城市帶來了更大的治理問題。城市規模越大，地理空間也越大，導致管理範圍擴大，同時，人口增加導致管理對象和管理事項增多，與城市運行相關的問題也隨之增多：環境污染、治安問題、公共服務與需求不匹配等等「城市病」愈發凸顯。治理對象數量龐大，治理內容紛繁複雜，各類城市治理問題不斷增加，治理難度不斷上升。
城市基層治理力量不足
城市基層治理的核心是切實建立多主體參與、運行有效的治理體系。很多城市和超大城市基層社區工作人員和社區資源有限，無法滿足瞬時湧現的社區居民巨量化、多樣化、非標準化的社會服務需求和差異化訴求。
城市基層治理效率不高
為應對基層治理力量不足的矛盾，傳統做法是通過增加網格員和綜治人員人數量等「人海戰術」方案。但實踐效果來看，此舉並未根本解決此問題。一方面一味增加基層治理人員數量，成本高昂財政難以負擔，更重要的是，無序擴大的基層人員數量，無疑增加了社會治理整體的複雜度和不確定性，治理效率不增反降，勢必會耗費更多的人力物力成本。
城市基層治理各自為「戰」
基層各部門間協調不暢。當前我國城市基層的日常化運行管理與應急化管理，各自獨立、自成系統。衛生部門、安全部門、民政部門以及應急管理部門等行政管理系統存在著「頭痛醫頭、腳痛醫腳」的問題。基層政府各職能部門間各自為「戰」，各部門間缺乏有效的合作統籌機制，從而也影響到危機發生時的快速反應和行動能力。
城市基層服務「溫度」不足
基層治理因事項繁雜、情況多變等原因，包括市民政務事項辦理等場景服務的友好程度、便利性不足，仍然以流程為出發點，讓辦事市民適應略顯僵化的辦事流程和行政機構組織架構，市民服務仍然缺乏「溫度」。
因此，城市治理亟須與治理環境相契合的技術和管理範式。
2、城市治理發展趨勢：智能化
《中共中央關於全面深化改革若干重大問題的決定》提出，推進國家治理體系和治理能力現代化，將治理現代化作為國家治理的重要任務。我國第七次全國人口普查數據顯示，我國城鎮常住人口超9億人，占總人口比重為63.9%。城市治理已成為社會治理和國家治理的重要組成部分，國家治理體系和治理能 力現代化的關鍵在於城市治理的現代化。在數字時代，推進城市治理現代化，要求我們廣泛應用現代科學技術手段並將其轉換為可實用的治理技術，將推動城市治理範式全方位升級。
先進的數字技術，尤其是大模型等新一代人工智慧技術的不斷更新疊代和全方位的普及滲透，正在深刻影響和改變著人們的行為方式和生產生活方式。數字技術賦能市域社會治理，是促進市域社會治理精準化精細化和便民服務智慧化、構建市域社會治理新格局、推進市域社會治理體系和治理能力現代化的有效措施。
在通用人工智慧與大模型的發展浪潮的契機下，基於通用人工智慧加強社會服務力量，統籌基層治理人力資源，進一步提升市域社會治理效能，提升民生服務溫度，是大勢所趨。
三、技術保障 政策規範，確保生成式人工智慧有序健康發展
在生成式人工智慧的加持下，城市治理方式和民生服務範式將會迎來巨大的變化，而在Al大模型全面滲透社會生產生活之後，其自身的資訊、數據安全性，乃至Al意識形態的政治風險，成為一個不得不討論的話題。
本章將從技術保障和政策規範兩個維度，針對通用人工智慧安全性保障方式進行了闡述，以此構建「雙保險」的方式，確保城市大模型等人工智慧的有序健康發展。
1、AlGC打開潘多拉魔盒
人工智慧將是人類最重要的成就，但可能是最後一個。——史蒂芬 ·霍金（Stephen Hawking）
包括史蒂芬·霍金在內的不少科學家，表達過對人工智慧發展方向的擔憂，即人工智慧一旦具備了自我進化的能力，將難以保證一直向良性的方向發展。而大模型更是加速了這種可能性。生成式人工智慧的發展，其生成內容早已通過了圖靈測試，人類對此難辨真偽。因此，保障生成式人工智慧有序健康發展亟需相應的技術和法規對其進行相應的約束。
2、技術保障
技術保障，是給大模型生成式內容施加的第一把「保險」，也是保障資訊安全的技術紅線。
敏感數據物理隔離
城市大模型的落地實施，應遵循敏感數據的物理隔離原則，包括預訓練基礎模型在內的模塊，需要在當地自主可控的政務資訊資源環境下進行訓練、微調和部署推理，目的是確保政務敏感數據不出私域，在物理層面保障數據和資訊安全。
構建負樣本模型「護欄」
而針對完全使用開放語料訓練的大模型「口無遮攔」的生成特徵，應該使用負樣本語料或圖像訓練小模型作為大模型與用戶之間的資訊安全「護欄」，一旦大模型的輸出結果與負樣本模型生成結果相似，則向用戶反饋「不知道」等無害資訊。同時負樣本模型可以根據應用場景、受眾群體以及用戶接受程度的差異進行相應的微調設置，確保涉黃、涉政、涉暴等內容被護欄隔離在外，保障Al大模型的意識形態安全性。
多次生成交叉比對
針對大模型可能產生的「一本正經的胡說八道」等一致性偏差的內容，可通過使用兩個不同的大模型，抑或同一模型不同Seeds參數的多次生成的內容進行比對計算，如果出現同一要求和提示下，生成的內容差異較大，甚至相悖的情況，則代表此次生成結果並不具備認知合理性，即向用戶返回「不知道」等安全資訊，避免在政務行政審批等應用場景下，因大模型的認知謬誤造成不良的影響。
3、政策規範
針對生成式人工智慧的健康發展和服務規範應用問題，2023年，國家網際網路資訊辦公室發布了《生成式人工智慧服務管理辦法（徵求意見稿）》，從整體基調來看，本次新規是為了促進生成式人工智慧健康發展和規範應用，對支持行業合規發展傳遞出積極的信號。
全球各地區也陸續對生成式Al的發展立法立規，歐洲議會於2023年5月通過《人工智慧法（The Al Act）》提案的談判授權草案。草案就對ChatGPT等生成式人工智慧大模型的一系列要求達成一致，標誌著歐盟對人工智慧實施強監管方面也邁出了一步。
該草案將嚴格禁止「對人類安全造成不可接受風險的人工智慧系統」，包括有目的地操縱技術、利用人性弱點或根據行為、社會地位和個人特徵等進行評價的系統等。
草案提出了新的保障措施，並禁止各種危險用例，包括禁止在公共場所進行大規模面部識別程序，以及禁止使用預測性警務系統（即Al犯罪預測系統）。草案還要求建立一個公共資料庫，記錄政府部門部署的「高風險」人工智慧系統，公開數據，以便公民能夠了解他們將何時以及如何受到這項技術的影響。
對此我們相信，在相關保障技術的不斷更新疊代，以及相關法律法規的日臻完善下，城市大模型將會沿著健康有序發展的道路發展前行。
四、未來已來，你來不來
我們看到，以大模型為代表的生成式人工智慧，可以做一些令人驚訝的事情，以及可能對智慧城市、社會發展產生的影響。但目前，我們並沒有完全理解它，以及如何實現如此卓越的智力等根本問題。大模型是如何推理、計劃和創作的？當大模型的核心僅僅是簡單梯度下降算法，並與大量數據、大規模Transformer結構組合時，為什麼它會表現出如此通用的靈活性和智能？這些問題是大模型神秘和迷人的一部分，它挑戰了人類對學習和認知的理解，激發了我們對人工智慧未來圖景的探索。
對於大模型的能力「湧現」，一個普遍的認知是，大量的數據（特別是內容的多樣性）迫使神經網路學習通用和有用的「神經迴路」，而模型的大參數量為「神經迴路」提供了足夠的冗餘和多樣性，即泛化性能，使其即使通過專業領域數據，微調到特定的任務上，基礎模型仍然能夠提供足夠的泛化性能和通用知識。
大模型的「湧現」現象，包括RLHF在內的自我疊代的能力，為人工智慧未來的發展提供了足夠大的想像空間，人類似乎掌握了人工智慧發展從「量變」到「質變」的密碼。
大模型的通用泛化能力，對愈來愈大的城市規模、愈來愈複雜的城市治理和民生服務場景來說，是一把足夠稱手的工具，人工智慧的發展，定會帶來新的範式改變和新的機會。
未來已來，不由得選擇，但以什麼樣的姿態擁抱未來，則是我們每一個人、每一家商業機構、每一個國家，乃至人類應該認真考慮的問題。
