宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

跨越AI 1.0到2.0,明略科技營銷大模型賽道下的創新與發展

2023年09月27日 首頁 » 熱門科技

在明略科技集團首席技術官郝傑看來,目前我們已經從AI 1.0步入到了AI 2.0時代。AI 1.0的末期可以追溯到2017年Transformer模型的發明,並進一步升級到了BERT、GPT等模型。「我個人將這個階段稱為模型預訓練時代。從去年11月底ChatGPT問世以來,我們正式步入了AI 2.0時代,也就是大模型時代。」

跨越AI 1.0到2.0,明略科技營銷大模型賽道下的創新與發展

郝傑表示,自從GPT問世以來,它對各行各業都產生了影響,但他個人認為營銷行業是最受影響的。例如,在美國,已經有自動生成營銷文章的工具如Jasper、Copy.ai,甚至以前專注於消費者市場的產品,如Notion,現在也投入到了面向企業的營銷文章生成領域,與更多競品競爭。

在營銷領域,每個人對於營銷都有不同的理解,營銷是一個非常廣泛的領域,不僅包括市場營銷,還包括銷售、售前售後服務、客戶成功以及客服、用戶增長的CDP和DMP等等,體系非常多面且複雜,且直接面對消費者。

無論是AI 1.0還是AI 2.0時代,數據毫無疑問一直都是非常重要的生產要素。尤其是在大模型時代,數據質量直接影響模型效果。對於入局大模型賽道的企業玩家來說,手握優質數據意味著絕對性優勢。而明略,則將賽道錨定在了營銷領域。

在營銷領域,明略毫無疑問是「頭號玩家」。2006年,明略科技旗下子品牌秒針系統成立,為廣告主提供準確的網際網路用戶行為數據,發展至今,秒針所監測的範圍幾乎深度覆蓋市面上所有主流媒體和廣告形式,成為國內第一家申請MRC認證並唯一通過移動應用內曝光監測審計的第三方監測機構。2019年,明略科技成為國家「營銷智能」領域新一代人工智慧開放創新平台。

明略科技通過分析知識圖譜和社交媒體上的輿情,發現牛油果優格是一個有潛力成為爆品的新產品品類,建議某乳品行業的龍頭企業推出相關產品,並通過其營銷大模型進行創新產品的研發和上市準備,例如設計杯子包裝、準備了關於牛油果優格口味、成分、功效等方面的資訊,讓大模型生成更多關於牛油果優格的文章,以及與其他飲品的比較和用戶在輿論中的反應趨勢的歸因分析,最終實現該創新產品的落地上市。

這個案例充分展示了明略科技通過大模型生成解決方案的能力,從分析洞察到內容生成到投放監測,貫穿營銷全鏈路。

本篇文章將跟隨郝傑的講述,跨越AI 1.0至2.0,回顧十幾年來技術變革歷程,探尋營銷未來發展的創新突破點。

從AI 1.0到2.0的跨越

在AI 1.0階段,明略科技其實進行了很多探索,比如會話智能業務線的底層技術就是NLP技術,它是一款業務增長引擎,以SaaS交付方式幫助企業營銷、銷售部門實現銷售過程數字化和銷售業績歸因分析。

在AI 1.0時代的末期,明略科技的AI模型已經達到億級別參數規模。「我們使用的模型更多是基於BERT的路線,包括BERT和一些變種,如Albert等模型。我們曾經使用Albert模型贏得了一些重要比賽的冠軍,這意味著在這個不太大的非生成式大模型上,我們有過成功的經驗。但成功之下也有教訓,就是人力投入的比例很高,因為非生成式的AI需要人工標註來做監督訓練。」郝傑說。

AI 1.0和2.0的一個重大區別就是以GPT為代表的生成式AI不再需要如此多的有監督人工標註。從人力標註的角度來看,成本大大降低了。但這些成本轉移到算力和無監督學習所需的海量語料上,可能會增加更多的成本。

目前明略科技正在進行大模型的開發,並且已經轉向使用生成式大模型,採用了GPT模型。郝傑表示,「我們從零開始進行了明略科技營銷行業的大模型預訓練,這一點非常重要。從0開始意味著我們不是在微調已有模型,儘管我們有能力進行微調和對齊。我們已經找到了一條自己預訓練的道路。」

在第一階段的預訓練過程中,明略科技沒有直接使用第三方開源大模型已經訓練好的模型,而是精心準備了第一個token。經過幾個月的調整,一個具有70億參數的明略營銷行業大模型問世了,它具備思維鏈COT能力,能夠按照要求分步達成任務。相比沒有思維鏈的情況下,它所給出的答案質量更高,覆蓋美妝、汽車、3C、大健康和食品飲料行業這五大重點行業,具備進行文本生成、文本擴寫和問答等能力。

現在明略科技正在進行二次預訓練的工作,利用成熟的開源模型作為二次預訓練的參數初始化。在郝傑看來,模型並不是越大越好,中小企業會受困於模型訓練所消耗的財力和人力,選擇7B這樣的主流尺寸對於企業本身來說是合適的。如果技術能力過關,百億參數已經足夠展現出中小企業在垂直行業中的優勢,可以構建起競爭壁壘。

明略科技混合通用語料和營銷相關的數據,讓模型看到一些它之前沒有機會看到的文章、書籍,以及明略科技在社交媒體平台上爬取、篩選、清洗的高質量帖子,還有交付給客戶的優質報告、PPT等文檔,以及營銷領域的大師級著作。

訓練數據的質量也將會直接影響到大模型的效果,大模型的知識吸收程度或知識表達方式是由初級到高級,由具象到抽象的一個過程。明略科技在模型訓練的過程中,也是由淺入深地給提供語料,因為模型的學習實際上是一個經驗學科。明略科技對於數據有嚴格的質量把控。

「我們會讓大模型逐步學習,然後注入一些專業知識,這樣的學習過程是循序漸進的。專業知識來源於明略科技的秒針行業知識庫和知識圖譜,這是我們十七年來在各行各業積累的領域知識。知識圖譜比知識庫更高級,具有可讀性強的特點。而知識庫則更樸素一些,但兩者差別不大,都包含大量實體、關係和屬性。」郝傑解釋說。

目前,明略科技在完成大模型的調教和訓練後,將其應用於重點行業,使得模型在回答問題、生成文章、推理等方面應該比外部的開源和閉源模型效果更顯著。尤其是在與明略科技的Agent集成、與各種大小模型、API、資料庫和知識庫打通之後,模型效果更加顯著超過外部的通用模型,展示明略科技在AI 2.0時代的實力。

從AI Agent到insight agent、knowledge agent

AI Agent在營銷領域有很多實際應用。例如,我們可以使用AI Agent進行內容生成和診斷,幫助市場部門撰寫營銷短文、制定營銷策略等。大型客戶通常每天都在各個社交媒體平台上投放營銷內容。在過去,他們可能依賴代理公司或廣告公司來製作這些內容,但在大模型時代,他們開始將預算用於大模型AI的探索性應用。

明略科技成功為一些重點行業的客戶提供了AI Agent的服務,例如,我們批量為客戶生成了大量短文內容,客戶可以從中挑選,並直接發布到社交平台上面。

郝傑介紹說,明略科技將客戶的需求轉化為精心設計的prompt,通過prompt engineering的過程逐步提高生成文章的質量。通過與大模型進行對話,詢問不同的問題,可以將一個簡單的問題轉化為一篇內容豐富的文章。

在生成文章之後,明略科技使用質量評估模型來評估生成的文章,並根據評估結果進行調整。這種評估過程不僅依賴於人工的判斷,還使用了AI1.0時代積累下來的質量評估模型和方法論。

明略科技的秒針營銷科學院通過研究大量客戶案例,包括美妝、食品飲料、頭部快消等等,總結出優質內容具備的「四有三友好」原則:在創作側,好內容需要具備和用戶「有關係」、對用戶「有好處」、讓用戶覺得「有意思」,對內容「有期待」的「四有」原則;在傳播側,則需要滿足和平台的「算法友好」「圈層習慣友好」「平台語境友好」三大原則。具體創作時,要綜合考慮用戶和產品本身的圈層、場景、痛點、賣點,基於這些原則大規模生產內容,更為高效。

明略科技將「四有三友好」的理論引入到大模型的算法中,通過對帖子進行評級,進行基於人類反饋的強化學習,使大模型輸出結果能夠符合人類的期望。

除了內容生成,明略AI agent還專注於分析洞察,即insight agent。比如針對廣告監測業務,客戶的廣告預算、曝光有、點擊、轉化率等;聲量起伏趨勢、競品橫向對比等,這都需要分析洞察,從而為客戶下一步投放做指導。

「明略科技通過與頭部客戶和標杆客戶進行POC(Proof of Concept)的打磨,打造出效果可接受、能被更廣泛訂閱的標準化產品。我們從圖片生成開始,然後擴展到營銷文章,內容生成已經成為活躍的領域,洞察則是幫助實現內容下游價值的一部分。有了內容生成與洞察,我們的其他業務將與之相結合,形成一個更有利的閉環。」郝傑說。

除了內容,洞察,明略的AI agent還具備知識管理功能。各行各業的企業都有管理內部知識的需求。在AI 1.0的時代,這一類產品被稱為企業知識,像金融行業有專門的供應商提供企業知識管理的產品。在進入2.0時代,我們需要使用大模型重新構建企業知識庫,明略科技將其稱為knowledge agent。

「我們的目標是讓大模型能夠訪問各行業的數據和API,以提供更全面的服務。大模型只是具備類似愛因斯坦大腦或百科全書的能力,但還需要與各行各業的資料庫和API對接,以獲取更多資訊。」郝傑總結說。

技術創新展現強大實力

明略科技在大模型、AI agent等方面的探索充分表現了其技術創新實力。

大模型其實是由若干個transformer block構成,底層的block負責學習初級知識,如語法、詞彙量、常識等,中間層的block則學習專門性的知識,如數理化、編程等,最高層的block則學習抽象的概念。

「在過去的幾年中,我一直在思考如何改進大模型。去年七月份我們提出了自己的模型,叫做blockformer,它把幾十個transformer blocks連接成了一個更大的block,具有更高的推理精度。得益於此,我們在中文語音識別的排行榜上取得了第一名。」郝傑說。

大模型離不開堅實的基礎設施,明略科技構建了公有雲、私有雲混合的底座,確保成本可控和滿足擴展性需求。在工程和算法上,明略科技優化開源的並行訓練與推理架構,完成一次和二次預訓練,並通過並行計算解決顯存不足的情況。

對於大模型來說,數據安全非常重要。明略科技始終遵循合法合規的原則,以數據安全和隱私保護為最高綱領,百分之百尊重客戶和用戶的隱私安全。

「為了確保安全,我們採取了一系列技術手段,如脫敏、過濾和加密。在AI 2.0時代,大模型也會遵循相同的原則。我們不會涉及不應該觸碰的內容,只會處理合法合理能接觸的內容。處理過程中會進行加密和權限管理,以保證數據的安全。另外,針對營銷行業,如果客戶需要將內容投放到市場上,我們會從公開渠道獲取資訊。這些加密和過濾措施不會對模型訓練和最終輸出結果產生影響。」郝傑說。

自2017年起,明略科技陸續通過了資訊安全管理體系認證(ISO 27001)、質量管理體系認證(ISO 9001)、IT服務管理體系認證(ISO 20000)、隱私資訊管理體系認證(ISO27701),旗下核心產品營銷智能平台通過等級保護三級認證。今年3月,明略科技成為首批入選「卓信大數據計劃」成員單位,進一步從數據安全合規指導、數據安全管理能力建設、數據安全技術等方面持續提升能力,為客戶提供全方位的安全合規服務支撐和保障。

明略科技深耕人工智慧領域17年,幫助2000+企業在數字化轉型中挖掘數據價值及商業價值,積累了大量的營銷側數據和知識圖譜豐富經驗,沉澱了大量的營銷專業數據,將沉澱的垂直行業數據、行業經驗,注入到明略科技為客戶定製的大模型中,將打造出內容更加聚焦、更適合營銷場景的營銷領域AI智能體,滿足客戶多樣化的任務和場景需求。

「展望未來,市場是多維度的競爭。技術也從來不會是護城河,因為技術總是在不斷的變化和進步中。技術的發展就像海浪一樣,一浪接著一浪,每一浪你都必須跟上,否則就會被拋在後面。」郝傑最後說。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新