2023年上半年,科技領域最熱不過大模型;
2023年下半年,大模型開始集體「上山下鄉」,進入行業、深入硬體。
端側大模型,就是在這時開始成為一個重要研究方向。
這其中,谷歌在今年2月發布對標ChatGPT的Bard後,在前不久"made by Google"的硬體發布會上,正式將大模型相關技術下沉到了Pixel 8 Pro上。
「買手機送大模型」,也成了業界送給谷歌Pixel 8系列手機最好的推廣文案。
Bard下沉到端側
2016年,谷歌CEO Sundar Pichai在made by Google大會上正式宣布,谷歌從「Mobile First」轉向「AI First」,AI由此成為了谷歌的主旋律。
僅僅一年後,谷歌就對外發布了為大模型埋下伏筆的Transformer架構,造就了後來OpenAI的崛起,以及如今大模型時代的到來。
同樣是基於Transformer架構的Bard在今年2月正式發布後,行業內開始高度關注這一模型。
一是關注這一模型是否能夠迎頭趕上風頭正盛的ChatGPT,二是關注谷歌將如何應用這一模型。
畢竟,谷歌有著世界上最優秀的工程師團隊和工程師文化,曾在過往網際網路熱潮中,研發出了幾乎統治了搜尋引擎江湖的Google搜尋引擎,在移動網際網路時代,又憑藉Android承載了移動網際網路生態的半壁江山。
今年9月,就在谷歌這場硬體發布會之前,Bard產品總監Yury Pinsky在官方博客中透露,Bard已經可以連接到用戶的Google應用服務,以實現針對用戶本人的定製化AI服務。
在這篇博文中,他指出,Bard可以從用戶每天使用的諸如Gmail、YouTube、谷歌雲盤、谷歌地圖等服務中獲取資訊,甚至可以跨應用獲取資訊,來提供千人千面的個人AI助手的能力。
例如,如果你和你的朋友正在籌備一場去大峽谷的旅行,你就可以通過自然語言與Bard交互,讓它為你做這樣一個規劃。
Bard在收到指令後,會通過查閱Gmail郵箱中資訊來找到適合每個人的出行日期,通過查找實時航班和酒店資訊,和前往機場的谷歌地圖路線,甚至觀查閱機場活動的YouTube影片,來為你規劃好整個形成。
同樣是在這篇博文中,Yury Pinsky還提到了另一項功能——多人交互。
當有人通過向你分享了他與Bard的聊天時,你可以接著他的對話內容,繼續與Bard交互。
顯然,更符合這些功能的應用場景實際上是在移動端,這樣的應用研究,正是谷歌在為Bard下沉到端側做準備。
實際上,就在這篇博文發布兩周後,2023年10月4日,谷歌"made by Google"硬體發布會在紐約正式召開。
在這場硬體發布會上,谷歌不僅發布了Pixel 8手機,還將大模型正式下沉到了端側手機上。
端側大模型,用處幾何?
在今年的made by Google大會上,谷歌高級副總裁Rick Osterloh一上場就表示,「谷歌聚焦讓AI變得對每個人都更有用。」
至於如何讓AI變得對每個人都更有用,谷歌的做法是,做一款將軟體、硬體和AI整合在一起的手機,也就是谷歌Pixel手機。
2023年大模型這麼熱,谷歌也在端側大模型應用上做出了些花樣。
首先,在和Fitbit聯動時,生成式AI可以作為你的運動健康小助理,告訴你,你今天之所以跑步會比往常感覺更困難,是因為你今天選擇的路線更崎嶇、有更多的爬升。
與此同時,生成式AI還會根據你的問題,為你輸出含有圖表的詳細分析報告。
其次,谷歌再次提及自家語音助手時,也特別強調加入引入了Bard。
Google Assistant負責人Sissie Hsiao在發布會上表示,引入Bard後,Google Assistant將個性化功能與大模型的推理能力、生成能力相結合,可以實現聽、說、影響處理能力的全面升級。
Sissie Hsiao在發布會上通過一系列提問為我們展示了端側大模型的功能:
1、她告訴手機上的Bard「查看本周所有未讀郵件」,隨後,Bard幫她整理出收件箱中未讀郵件,並整理出相關郵件的概要,其中有一封關於派對邀請的郵件;
2、她接著問Bard「這個派對的地址在哪」,Bard通過訪問手機上的谷歌地圖,為用戶提供出這一派對的具體位置;
3、她繼續追問Bard「到這個派對需要多長時間」,Bard就會進一步在谷歌地圖上給出路線資訊。
與此同時,在手機上,Bard依然擁有大模型所有該有的文字處理和文字生成能力,這些能力也成了谷歌這代手機的一大亮點。
人均大模型時代開啟
當然,在這場硬體發布會上,谷歌還公布了一系列其他加入AI魔力的實用功能。
例如可以讓你免於騷擾電話侵擾的Call Screen。
當有電話接入你的手機時,你的語音助手會先請對方說明來意,如果對方也是一個機器人,闡述的資訊被識別為垃圾資訊,會主動回絕並將來電資訊和相關來意一併顯示在用戶螢幕上。
例如可以為你用手機拍攝的影片消除背景噪音的Audio Magic Eraser。
當你影片中有不是你需要的背景噪音時,通過這一加入生成式AI能力的功能,可以直接將這些背景噪音擦除。
再比如,可以為你P圖的Best Take。
當你在為朋友拍照時,只需要多拍幾張照片,當有某個或某些人表情不到位或有閉眼時,通過這一功能就可以篩選其他合適的表情直接替換。
此外,谷歌在Pixel 8 Pro中通過融合更強大的攝影機、Tensor G3和計算音頻的能力,引入了影片增強(Video Boost)功能,通過谷歌雲端計算攝影模型對每一幀圖像進行處理,從而得到更漂亮的影片。
也是在發布會上,谷歌Pixel產品總監Shenaz Zack也指出,「得益於谷歌數據中心模型(data center models),谷歌提升了Video Boost功能,改善了Google assistant的能力。」
這樣看來,端側大模型要想用起來,依然需要雲端大模型提供助力。
Rick Osterloh指出,「谷歌人工智慧團隊正在嘗試基於生成式AI改變現在我們看到的一切。」
尤其是輸入法中的文字修正功能、長文章的摘要整理功能,未來在大模型的加持下,將會在潛移默化中逐漸被大家頻繁使用。
對於谷歌來說,更重要的是,谷歌認為,Pixel 8 Pro是第一款搭載端側大模型的手機。
這將註定讓谷歌再次載入史冊。