2023年過(guò)去幾個(gè)月里，高通一直在鼓吹手機(jī)大模型。

就好像是要用行動(dòng)證明，大模型這件事兒，不能只肥了英偉達(dá)，高通也要分杯羹。

高通著急是有原因的，畢竟智能手機(jī)市場(chǎng)已經(jīng)觸頂，XR市場(chǎng)還未起量，高通剛剛公布的三季度財(cái)報(bào)中“智能手機(jī)芯片銷(xiāo)量下降25%，QCT部門(mén)銷(xiāo)售額同比下降24%”格外顯眼。

這與英偉達(dá)H10043萬(wàn)張的供給缺口形成了鮮明的對(duì)比。

于是，我們看到，今年2月，高通官方Y(jié)ouTube發(fā)布了一則40秒的“短視頻”，在這個(gè)視頻中，高通為一部有明顯驍龍標(biāo)識(shí)的安卓手機(jī)裝上了StableDiffusion，并用14.42秒生成了一張AI圖片。

StableDiffusion是當(dāng)下最火的AI繪圖軟件，也是一個(gè)擁有10億參數(shù)的大模型。

不過(guò)，10億級(jí)參數(shù)的StableDiffusion顯然無(wú)法與如今千億級(jí)參數(shù)的GPT-3.5、萬(wàn)億級(jí)參數(shù)的GPT-4相提并論。

高通的目標(biāo)自然也不止于此，高通隨后不僅又在手機(jī)上演示了15億參數(shù)的ControlNet，還多次對(duì)外布道，“年內(nèi)將在手機(jī)上支持100億級(jí)大模型?！?/span>

就在英偉達(dá)顯卡賣(mài)瘋了的這一年，看似與大模型中間隔著無(wú)數(shù)張H100的手機(jī)，開(kāi)始要上大模型了。

然而，手機(jī)上大模型這件事兒，可能遠(yuǎn)沒(méi)有你想得那么高級(jí)，但遠(yuǎn)比你想得要重要。

01

谷歌將“小模型”裝進(jìn)手機(jī)里

2017年7月，谷歌母公司Alphabet宣布，接任谷歌CEO一職兩年的SundarPichai正式進(jìn)入董事會(huì)。

對(duì)于Pichai來(lái)說(shuō)，這無(wú)疑是對(duì)他過(guò)去兩年工作最大的肯定。

而就在兩個(gè)月前的谷歌I/O2017大會(huì)上，Pichai剛剛宣布，接下來(lái)，谷歌公司戰(zhàn)略將從“Mobilefirst”轉(zhuǎn)向“AIfirst”，AI開(kāi)始上升為谷歌的公司戰(zhàn)略，這時(shí)距離谷歌收購(gòu)DeepMind剛剛過(guò)去三年。

這一年發(fā)生的另一件奠定了谷歌在AI領(lǐng)域江湖地位的事兒是，谷歌大腦團(tuán)隊(duì)在發(fā)表的《AttentionIsAllYouNeed》中創(chuàng)造性地提出了Transformer架構(gòu)。

這一架構(gòu)不僅成為后來(lái)人工智能和自然語(yǔ)言技術(shù)發(fā)展的基石，也直接促使OpenAI團(tuán)隊(duì)開(kāi)創(chuàng)了如今的ChatGPT盛世。

不過(guò)，這些不是我們今天要討論的重點(diǎn)，我們今天要討論的是谷歌在這一年另一項(xiàng)，對(duì)于手機(jī)這樣的終端設(shè)備影響深遠(yuǎn)的AI突破——聯(lián)邦學(xué)習(xí)（FederatedLearning）。

機(jī)器學(xué)習(xí)是人工智能的主流研究方法，然而，以往將這樣的人工智能能力應(yīng)用到終端設(shè)備上時(shí)，通常需要經(jīng)歷一個(gè)“終端數(shù)據(jù)收集-發(fā)送數(shù)據(jù)到云端-云端模型訓(xùn)練-終端執(zhí)行決策”這樣一條長(zhǎng)鏈路。

究其原因，是因?yàn)榻K端設(shè)備算力和存儲(chǔ)資源都極為有限，要在手機(jī)這樣的終端上進(jìn)行AI模型訓(xùn)練不現(xiàn)實(shí)。

不過(guò)，谷歌并不這么想，他們通過(guò)一個(gè)頗為討巧的方法——端云協(xié)同，嘗試在終端上研究人工智能技術(shù)。

2017年4月6日，谷歌在官方博客中更新了一篇文章——《FederatedLearning：CollaborativeMachineLearningwithoutCentralizedTrainingData》，在這篇文章中，谷歌AI科學(xué)家指出：

“在手機(jī)從云端下載AI模型后，在手機(jī)上，通過(guò)手機(jī)上的數(shù)據(jù)訓(xùn)練并改進(jìn)模型，改進(jìn)部分被單獨(dú)總結(jié)并發(fā)送回云端，用于改進(jìn)云端‘大模型’。

這其中，所有訓(xùn)練數(shù)據(jù)都保留在手機(jī)本地，不再單獨(dú)更新并存儲(chǔ)到云端?！?/span>

聯(lián)邦學(xué)習(xí)的模式，優(yōu)點(diǎn)在于解決了人工智能研究過(guò)程中的數(shù)據(jù)安全問(wèn)題，但是并沒(méi)有從根本上解決本地設(shè)備算力、存儲(chǔ)資源受限的問(wèn)題。

在聯(lián)邦學(xué)習(xí)框架之下，最初下載到本地設(shè)備的AI模型和云端AI模型是一個(gè)同樣大小的模型，好在谷歌當(dāng)時(shí)找到了一個(gè)恰好符合這一方法的應(yīng)用場(chǎng)景——手機(jī)輸入法。

谷歌當(dāng)時(shí)是基于自家的Gboard輸入法做了一個(gè)端側(cè)系統(tǒng)中的推薦引擎，當(dāng)你用手機(jī)的Gboard輸入一個(gè)字母或單詞時(shí)，推薦引擎會(huì)根據(jù)你的歷史使用數(shù)據(jù)推薦相應(yīng)的關(guān)聯(lián)內(nèi)容給你。

這樣的功能在諸如百度輸入法、搜狗輸入法等各類(lèi)輸入法中已經(jīng)得到了廣泛使用，也在潛移默化中改變著我們的手機(jī)使用習(xí)慣。

例如現(xiàn)在越來(lái)越多人在手機(jī)上已經(jīng)習(xí)慣了使用九宮格輸入法，背后少不了這種推薦引擎帶來(lái)的便利和魔力。

不過(guò)，手機(jī)輸入法涉及的單詞量有限，通常一門(mén)語(yǔ)言的常用單詞量在1萬(wàn)個(gè)左右，有國(guó)內(nèi)研究團(tuán)隊(duì)預(yù)測(cè)，谷歌當(dāng)時(shí)推出的這一輸入法推薦引擎模型體積可能只有約1.4MB大小。

因而，嚴(yán)格意義上來(lái)說(shuō)，谷歌六年前提出的聯(lián)邦學(xué)習(xí)，實(shí)際上只是將占用資源量有限的“AI小模型”裝進(jìn)了手機(jī)里。

谷歌的聯(lián)邦學(xué)習(xí)，只是驗(yàn)證了端側(cè)AI的可行性，邁出了端側(cè)AI的“一小步”。

02

超越“小模型”

就在谷歌提出聯(lián)邦學(xué)習(xí)不久，由于其在隱私性和安全性上的突出表現(xiàn)，使得它在金融領(lǐng)域得到了廣泛應(yīng)用。

與此同時(shí)，端側(cè)AI的發(fā)展，也并沒(méi)有停在“AI小模型”上。

上海交大吳帆教授團(tuán)隊(duì)是從2019年開(kāi)始研究端側(cè)人工智能技術(shù)，吳帆教授團(tuán)隊(duì)當(dāng)時(shí)是與阿里的團(tuán)隊(duì)基于手機(jī)淘寶的應(yīng)用需求，做的偏應(yīng)用性的技術(shù)研究。

每當(dāng)你在手機(jī)上打開(kāi)京東或淘寶等線(xiàn)上購(gòu)物平臺(tái)時(shí)，第一屏上總會(huì)出現(xiàn)你最近搜索過(guò)或想過(guò)要買(mǎi)的商品，這背后其實(shí)就是一套類(lèi)似前文中提到的輸入法推薦引擎一樣的推薦引擎。

不過(guò)，電商平臺(tái)面向的是10億級(jí)用戶(hù)和數(shù)十億商品信息，因而推薦引擎所需的計(jì)算資源和存儲(chǔ)資源，都是輸入法這樣的手機(jī)應(yīng)用無(wú)法比擬的。

僅僅以模型大小來(lái)看，要想嵌入20億個(gè)商品信息，模型規(guī)模就已經(jīng)達(dá)到了130GB，如果仍然照搬谷歌提出的聯(lián)邦學(xué)習(xí)框架，本地設(shè)備顯然無(wú)法提供如此規(guī)模的硬件資源。

而如果是使用減枝、量化、知識(shí)蒸餾等傳統(tǒng)模型壓縮方法，端側(cè)AI推薦引擎的準(zhǔn)確率又會(huì)大打折扣。

因而，吳帆教授團(tuán)隊(duì)借鑒聯(lián)邦學(xué)習(xí)的思路，研究出了一套適用于手機(jī)淘寶這樣“大模型”的端側(cè)推薦引擎構(gòu)建機(jī)制：

第一步，將與用戶(hù)特征數(shù)據(jù)相關(guān)的局部模型切分下來(lái)，并將這個(gè)局部模型下載到本地結(jié)合本地?cái)?shù)據(jù)進(jìn)行模型訓(xùn)練；

第二步，下載到本地的模型經(jīng)由本地用戶(hù)數(shù)據(jù)訓(xùn)練后，將本地參數(shù)根據(jù)本地模型特性和數(shù)據(jù)量進(jìn)行加權(quán)計(jì)算；

第三步，加權(quán)計(jì)算后的本地參數(shù)上傳到云端，對(duì)云端全局大模型進(jìn)行訓(xùn)練。

在吳帆教授團(tuán)隊(duì)的這套思路中，推薦模型同樣被切分為云端模型和（手機(jī)）本地模型，不同的是，云端模型是最終完整的“大模型”，手機(jī)本地模型則是根據(jù)每個(gè)用戶(hù)特征本地訓(xùn)練形成的個(gè)性化用戶(hù)“小模型”。

據(jù)吳帆教授公開(kāi)的研究數(shù)據(jù)顯示，每位用戶(hù)每個(gè)月關(guān)注的商品數(shù)大概在300個(gè)左右，因而手機(jī)本地的推薦模型大小只有0.27MB左右，甚至比輸入法的手機(jī)本地推薦模型還要小。

這正是淘寶在移動(dòng)互聯(lián)網(wǎng)時(shí)代能夠精準(zhǔn)掌握用戶(hù)購(gòu)物習(xí)慣和用戶(hù)畫(huà)像的一個(gè)秘密武器。

03

手機(jī)大模型的歷史使命

現(xiàn)在再來(lái)看高通提出的手機(jī)大模型和混合AI這件事兒，似乎也沒(méi)有多高級(jí)。

畢竟，在過(guò)去這些年里，已經(jīng)有不少團(tuán)隊(duì)在嘗試將各類(lèi)算法模型、推薦引擎放到手機(jī)上了。

那么，為什么這件事兒這么重要呢？

這是因?yàn)椴渴鹪谠贫说娜斯ぶ悄芩惴?，在手機(jī)這類(lèi)設(shè)備中應(yīng)用時(shí)，存在三個(gè)問(wèn)題：

第一，服務(wù)響應(yīng)延時(shí)高；

第二，服務(wù)個(gè)性化不足；

第三，云服務(wù)器壓力大。

前兩者關(guān)乎用戶(hù)使用體驗(yàn)，就像身處5G時(shí)代的我們，回過(guò)頭來(lái)看，已經(jīng)完全無(wú)法忍受2G、3G時(shí)代時(shí)手機(jī)打開(kāi)一個(gè)網(wǎng)頁(yè)都需要幾秒延時(shí)的體驗(yàn)一樣。

喬布斯在2007年發(fā)布第一代蘋(píng)果手機(jī)時(shí)，現(xiàn)場(chǎng)演示手機(jī)沖浪，打開(kāi)紐約時(shí)報(bào)時(shí)都需要讀秒，如果現(xiàn)在我們打開(kāi)京東、淘寶、支付寶，首頁(yè)推薦內(nèi)容需要讀秒才能呈現(xiàn)的話(huà)，那將是一個(gè)不敢想象的恐怖故事。

不過(guò)，端側(cè)AI更重要的意義，其實(shí)在于分擔(dān)云計(jì)算的壓力。

云計(jì)算是我們當(dāng)下這個(gè)時(shí)代一項(xiàng)獨(dú)特的技術(shù)，它的出現(xiàn)讓我們能夠集中計(jì)算資源辦大事兒。然而，我們也看到，即便數(shù)據(jù)中心已經(jīng)被納入到我們國(guó)家的新基建建設(shè)規(guī)劃之中，但是云計(jì)算資源依舊緊張。

尤其是大模型的出現(xiàn)，對(duì)計(jì)算資源提出了更高的要求，高通今年特別出了一份混合AI的研究報(bào)告，報(bào)告中援引摩根士丹利的數(shù)據(jù)指出：

生成式AI每次搜索的成本是傳統(tǒng)搜索方法的10倍，以目前每天超過(guò)100億次搜索計(jì)算為例，即便基于大語(yǔ)言模型的搜索僅占其中一小部分，每年增量成本也可能會(huì)達(dá)到數(shù)十億美元。

而作為如今每年擁有十幾億出貨量的個(gè)人終端，智能手機(jī)就像是擁有大量閑置算力的移動(dòng)計(jì)算單元，如果能在這些設(shè)備閑置時(shí)間里將這些碎片化、分布式算力利用起來(lái)，將會(huì)產(chǎn)生不小的社會(huì)效益。

而這，或許才是手機(jī)大模型真正的歷史使命。

04

留給手機(jī)大模型的三個(gè)問(wèn)題

2022年1月24日，中國(guó)工程院院刊舉辦第三屆信息與電子工程領(lǐng)域青年學(xué)術(shù)前沿論壇，彼時(shí)，還是阿里達(dá)摩院智能計(jì)算實(shí)驗(yàn)室負(fù)責(zé)人的周靖人，對(duì)外發(fā)布了阿里的“洛犀”端云協(xié)同平臺(tái)。

這一平臺(tái)，背后是阿里達(dá)摩院、浙江大學(xué)上海高等研究院、上海人工智能實(shí)驗(yàn)室三個(gè)國(guó)內(nèi)頂級(jí)研究機(jī)構(gòu)合作產(chǎn)物，其作用，正是實(shí)現(xiàn)端云協(xié)同的人工智能。

此外，據(jù)吳帆教授近日透露，吳帆教授團(tuán)隊(duì)在端云協(xié)同AI上的工作，也被納入到了科技部2030人工智能重大專(zhuān)項(xiàng)的扶持項(xiàng)目之列。

不過(guò)，他也指出，目前端云協(xié)同AI仍然存在三方面難題：

第一，云上大模型與端側(cè)小模型之間的高效遷移問(wèn)題；

第二，端側(cè)持續(xù)性增強(qiáng)學(xué)習(xí)所面臨的資源占用問(wèn)題；

第三，端側(cè)新知識(shí)如何高效匯聚、融合到云測(cè)，支持云測(cè)大模型演進(jìn)的問(wèn)題。

2023年，大模型炸裂了整個(gè)科技圈，人們都驚訝地看著它肆無(wú)忌憚的表演，盡管大模型對(duì)計(jì)算資源有超高的需求，無(wú)論是入局大模型戰(zhàn)場(chǎng)的科技巨頭，還是創(chuàng)業(yè)團(tuán)隊(duì)，都在瘋搶GPU資源，但這并不影響大模型在手機(jī)上的部署。

實(shí)際上，早在今年4月，也就是在高通在安卓手機(jī)上演示基于StableDiffusion的AI作圖沒(méi)多久，Midjourney就已經(jīng)“落戶(hù)”QQ，QQ用戶(hù)就已經(jīng)可以在手機(jī)端進(jìn)入這一大火的AI作圖工具的“體驗(yàn)服”。

這同樣是基于端云協(xié)同AI的一次嘗試。

高通今年提出的“年內(nèi)在手機(jī)上支持100億級(jí)大模型”的目標(biāo)，雖然聽(tīng)上去有些不可思議，實(shí)則同樣是基于其提出的混合AI模式，也就是端云協(xié)同AI。

這么看來(lái)，大模型從未離開(kāi)過(guò)智能手機(jī)這一刺激戰(zhàn)場(chǎng)，大模型也將繼續(xù)在擁有超過(guò)60億用戶(hù)的智能手機(jī)上繼續(xù)“強(qiáng)化學(xué)習(xí)”。