數(shù)據(jù)空間需要新型基礎(chǔ)設(shè)施
國(guó)家數(shù)據(jù)局成立后于2023年首次提出了數(shù)據(jù)基礎(chǔ)設(shè)施體系(如圖1),左上的網(wǎng)絡(luò)設(shè)施、安全設(shè)施是信息基礎(chǔ)設(shè)施的核心,右下的算力設(shè)施、數(shù)據(jù)流通設(shè)施是新型基礎(chǔ)設(shè)施的核心。
圖1:國(guó)家數(shù)據(jù)局提出的“數(shù)據(jù)基礎(chǔ)設(shè)施”體系圖
本文的主要觀點(diǎn)是:從信息時(shí)代演進(jìn)到智能時(shí)代的本質(zhì)變化就是網(wǎng)絡(luò)空間(Cyberspace)架構(gòu)在信息空間層上增加了數(shù)據(jù)空間層。數(shù)據(jù)基礎(chǔ)設(shè)施就是要實(shí)現(xiàn)人工智能三要素——數(shù)據(jù)、算力、算法的基礎(chǔ)設(shè)施化,以支撐智能時(shí)代核心資源的廣域共享與人工智能低門(mén)檻的廣泛應(yīng)用。
一、 網(wǎng)絡(luò)空間是如何形成的?
空間就是有結(jié)構(gòu)的一種物質(zhì)客觀存在形式。從空間的角度看,網(wǎng)絡(luò)空間(Cyberspace)是如何形成的?
首先,網(wǎng)絡(luò)空間的基礎(chǔ)是計(jì)算機(jī)系統(tǒng),從大型的主機(jī)到小型的服務(wù)器,再到微型的微機(jī),以及移動(dòng)型的智能手機(jī)和現(xiàn)在嵌入型的智能物端(embodiment thing)等,都是單個(gè)的計(jì)算機(jī)系統(tǒng)。然后,建立連接,就有了計(jì)算機(jī)網(wǎng)絡(luò),形成了網(wǎng)絡(luò)空間的物理層——計(jì)算機(jī)空間。由網(wǎng)絡(luò)IP地址和網(wǎng)絡(luò)傳輸協(xié)議構(gòu)成的互聯(lián)網(wǎng)結(jié)構(gòu),是計(jì)算機(jī)空間的基本結(jié)構(gòu),其主力應(yīng)用是各類(lèi)網(wǎng)絡(luò)應(yīng)用,如電子郵件(email)、遠(yuǎn)程終端(telnet)。
然后,通過(guò)萬(wàn)維網(wǎng)(World-Wide Web),形成了網(wǎng)絡(luò)空間的邏輯層——信息空間。其基本抽象是網(wǎng)頁(yè)(web page),核心功能都是通過(guò)網(wǎng)頁(yè)的生成、組合、顯示(html)來(lái)實(shí)現(xiàn)的,網(wǎng)頁(yè)的地址和鏈接協(xié)議(http)構(gòu)成了信息空間的基本結(jié)構(gòu),主力應(yīng)用是各類(lèi)網(wǎng)頁(yè)應(yīng)用,如搜索(Baidu)、網(wǎng)購(gòu)(Alibaba)、即時(shí)通信(WeChat)。
這樣形成了網(wǎng)絡(luò)空間中的信息基礎(chǔ)設(shè)施(information infrastructure),包括四層:底層是通信基礎(chǔ)設(shè)施,包括光網(wǎng)絡(luò)、接入網(wǎng)、衛(wèi)通網(wǎng)、物聯(lián)網(wǎng);中間層是互聯(lián)網(wǎng)基礎(chǔ)設(shè)施,包括IP網(wǎng)、域名服務(wù)等;上層是萬(wàn)維網(wǎng)的各大信息樞紐網(wǎng)站;最后的第四層是云計(jì)算基礎(chǔ)設(shè)施,包括超算中心、IDC、公有云、私有云等。
當(dāng)前正在形成網(wǎng)絡(luò)空間的虛擬層——數(shù)據(jù)空間。下面將探討數(shù)據(jù)空間的本質(zhì),數(shù)據(jù)空間的新型數(shù)據(jù)基礎(chǔ)設(shè)施,以及如何支持?jǐn)?shù)據(jù)空間的主力應(yīng)用AI+。
總結(jié)一下,網(wǎng)絡(luò)空間是一個(gè)三層架構(gòu)(如圖2)。最下層是計(jì)算機(jī)空間,基本結(jié)構(gòu)是互聯(lián)網(wǎng),連接所有計(jì)算設(shè)備,加工人類(lèi)抽象出的知識(shí)。中間層是信息空間,基本結(jié)構(gòu)是萬(wàn)維網(wǎng),連接所有網(wǎng)頁(yè),加工信息。最上層是數(shù)據(jù)空間,基本結(jié)構(gòu)是數(shù)據(jù)場(chǎng)(注:該概念由吳曼青院士首先提出),連接所有數(shù)據(jù)件,加工人機(jī)物三元世界產(chǎn)生并匯聚的數(shù)據(jù),生成模型,再通過(guò)AI+溶入(embodiment)到信息世界、物理世界的各個(gè)過(guò)程中。
圖2:網(wǎng)絡(luò)空間的三層架構(gòu)
二、 數(shù)據(jù)空間存在嗎?
數(shù)據(jù)是客觀存在的(being),并在網(wǎng)絡(luò)空間中被數(shù)字化了,在信息空間里被處理后成為網(wǎng)頁(yè)中的信息。但是,數(shù)據(jù)空間獨(dú)立出來(lái)的價(jià)值是什么?網(wǎng)絡(luò)世界里的數(shù)據(jù)集合是否具備獨(dú)立的基本結(jié)構(gòu)呢?
1. 處理對(duì)象
網(wǎng)絡(luò)空間處理對(duì)象的演化規(guī)律是從知識(shí)到信息,再到數(shù)據(jù)(如圖3、4、5)。網(wǎng)絡(luò)計(jì)算空間是連接所有計(jì)算設(shè)備,加工人類(lèi)符號(hào)化的數(shù)理知識(shí),網(wǎng)格計(jì)算(Grid Computing)是這個(gè)空間的算力基礎(chǔ)設(shè)施化;網(wǎng)絡(luò)信息空間是連接所有網(wǎng)頁(yè),加工人類(lèi)社會(huì)向數(shù)字空間投影的各類(lèi)信息,云計(jì)算(Cloud Computing)是這個(gè)空間的算力基礎(chǔ)設(shè)施化;網(wǎng)絡(luò)數(shù)據(jù)空間是連接所有數(shù)據(jù)件與模型庫(kù),加工全量數(shù)據(jù)形成智能模型,算力網(wǎng)(Computility)是這個(gè)空間的算力基礎(chǔ)設(shè)施化。由計(jì)算機(jī)學(xué)者在上世紀(jì)60年代提出的算力基礎(chǔ)設(shè)施化的理想正在一步步變成現(xiàn)實(shí)。
圖3:網(wǎng)絡(luò)計(jì)算空間
圖4:網(wǎng)絡(luò)信息空間
圖5:網(wǎng)絡(luò)數(shù)據(jù)空間
網(wǎng)絡(luò)數(shù)據(jù)空間預(yù)計(jì)會(huì)分成三個(gè)發(fā)展階段,其中:2010-2020年是基于爬取數(shù)據(jù)集的大數(shù)據(jù)(BigDada)與深度學(xué)習(xí)(DeepLeaning);2020-2030年是基于連接數(shù)據(jù)件的大模型深度學(xué)習(xí);2030-2040年階段,我們預(yù)期是大模型連接成網(wǎng),未來(lái)通用人工智能不是一個(gè)大模型能覆蓋的,會(huì)有很多大模型,可能通用人工智能(AGI)需要連接網(wǎng)絡(luò)空間里所有的模型。 除了人工智能大模型,科學(xué)計(jì)算也有很多模型,也需要與人工智能大模型用某種方式連接起來(lái)。
2. 價(jià)值增值方式
所有信息變換的目的都是為了價(jià)值的不斷增值。網(wǎng)絡(luò)信息空間的高價(jià)值活動(dòng)的特點(diǎn)是“核裂變”,追求無(wú)限擴(kuò)大信息可達(dá)的邊界,梅特卡夫定律(Metcalfe's law)指出:網(wǎng)絡(luò)信息空間的價(jià)值與用戶(hù)數(shù)的平方成正比。而網(wǎng)絡(luò)數(shù)據(jù)空間的高價(jià)值活動(dòng)的特點(diǎn)是“核聚變”,追求無(wú)限擴(kuò)大數(shù)據(jù)件的邊界,無(wú)限壓縮知識(shí)數(shù)字化表達(dá)的語(yǔ)義空間。從這個(gè)角度看問(wèn)題,LLM是用Transfomer算法點(diǎn)火成功的互聯(lián)網(wǎng)數(shù)據(jù)空間的一個(gè)大型聚變反應(yīng)的產(chǎn)物。我們也大膽預(yù)測(cè)一個(gè)定律:網(wǎng)絡(luò)數(shù)據(jù)空間的價(jià)值與廣譜關(guān)聯(lián)數(shù)據(jù)件數(shù)量的平方成正比。從數(shù)據(jù)空間看,智能是數(shù)據(jù)的百煉成鋼(如圖6),還需要提煉出若干數(shù)據(jù)增值的范式。
圖6:網(wǎng)絡(luò)數(shù)據(jù)空間的價(jià)值增值方式
3. 數(shù)據(jù)空間存在結(jié)構(gòu)嗎?
數(shù)據(jù)空間是否存在基本的結(jié)構(gòu)體,目前學(xué)術(shù)界還沒(méi)有形成共識(shí)。最早試圖破解這個(gè)基礎(chǔ)難題的學(xué)者是圖靈獎(jiǎng)獲得者羅伯特?卡恩,他是TCP/IP互聯(lián)網(wǎng)協(xié)議的發(fā)明人,在20世紀(jì)80年代創(chuàng)造了“國(guó)家信息基礎(chǔ)設(shè)施”(NII)一詞,后來(lái)被稱(chēng)為“信息高速公路”。他提出了數(shù)字對(duì)象架構(gòu)(Digital Object Architecture,DOA)的概念,以便實(shí)現(xiàn)在互聯(lián)網(wǎng)上對(duì)各種數(shù)據(jù)資源進(jìn)行管理與互操作,并給出了以數(shù)字圖書(shū)館為代表性應(yīng)用的一個(gè)參考實(shí)現(xiàn)。
國(guó)內(nèi)北大等團(tuán)隊(duì)基于數(shù)字對(duì)象架構(gòu)提出了數(shù)聯(lián)網(wǎng)的構(gòu)想。數(shù)聯(lián)網(wǎng)的基本思路是基于軟件定義,通過(guò)以數(shù)據(jù)為中心的開(kāi)放式軟件體系結(jié)構(gòu)和標(biāo)準(zhǔn)化互操作協(xié)議,將各種異構(gòu)數(shù)據(jù)平臺(tái)和系統(tǒng)連接起來(lái),在“物理/機(jī)器”互聯(lián)網(wǎng)之上形成的“虛擬/數(shù)據(jù)”網(wǎng)絡(luò)。數(shù)聯(lián)網(wǎng)的技術(shù)思路是沿用Web的思路,實(shí)現(xiàn)數(shù)據(jù)集合的定位發(fā)現(xiàn)、交換調(diào)度、互操作訪問(wèn)。數(shù)據(jù)對(duì)象是否需要像Web信息那樣在全世界互聯(lián)網(wǎng)上可見(jiàn)可用呢?還是只需要支持區(qū)域內(nèi)共享?需要深入思考。
吳曼青院士在國(guó)家數(shù)據(jù)局推出將數(shù)據(jù)要素化作為新質(zhì)生產(chǎn)力的背景下,帶領(lǐng)國(guó)家數(shù)據(jù)空間戰(zhàn)略研究團(tuán)隊(duì)提出數(shù)據(jù)空間的基本結(jié)構(gòu)是數(shù)據(jù)場(chǎng)的思路。核心思路是面向數(shù)據(jù)要素化中的數(shù)據(jù)流通與交易、價(jià)值深加工,提出一套圍繞數(shù)據(jù)基本抽象的標(biāo)準(zhǔn)、協(xié)議、廣譜關(guān)聯(lián)方法與核心系統(tǒng)。
三、 數(shù)據(jù)件
智能時(shí)代賦予了數(shù)據(jù)新的兩重屬性,即資源要素屬性與價(jià)值加工屬性。數(shù)據(jù)的資源要素屬性包括產(chǎn)生、獲取、傳輸、匯聚、流通、交易、權(quán)屬、資產(chǎn)、安全等要素;而數(shù)據(jù)的價(jià)值加工屬性包括有效提升價(jià)值的主要要素,如加工對(duì)象(如數(shù)據(jù)件)、加工工藝(如廣譜關(guān)聯(lián)算法)、加工動(dòng)力(如算力網(wǎng))等。
數(shù)據(jù)要素化后將會(huì)出現(xiàn)多個(gè)產(chǎn)業(yè)形態(tài)。以礦產(chǎn)資源為例,有采礦業(yè)、大宗礦物交易市場(chǎng)、冶煉業(yè)等。在數(shù)據(jù)方面,將來(lái)也對(duì)應(yīng)有采“數(shù)”業(yè)、數(shù)據(jù)交易市場(chǎng)、數(shù)據(jù)加工業(yè)等。數(shù)據(jù)要素化也需要多個(gè)技術(shù)體系的支撐,例如,需要傳感器/物聯(lián)網(wǎng)技術(shù)體系來(lái)解決數(shù)據(jù)“供得出”的難題,需要數(shù)據(jù)元件概念與數(shù)據(jù)金庫(kù)系統(tǒng)(注:該概念由中國(guó)電子陸志鵬副總經(jīng)理首先提出)來(lái)解決數(shù)據(jù)匯聚與“流得動(dòng)”的難題,需要數(shù)據(jù)件技術(shù)體系來(lái)解決數(shù)據(jù)“用得好”的難題。除了技術(shù)體系,還要有經(jīng)濟(jì)政策層面的創(chuàng)新,包括:數(shù)據(jù)資產(chǎn)在資產(chǎn)表中怎么并表、數(shù)據(jù)使用怎么才安全合規(guī)、數(shù)據(jù)集定價(jià)的錨點(diǎn)如何選擇等。
數(shù)據(jù)的基礎(chǔ)設(shè)施化主要解決數(shù)據(jù)的大規(guī)模匯聚與流動(dòng)的問(wèn)題,包括國(guó)家數(shù)據(jù)樞紐的建設(shè)、數(shù)據(jù)流通與交易設(shè)施的建設(shè)?!皵?shù)據(jù)20條”推出后,這方面在國(guó)家、地方、行業(yè)等多個(gè)層面都有了很多的實(shí)踐,需要進(jìn)一步歸納出最有效的模式。
支撐數(shù)據(jù)的價(jià)值加工屬性方面則欠缺系統(tǒng)性的工作。數(shù)據(jù)加工技術(shù)從早期的數(shù)據(jù)管理(DB),到數(shù)據(jù)檢索(IR),再到數(shù)據(jù)分析(BI/BD),直到現(xiàn)在的數(shù)據(jù)深加工(AI),一直在發(fā)展與演進(jìn)。數(shù)據(jù)的不斷“解耦”是演進(jìn)的主要規(guī)律,它也帶來(lái)數(shù)據(jù)基本抽象的變化(如圖7)。第一次解耦是數(shù)據(jù)與應(yīng)用程序的解耦,目標(biāo)是屏蔽數(shù)據(jù)訪問(wèn)的復(fù)雜性,降低應(yīng)用系統(tǒng)的開(kāi)發(fā)門(mén)檻,數(shù)據(jù)基本抽象是ER模型,核心系統(tǒng)有數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)。第二次解耦是數(shù)據(jù)與業(yè)務(wù)系統(tǒng)的解耦,目標(biāo)是屏蔽數(shù)據(jù)匯聚分析的復(fù)雜性,降低企業(yè)級(jí)系統(tǒng)的開(kāi)發(fā)門(mén)檻,數(shù)據(jù)基本抽象是KV模型,核心系統(tǒng)有數(shù)據(jù)湖。第三次解耦是數(shù)據(jù)生產(chǎn)與消費(fèi)主體的解耦,目標(biāo)是屏蔽數(shù)據(jù)流轉(zhuǎn)與使用的復(fù)雜性,降低數(shù)據(jù)要素社會(huì)化供給、流通與應(yīng)用的門(mén)檻,數(shù)據(jù)基本抽象是數(shù)據(jù)件模型(Dataware),核心系統(tǒng)有數(shù)據(jù)場(chǎng)。
圖7:數(shù)據(jù)的不斷“解耦”帶來(lái)基本抽象的演化
數(shù)據(jù)件(Dataware)是數(shù)據(jù)要素流動(dòng)與使用的基本單位,通過(guò)對(duì)異質(zhì)多源數(shù)據(jù)的語(yǔ)義、結(jié)構(gòu)、基本操作等進(jìn)行標(biāo)準(zhǔn)化封裝,使得數(shù)據(jù)要素與數(shù)據(jù)主體、數(shù)據(jù)應(yīng)用“解耦”,讓數(shù)據(jù)在不同主體、不同應(yīng)用系統(tǒng)間高效地流轉(zhuǎn)與使用。在云計(jì)算中,容器(docker)是對(duì)應(yīng)用程序及其依賴(lài)的封裝,讓算法在不同平臺(tái)上實(shí)現(xiàn)一鍵運(yùn)行,它是一個(gè)可以參考學(xué)習(xí)的對(duì)象(如圖8)。
圖8:容器(docker)和數(shù)據(jù)件(Dataware)
當(dāng)前的數(shù)據(jù)加工流程是“原始數(shù)據(jù)?AI/BD算法”,即原始數(shù)據(jù)直接送到AI/BD算法中進(jìn)行處理。數(shù)據(jù)要素化后的數(shù)據(jù)加工流程應(yīng)該經(jīng)過(guò)“原始數(shù)據(jù)?數(shù)據(jù)件?數(shù)據(jù)場(chǎng)?AI/BD計(jì)算”三級(jí)解耦,實(shí)現(xiàn)數(shù)據(jù)價(jià)值的梯次轉(zhuǎn)化(如圖9),數(shù)據(jù)的全社會(huì)加工效率才能更高。
圖9:數(shù)據(jù)件的生產(chǎn)鏈
第一步,原始數(shù)據(jù)先送給數(shù)據(jù)件組裝工具。以AI大模型應(yīng)用場(chǎng)景為例,通過(guò)數(shù)據(jù)件構(gòu)造工具實(shí)現(xiàn)預(yù)訓(xùn)練、指令微調(diào)、向量數(shù)據(jù)的快速構(gòu)造與組裝,再由大模型訓(xùn)練軟件調(diào)用,大幅簡(jiǎn)化傳統(tǒng)數(shù)據(jù)工程的工作量(如圖10)。
圖10:數(shù)據(jù)件組裝工具
第二步,數(shù)據(jù)件送給數(shù)據(jù)場(chǎng)生成工具,其中包括數(shù)據(jù)件互聯(lián)協(xié)議和數(shù)據(jù)場(chǎng)生成描述語(yǔ)言。數(shù)據(jù)件互聯(lián)協(xié)議實(shí)現(xiàn)數(shù)據(jù)件尋址、傳輸?shù)耐该骰?、?biāo)準(zhǔn)化,讓用戶(hù)不再關(guān)注數(shù)據(jù)件的存儲(chǔ)位置,實(shí)現(xiàn)廣域意義上的存算解耦。數(shù)據(jù)場(chǎng)生成描述語(yǔ)言,通過(guò)對(duì)數(shù)據(jù)件需求的形式化定義與需求轉(zhuǎn)換邏輯,實(shí)現(xiàn)多維度、多類(lèi)型“數(shù)據(jù)場(chǎng)”的按需生成,實(shí)現(xiàn)對(duì)數(shù)據(jù)件快速、精準(zhǔn)地在線(xiàn)獲取。
第三步,數(shù)據(jù)件最后送給數(shù)據(jù)場(chǎng)加工工具,其中包括各類(lèi)廣譜關(guān)聯(lián)算法。廣譜關(guān)聯(lián)算法覆蓋對(duì)數(shù)據(jù)件的基本運(yùn)算操作,實(shí)現(xiàn)對(duì)數(shù)據(jù)件的橫向融合加工(如BD分析)與縱向深層提煉(如AI大模型)。同時(shí),數(shù)據(jù)件生產(chǎn)鏈還要支持內(nèi)生的安全保障(如圖11)。?
圖11:數(shù)據(jù)件生產(chǎn)鏈內(nèi)生安全保障
四、 算力網(wǎng)
性能一直是計(jì)算部件與系統(tǒng)能力的表征,為什么還要提出算力這個(gè)新概念?算力這個(gè)術(shù)語(yǔ)對(duì)應(yīng)的英文單詞是Computility(注:《中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊》,2022年12月),其本義是從產(chǎn)生算力的角度對(duì)計(jì)算性能的通俗表達(dá),衍生之后更注重消耗計(jì)算資源產(chǎn)生效用的能力,是從消耗算力的角度表達(dá)。定義一個(gè)國(guó)家的算力指數(shù)不僅要統(tǒng)計(jì)處理器芯片數(shù)量,還要體現(xiàn)對(duì)數(shù)據(jù)進(jìn)行深加工與精煉能力。算力概念提出的本質(zhì)是要推進(jìn)算力的基礎(chǔ)設(shè)施化,而算力網(wǎng)是算力基礎(chǔ)設(shè)施化的第三階段。算力網(wǎng)不是把計(jì)算設(shè)備聯(lián)網(wǎng)(這一點(diǎn)互聯(lián)網(wǎng)已經(jīng)做到了),而是算力資源被基礎(chǔ)設(shè)施化后以服務(wù)的形式提供出來(lái),在全網(wǎng)消費(fèi)。因此在算力網(wǎng)上流動(dòng)的不是計(jì)算能力,而是消費(fèi)算力的算力網(wǎng)頁(yè)、任務(wù)閉包等新容器。
第一階段的算力基礎(chǔ)設(shè)施(算力1.0),是網(wǎng)格計(jì)算,共享私屬的超算資源,使超算中心資源易使用。第二階段的算力基礎(chǔ)設(shè)施(算力2.0),是云計(jì)算,將互聯(lián)網(wǎng)龍頭企業(yè)的閑置算力資源虛擬化后對(duì)公眾提供租用服務(wù),對(duì)算力用戶(hù)來(lái)說(shuō),做到了算力的彈性可擴(kuò)展和變買(mǎi)為租,有力地支撐了互聯(lián)網(wǎng)時(shí)代Web信息的廣域共享。隨著近年來(lái)智能物端(無(wú)人系統(tǒng)、智能機(jī)器人、智能硬件)的蓬勃發(fā)展、人工智能技術(shù)的大爆發(fā),算力網(wǎng)的概念應(yīng)運(yùn)而生,它是第三階段的算力基礎(chǔ)設(shè)施(算力3.0)。算力網(wǎng)是繼美國(guó)提出網(wǎng)格計(jì)算、云計(jì)算之后,首次由中國(guó)提出的概念。算力1.0和2.0是構(gòu)建在信息空間之上,而算力3.0必須構(gòu)建在數(shù)據(jù)空間之上。
算力網(wǎng)將異地、異屬、異構(gòu)的分布式算力站,在邏輯上構(gòu)建成“一臺(tái)大電腦”,提供更優(yōu)適配、更低成本和更加易用的智能算力服務(wù),有力支撐智能時(shí)代數(shù)據(jù)、算力、算法的廣域共享。
國(guó)家發(fā)改委推動(dòng)的“東數(shù)西算”工程是我國(guó)在算力網(wǎng)領(lǐng)域最早的政府行動(dòng)計(jì)劃,有力地推動(dòng)了我國(guó)率先實(shí)現(xiàn)算力的基礎(chǔ)設(shè)施化?!皷|數(shù)西算”工程穩(wěn)步推進(jìn)兩年取得很大的進(jìn)展,算力資源集中向八大國(guó)家算力樞紐內(nèi)匯聚,特別是西部樞紐節(jié)點(diǎn)充分利用了綠電資源。在技術(shù)創(chuàng)新方面也取得了明顯的成效,包括:異屬算力并網(wǎng)、異構(gòu)智算統(tǒng)一納管、算力站間直連網(wǎng)絡(luò);算力跨域調(diào)度、算網(wǎng)協(xié)同調(diào)度、廣域數(shù)據(jù)快遞;超算互聯(lián)網(wǎng)應(yīng)用模式、城市與省域算力網(wǎng)運(yùn)營(yíng)等?!皷|數(shù)西算”工程正在形成自己的技術(shù)體系(如圖12)。
圖12:“東數(shù)西算”技術(shù)體系圖
算力網(wǎng)在三個(gè)方面存在巨大技術(shù)挑戰(zhàn)。
第一個(gè)巨大挑戰(zhàn)是可在算力網(wǎng)上流動(dòng)的算力基本抽象,即算力要素流動(dòng)與使用的基本單位,可稱(chēng)之為任務(wù)閉包(task closure)。算力基本抽象應(yīng)包括任務(wù)編排的原子化抽象、運(yùn)行時(shí)資源空間管理抽象、算力資源一體化封裝抽象三個(gè)層次,按技術(shù)發(fā)展演進(jìn)來(lái)看(如圖13),從最初的線(xiàn)程/進(jìn)程/CPU時(shí)間片,發(fā)展到微服務(wù)/容器/虛擬機(jī),再發(fā)展到現(xiàn)在的任務(wù)閉包/網(wǎng)程/算力池。在IT 1.0的主機(jī)階段,并行與分布式編程是在線(xiàn)程抽象的基礎(chǔ)上構(gòu)建,進(jìn)程是對(duì)資源分配與調(diào)度的抽象,可以跨CPU時(shí)間片運(yùn)行;在IT 2.0的互聯(lián)網(wǎng)階段,云計(jì)算實(shí)現(xiàn)了計(jì)算能力的虛擬化,容器是對(duì)基礎(chǔ)軟硬件資源的封裝,微服務(wù)是對(duì)編程的原子化抽象,可以跨虛擬機(jī)運(yùn)行;在IT 3.0的智能階段,對(duì)全網(wǎng)計(jì)算資源要用“一臺(tái)大電腦”的思路提供新的抽象,任務(wù)閉包可以在端邊云異構(gòu)平臺(tái)上流動(dòng)和運(yùn)行;網(wǎng)程是對(duì)端上的物理機(jī)、邊上的虛擬機(jī)、云上并網(wǎng)的算力池,進(jìn)行統(tǒng)一封裝,形成一個(gè)智能應(yīng)用的資源空間;算力網(wǎng)上的異地、異屬、異構(gòu)的算力資源并網(wǎng)后要形成一體化的算力池。
圖13:任務(wù)閉包的本質(zhì)
第二個(gè)巨大挑戰(zhàn)是實(shí)現(xiàn)算力網(wǎng)的兩個(gè)核心變化,即算力資源“全局統(tǒng)一”和供需各方“環(huán)節(jié)解耦”。“全局統(tǒng)一”是指在廣域范圍內(nèi)分布的異地、異屬、異構(gòu)的算力資源,在邏輯上對(duì)上層應(yīng)用抹平差異,從而實(shí)現(xiàn)資源的全域命名、算力資源統(tǒng)一的池化抽象、算力使用的單一實(shí)時(shí)計(jì)量、算力使用的“網(wǎng)頁(yè)化”編程、算力任務(wù)的廣域路由、算力負(fù)載的跨平臺(tái)遷移等各個(gè)層次的“單一映像”(如圖14)?!碍h(huán)節(jié)解耦”是指在算力網(wǎng)生態(tài)構(gòu)成中,通過(guò)技術(shù)手段支持更多的細(xì)分角色,如算力提供商、算力運(yùn)營(yíng)商、算力增值服務(wù)商、算力消費(fèi)商等,解除云計(jì)算生態(tài)中算力供應(yīng)商對(duì)算力消費(fèi)者的綁定,解除算力應(yīng)用對(duì)特定算力芯片的依賴(lài),構(gòu)建一個(gè)真正開(kāi)放、對(duì)創(chuàng)新者友好、更加安全的算力基礎(chǔ)設(shè)施生態(tài)(如圖15)。
圖14:算力網(wǎng)全局統(tǒng)一技術(shù)體系
圖15:算力網(wǎng)分層解耦技術(shù)體系
第三個(gè)巨大挑戰(zhàn)是打造算力基礎(chǔ)設(shè)施中國(guó)方案的全球比較優(yōu)勢(shì)。建設(shè)算力基礎(chǔ)設(shè)施的目的是實(shí)現(xiàn)對(duì)信息化的廣泛支撐。首先分析一下在不同時(shí)期我國(guó)信息化的全球比較優(yōu)勢(shì)(如圖16),其中橫坐標(biāo)是問(wèn)題的規(guī)模和場(chǎng)景,縱坐標(biāo)是對(duì)開(kāi)發(fā)者的要求,這兩個(gè)維度是決定產(chǎn)業(yè)規(guī)模的核心要素。信息化的第一個(gè)階段是位于左下角象限的信息管理系統(tǒng)(MIS)時(shí)期,信息化項(xiàng)目的特點(diǎn)是碎片化,而且無(wú)需深度領(lǐng)域知識(shí)支持,沒(méi)有算法挑戰(zhàn),利潤(rùn)低,所以美國(guó)把這部分業(yè)務(wù)外包給中國(guó)和印度了。信息化的第二個(gè)階段是位于右上角象限的互聯(lián)網(wǎng)平臺(tái)時(shí)期,美國(guó)依靠技術(shù)的領(lǐng)先優(yōu)勢(shì)引領(lǐng)全球,中國(guó)則依靠人口規(guī)模紅利和互聯(lián)網(wǎng)行業(yè)對(duì)全中國(guó)人才的虹吸效應(yīng),在全球競(jìng)爭(zhēng)中處于優(yōu)勢(shì)地位。信息化的第三個(gè)階段是位于左上角象限的大數(shù)據(jù)與機(jī)器學(xué)習(xí)時(shí)期,美國(guó)依靠技術(shù)的領(lǐng)先優(yōu)勢(shì)和高端人才數(shù)量?jī)?yōu)勢(shì),在全球處于絕對(duì)領(lǐng)先地位,中國(guó)則處于跟隨與苦苦追趕的態(tài)勢(shì),工業(yè)等行業(yè)的智能化很難形成可廣泛推廣的范式。信息化的第四個(gè)階段進(jìn)入了右下角象限的大模型時(shí)期,AI+開(kāi)始廣泛滲透到各行各業(yè),對(duì)它們進(jìn)行智能化改造,對(duì)開(kāi)發(fā)者要求低,場(chǎng)景規(guī)模大,而中國(guó)的特色正好是工程師總量大,場(chǎng)景多。以此為背景,我國(guó)可以在算力基礎(chǔ)設(shè)施上形成具備全球比較優(yōu)勢(shì)的技術(shù)與建設(shè)方案,在大幅度降低算力使用成本、大幅度降低算力使用門(mén)檻的同時(shí),為包括“一帶一路”國(guó)家在內(nèi)的最廣范圍覆蓋的人群提供高通量、高品質(zhì)的智能服務(wù)。
圖16:信息化比較優(yōu)勢(shì)對(duì)比圖
人工智能技術(shù)的規(guī)?;茝V要解決應(yīng)用長(zhǎng)尾問(wèn)題,為80%的中小微企業(yè)提供低價(jià)格的算力、低門(mén)檻的服務(wù)。算力網(wǎng)的中國(guó)方案需要具備 “兩低一高”,即“低成本、低門(mén)檻、高通量”?!暗统杀尽笔侵冈诠┙o側(cè),大幅度降低算力器件、算力設(shè)備、網(wǎng)絡(luò)連接、數(shù)據(jù)獲取、算法模型調(diào)用、電力消耗、運(yùn)營(yíng)維護(hù)、開(kāi)發(fā)部署的總成本,讓廣大中小企業(yè)都消費(fèi)得起高品質(zhì)的算力服務(wù),有積極性開(kāi)發(fā)算力網(wǎng)應(yīng)用?!暗烷T(mén)檻”是指在消費(fèi)側(cè),大幅度降低廣大用戶(hù)的算力使用門(mén)檻,面向大眾的公共服務(wù)必須做到易獲取、易使用,像水電一樣即開(kāi)即用,像編寫(xiě)網(wǎng)頁(yè)一樣輕松定制算力服務(wù),開(kāi)發(fā)算力網(wǎng)應(yīng)用。“高通量”是指實(shí)現(xiàn)低熵、高通量的算力服務(wù),其中高通量代表算力服務(wù)的數(shù)量,是指在提供高并發(fā)度服務(wù)的同時(shí),保證端到端服務(wù)的響應(yīng)時(shí)間可滿(mǎn)足率,即通量=并發(fā)度*響應(yīng)時(shí)間可滿(mǎn)足率。低熵代表算力服務(wù)的質(zhì)量,是指在高并發(fā)負(fù)載中出現(xiàn)對(duì)資源無(wú)序競(jìng)爭(zhēng)的情況下,保障系統(tǒng)的通量不急劇下降。簡(jiǎn)而言之,算力1.0時(shí)期的目標(biāo)是“算得快”,算力2.0時(shí)期的目標(biāo)是“算得省”,算力3.0時(shí)期的目標(biāo)是“算得多”,而“算得多”對(duì)中國(guó)尤其重要。? ?
五、 算法基礎(chǔ)設(shè)施
算法是計(jì)算機(jī)科學(xué)的核心,凝聚著計(jì)算機(jī)科學(xué)家的智慧,也是很多IT產(chǎn)品的關(guān)鍵模塊,但是它既不能申請(qǐng)專(zhuān)利,自身也不能成為產(chǎn)品,以AI算法為核心的創(chuàng)業(yè)公司大多不太成功。AI大模型第一次實(shí)現(xiàn)了算法的基礎(chǔ)設(shè)施化,提供“模型即服務(wù)”(MaaS)。傳統(tǒng)的數(shù)值計(jì)算算法(Numerical Computation)是對(duì)數(shù)理知識(shí)建模,如BLAS庫(kù)模型、有限元等,每個(gè)模型解決一小類(lèi)問(wèn)題,屬于小模型,通過(guò)數(shù)學(xué)庫(kù)和求解器的形式提供調(diào)用。計(jì)算機(jī)科學(xué)基礎(chǔ)算法(Fundamental of Computer Science)如圖、概率、搜索等方法,也屬于小模型,通過(guò)算子庫(kù)的形式提供調(diào)用。這些傳統(tǒng)算法如何基礎(chǔ)設(shè)施化是個(gè)困難的問(wèn)題。一個(gè)復(fù)雜應(yīng)用需要調(diào)用不同的模型,當(dāng)前模型之間沒(méi)有通用、標(biāo)準(zhǔn)的調(diào)用方式。解決了模型之間的互操作問(wèn)題,才能突破復(fù)雜問(wèn)題求解的邊界。
最后,數(shù)據(jù)空間基礎(chǔ)設(shè)施需要一個(gè)通用引擎,用來(lái)統(tǒng)一表達(dá)復(fù)雜智能任務(wù)。隨著AI Agent的發(fā)展,它有可能成為新的算力網(wǎng)通用引擎。實(shí)現(xiàn)統(tǒng)一的復(fù)雜任務(wù)表達(dá)需要設(shè)計(jì)用戶(hù)編程語(yǔ)言、程序和通用執(zhí)行引擎,在計(jì)算空間上它們是C語(yǔ)言、并行程序和編譯器,在信息空間它們是Java語(yǔ)言、信息網(wǎng)頁(yè)和瀏覽器,在數(shù)據(jù)空間它們可能是python語(yǔ)言、算力網(wǎng)頁(yè)和AI Agent。其中,編譯器解決了計(jì)算應(yīng)用的跨平臺(tái)遷移,Java虛擬機(jī)解決了智能終端應(yīng)用的跨平臺(tái)遷移,那么什么技術(shù)能解決智能云端應(yīng)用的跨算力平臺(tái)遷移?
數(shù)據(jù)基礎(chǔ)設(shè)施的目標(biāo)是將互聯(lián)網(wǎng)時(shí)代的“信息在線(xiàn)”升級(jí)到智能時(shí)代的“智能在線(xiàn)”。做到始終在線(xiàn)(on-line)是信息服務(wù)的終極目標(biāo)。需要把數(shù)據(jù)場(chǎng)、算力網(wǎng)和“模型即服務(wù)”統(tǒng)一變成一個(gè)基礎(chǔ)設(shè)施,通過(guò)算力網(wǎng)頁(yè)表達(dá)復(fù)雜的智能應(yīng)用需求,讓智能始終在線(xiàn)。數(shù)據(jù)基礎(chǔ)設(shè)施讓智能應(yīng)用以更簡(jiǎn)單的表達(dá)方式使用算力、數(shù)據(jù)與算法,智能應(yīng)用程序員更專(zhuān)注于業(yè)務(wù)功能的低門(mén)檻實(shí)現(xiàn)(如圖17)。
圖17:基于數(shù)據(jù)基礎(chǔ)設(shè)施實(shí)現(xiàn)智能在線(xiàn)
六、 未來(lái)
網(wǎng)絡(luò)空間在2020年來(lái)到了新的歷史關(guān)口,在過(guò)去40年圍繞信息沖浪(surfing)創(chuàng)造了整個(gè)互聯(lián)網(wǎng)技術(shù)體系和龐大的應(yīng)用生態(tài),未來(lái)30年圍繞數(shù)據(jù)沖浪能否創(chuàng)造出算力網(wǎng)技術(shù)體系和新的應(yīng)用生態(tài)?信息沖浪是人或者APP由通用瀏覽器引擎作為入口,通過(guò)網(wǎng)絡(luò)七層協(xié)議,到Web Server,再操作全網(wǎng)共享的信息網(wǎng)頁(yè)。數(shù)據(jù)沖浪是由人、APP或者物由AI Agent引擎作為入口,通過(guò)新協(xié)議(包括算力路由、數(shù)據(jù)件協(xié)議簇等),到模型Server,再操作全網(wǎng)共享的數(shù)據(jù)件(如圖18)。
圖18:數(shù)據(jù)空間技術(shù)體系圖
網(wǎng)絡(luò)空間已經(jīng)形成了信息空間的四層架構(gòu)(如圖19),即第一層云主機(jī),第二層通信基礎(chǔ)設(shè)施,第三層互聯(lián)網(wǎng)基礎(chǔ)設(shè)施,第四層WEB基礎(chǔ)應(yīng)用。未來(lái)的數(shù)據(jù)空間也將形成四層架構(gòu),即第一層算力站(算力池化),第二層未來(lái)網(wǎng)絡(luò)(包括6G和算力網(wǎng)絡(luò)),第三層數(shù)據(jù)基礎(chǔ)設(shè)施,包括模型即服務(wù)、算力網(wǎng)、數(shù)據(jù)場(chǎng)緊耦合在一起,第四層智能體。新架構(gòu)的網(wǎng)絡(luò)空間將支撐我們進(jìn)入智能時(shí)代。
圖19:網(wǎng)絡(luò)空間架構(gòu)圖
我國(guó)在強(qiáng)起來(lái)的時(shí)代,科技必須自立自強(qiáng),只有通過(guò)完整技術(shù)體系的創(chuàng)造,才能搶占科技制高點(diǎn)。
(根據(jù)孫凝暉院士在2024年計(jì)算所春季戰(zhàn)略規(guī)劃會(huì)上的報(bào)告整理)