從文明之初的“結(jié)繩記事”，到文字發(fā)明后的“文以載道”，再到近現(xiàn)代科學(xué)的“數(shù)據(jù)建模”，數(shù)據(jù)一直伴隨著人類社會(huì)的發(fā)展變遷，承載了人類基于數(shù)據(jù)和信息認(rèn)識(shí)世界的努力和取得的巨大進(jìn)步。然而，直到以電子計(jì)算機(jī)為代表的現(xiàn)代信息技術(shù)出現(xiàn)后，為數(shù)據(jù)處理提供了自動(dòng)的方法和手段，人類掌握數(shù)據(jù)、處理數(shù)據(jù)的能力才實(shí)現(xiàn)了質(zhì)的躍升。信息技術(shù)及其在經(jīng)濟(jì)社會(huì)發(fā)展方方面面的應(yīng)用(即信息化)，推動(dòng)數(shù)據(jù)(信息)成為繼物質(zhì)、能源之后的又一種重要戰(zhàn)略資源。

“大數(shù)據(jù)”作為一種概念和思潮由計(jì)算領(lǐng)域發(fā)端，之后逐漸延伸到科學(xué)和商業(yè)領(lǐng)域。大多數(shù)學(xué)者認(rèn)為，“大數(shù)據(jù)”這一概念最早公開出現(xiàn)于1998年，美國(guó)高性能計(jì)算公司SGI的首席科學(xué)家約翰.馬西(JohnMashey)在一個(gè)國(guó)際會(huì)議報(bào)告中指出：隨著數(shù)據(jù)量的快速增長(zhǎng)，必將出現(xiàn)數(shù)據(jù)難理解、難獲取、難處理和難組織等四個(gè)難題，并用“BigData(大數(shù)據(jù))”來描述這一挑戰(zhàn)，在計(jì)算領(lǐng)域引發(fā)思考。2007年，數(shù)據(jù)庫領(lǐng)域的先驅(qū)人物吉姆.格雷(JimGray)指出大數(shù)據(jù)將成為人類觸摸、理解和逼近現(xiàn)實(shí)復(fù)雜系統(tǒng)的有效途徑，并認(rèn)為在實(shí)驗(yàn)觀測(cè)、理論推導(dǎo)和計(jì)算仿真等三種科學(xué)研究范式后，將迎來第四范式——“數(shù)據(jù)探索”，后來同行學(xué)者將其總結(jié)為“數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)”，開啟了從科研視角審視大數(shù)據(jù)的熱潮。2012年，牛津大學(xué)教授維克托.邁爾-舍恩伯格(ViktorMayer-Schnberger)在其暢銷著作《大數(shù)據(jù)時(shí)代(BigData:ARevolutionThatWillTransformHowWeLive,Work,andThink)》中指出，數(shù)據(jù)分析將從“隨機(jī)采樣”、“精確求解”和“強(qiáng)調(diào)因果”的傳統(tǒng)模式演變?yōu)榇髷?shù)據(jù)時(shí)代的“全體數(shù)據(jù)”、“近似求解”和“只看關(guān)聯(lián)不問因果”的新模式，從而引發(fā)商業(yè)應(yīng)用領(lǐng)域?qū)Υ髷?shù)據(jù)方法的廣泛思考與探討。

大數(shù)據(jù)于2012、2013年達(dá)到其宣傳高潮，2014年后概念體系逐漸成形，對(duì)其認(rèn)知亦趨于理性。大數(shù)據(jù)相關(guān)技術(shù)、產(chǎn)品、應(yīng)用和標(biāo)準(zhǔn)不斷發(fā)展，逐漸形成了包括數(shù)據(jù)資源與API、開源平臺(tái)與工具、數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等板塊構(gòu)成的大數(shù)據(jù)生態(tài)系統(tǒng)，并持續(xù)發(fā)展和不斷完善，其發(fā)展熱點(diǎn)呈現(xiàn)了從技術(shù)向應(yīng)用、再向治理的逐漸遷移。經(jīng)過多年來的發(fā)展和沉淀，人們對(duì)大數(shù)據(jù)已經(jīng)形成基本共識(shí)：大數(shù)據(jù)現(xiàn)象源于互聯(lián)網(wǎng)及其延伸所帶來的無處不在的信息技術(shù)應(yīng)用以及信息技術(shù)的不斷低成本化。大數(shù)據(jù)泛指無法在可容忍的時(shí)間內(nèi)用傳統(tǒng)信息技術(shù)和軟硬件工具對(duì)其進(jìn)行獲取、管理和處理的巨量數(shù)據(jù)集合，具有海量性、多樣性、時(shí)效性及可變性等特征，需要可伸縮的計(jì)算體系結(jié)構(gòu)以支持其存儲(chǔ)、處理和分析。

大數(shù)據(jù)的價(jià)值本質(zhì)上體現(xiàn)為：提供了一種人類認(rèn)識(shí)復(fù)雜系統(tǒng)的新思維和新手段。就理論上而言，在足夠小的時(shí)間和空間尺度上，對(duì)現(xiàn)實(shí)世界數(shù)字化，可以構(gòu)造一個(gè)現(xiàn)實(shí)世界的數(shù)字虛擬映像，這個(gè)映像承載了現(xiàn)實(shí)世界的運(yùn)行規(guī)律。在擁有充足的計(jì)算能力和高效的數(shù)據(jù)分析方法的前提下，對(duì)這個(gè)數(shù)字虛擬映像的深度分析，將有可能理解和發(fā)現(xiàn)現(xiàn)實(shí)復(fù)雜系統(tǒng)的運(yùn)行行為、狀態(tài)和規(guī)律。應(yīng)該說大數(shù)據(jù)為人類提供了全新的思維方式和探知客觀規(guī)律、改造自然和社會(huì)的新手段，這也是大數(shù)據(jù)引發(fā)經(jīng)濟(jì)社會(huì)變革最根本性的原因。

大數(shù)據(jù)作為第三次信息化浪潮的代表技術(shù)之一，目前正處在落地應(yīng)用的初期，從大數(shù)據(jù)自身的產(chǎn)業(yè)布局和應(yīng)用模式來看，未來大數(shù)據(jù)將成為信息領(lǐng)域的重要基礎(chǔ)性技術(shù)，大數(shù)據(jù)技術(shù)也會(huì)逐漸成為整個(gè)互聯(lián)網(wǎng)領(lǐng)域的重要支撐技術(shù)之一。從這個(gè)角度來看，大數(shù)據(jù)相關(guān)技術(shù)的生命周期將會(huì)比較長(zhǎng)，但是隨著科技的發(fā)展，大數(shù)據(jù)技術(shù)也必然會(huì)從一個(gè)新技術(shù)走向傳統(tǒng)技術(shù)。

據(jù)統(tǒng)計(jì)數(shù)據(jù)顯示，2019年全球大數(shù)據(jù)行業(yè)儲(chǔ)量規(guī)模為41.13 ZB，2020年全球大數(shù)據(jù)行業(yè)儲(chǔ)量規(guī)模為43.56 ZB，同比增長(zhǎng)5.91%，2019-2021年全球大數(shù)據(jù)行業(yè)儲(chǔ)量規(guī)模如下：

圖表     2019-2021年全球大數(shù)據(jù)行業(yè)儲(chǔ)量規(guī)模