【大數(shù)據(jù)基礎(chǔ)知識(shí)】什么是大數(shù)據(jù)

大數(shù)據(jù)首先是一個(gè)非常大的數(shù)據(jù)集，可以達(dá)到TB(萬(wàn)億字節(jié))甚至ZB(十萬(wàn)億億字節(jié))。這里面的數(shù)據(jù)可能既有結(jié)構(gòu)化的數(shù)據(jù)，也有半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，而且來(lái)自于不同的數(shù)據(jù)源。

結(jié)構(gòu)化的數(shù)據(jù)是什么呢？對(duì)于接觸過(guò)關(guān)系型數(shù)據(jù)庫(kù)的小伙伴來(lái)說(shuō)，應(yīng)該一點(diǎn)都不陌生。對(duì)了，就是我們關(guān)系型數(shù)據(jù)庫(kù)中的一張表，每行都具有相同的屬性。如下面的一張表：

每行數(shù)據(jù)都有相同的屬性，這就是結(jié)構(gòu)化的數(shù)據(jù)。

我們?cè)賮?lái)看半結(jié)構(gòu)化數(shù)據(jù)。XML或JSON格式的數(shù)據(jù)就是我們所常見(jiàn)的半結(jié)構(gòu)的數(shù)據(jù)。如，下面所示的XML數(shù)據(jù)：

（子標(biāo)簽的次序和個(gè)數(shù)不一定完全一致）

那什么又是非結(jié)構(gòu)化數(shù)據(jù)呢?這類數(shù)據(jù)沒(méi)有預(yù)定義完整的數(shù)據(jù)結(jié)構(gòu)，在我們?nèi)粘９ぷ魃�活中可能更多接觸的就是這類數(shù)據(jù)，比如，圖片、圖像、音頻、視頻、辦公文檔等等。

知道了這三類結(jié)構(gòu)的數(shù)據(jù)，我們?cè)賮?lái)看看大數(shù)據(jù)的數(shù)據(jù)源有哪些呢?歸納起來(lái)大致有五種數(shù)據(jù)源。

一是社交媒體平臺(tái)。如有名氣的Facebook、Twitter、YouTube和Instagram等。媒體是比較受歡迎的大數(shù)據(jù)來(lái)源之一，因?yàn)樗�提供了關(guān)于消費(fèi)者偏好和變化趨勢(shì)的寶貴依據(jù)。并且因?yàn)槊襟w是自我傳播的，可以跨越物理和人口障礙，因此它是企業(yè)深入了解目標(biāo)受眾、得出模式和結(jié)論、增強(qiáng)決策能力的方式。

二是云平臺(tái)。公有的、私有的和第三方的云平臺(tái)。如今，越來(lái)越多的企業(yè)將數(shù)據(jù)轉(zhuǎn)移到云上，超越了傳統(tǒng)的數(shù)據(jù)源。云存儲(chǔ)支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，并為業(yè)務(wù)提供實(shí)時(shí)信息和隨需應(yīng)變的依據(jù)。云計(jì)算的主要特性是靈活性和可伸縮性。由于大數(shù)據(jù)可以通過(guò)網(wǎng)絡(luò)和服務(wù)器在公共或私有云上存儲(chǔ)和獲取，因此云是一種高效、經(jīng)濟(jì)的數(shù)據(jù)源。

三是Web資源。公共網(wǎng)絡(luò)構(gòu)成了廣泛且易于訪問(wèn)的大數(shù)據(jù)，個(gè)人和公司都可以從網(wǎng)上或“互聯(lián)網(wǎng)”上獲得數(shù)據(jù)。此外，國(guó)內(nèi)的大型購(gòu)物網(wǎng)站，淘寶、京東、阿里巴巴，更是云集了海量的用戶數(shù)據(jù)。

四是IoT(Internet of Things)物聯(lián)網(wǎng)數(shù)據(jù)源。物聯(lián)網(wǎng)目前正處于迅猛發(fā)展勢(shì)頭。有了物聯(lián)網(wǎng)，我們不僅可以從電腦和智能手機(jī)獲取數(shù)據(jù)，還可以從醫(yī)療設(shè)備、車(chē)輛流程、視頻游戲、儀表、相機(jī)、家用電器等方面獲取數(shù)據(jù)。這些都構(gòu)成了大數(shù)據(jù)寶貴的數(shù)據(jù)來(lái)源。

五是來(lái)自于數(shù)據(jù)庫(kù)的數(shù)據(jù)源�，F(xiàn)今的企業(yè)都喜歡融合使用傳統(tǒng)和現(xiàn)代數(shù)據(jù)庫(kù)來(lái)獲取相關(guān)的大數(shù)據(jù)。這些數(shù)據(jù)都是企業(yè)驅(qū)動(dòng)業(yè)務(wù)利潤(rùn)的寶貴資源。常見(jiàn)的數(shù)據(jù)庫(kù)有MS Access、DB2、Oracle、MySQL以及大數(shù)據(jù)的數(shù)據(jù)庫(kù)Hbase、MongoDB等。

我們?cè)賮?lái)總結(jié)一下，什么樣的數(shù)據(jù)就屬于大數(shù)據(jù)呢？通常來(lái)大數(shù)據(jù)有4個(gè)特點(diǎn)，這就是業(yè)內(nèi)人士常說(shuō)的4V，volume容量、 variety多樣性、velocity速度和veracity準(zhǔn)確性。