簡單科普 | 極速學習,什麼是大資料與雲計算?(一)

什麼叫大資料雲計算

首先，我們來了解一下大資料是什麼？資料產生方式經歷的幾個階段

運營式系統階段

使用者原創內容階段

感知式系統階段

三次資訊科技浪潮：

大資料概念/4個基本特性(4v)：

資料量大（volume）

資料型別繁多（variety）

處理速度快（velocity）

價值密度低（value）

資料研究分為實驗、理論、計算、資料四個階段。其次我們來了解一下大資料技術是什麼。

它是伴隨著收購、儲存、分析和應用大資料相關技術，是一系列非傳統工具來處理大量的結構化、半結構化、非結構化資料，從而獲得一系列的分析和預測結果的資料處理和分析技術。

當然，對程式設計感興趣的小夥伴，可以直接戳連結進行購買，超值價學習程式設計~

2021超實用性的Python零基礎入門到進階影片原始碼

¥

16。9

領券

減15

淘寶

月銷24

購買

大資料的基本處理過程：

大資料技術主要有四個要素：

1、資料採集

利用ETL工具，將分散式異構資料來源中的資料抽取到臨時中間層進行清理、轉換、整合，最後載入到資料倉庫或資料集市中，成為線上分析處理和資料探勘的基礎。

採集到的實時資料作為流計算系統的輸入，進行實時處理和分析。

2、資料儲存和管理

利用分散式檔案系統、資料倉庫、關係資料庫、NoSQL資料庫、雲資料庫等實現結構化、半結構化和非結構化海量資料的儲存和管理

3、資料處理與分析

採用分散式並行程式設計模型和計算框架，結合機器學習和資料探勘演算法，實現了對海量資料的處理和分析

將分析結果視覺化，以幫助人們更好地理解和分析它

4、資料隱私保護

在挖掘大資料潛在巨大商業價值和學術價值的同時，構建私人資料保護體系和資料安全體系，有效保護個人隱私和資料安全

之後是瞭解一下大關鍵資料技術，分為兩個基本內容：

分散式儲存：GFS/HDFS、BigTable/HBase、NoSQL

分散式處理：MapReduce

大資料計算模型：

大資料產業主要包括以下幾個方面：

IT基礎設施層

資料來源層

資料管理

資料分析層

資料平臺層

資料應用層

大資料與雲計算、物聯網的關係：

雲計算：透過網路提供可擴充套件的、廉價的分散式計算機的能力使使用者能夠在任何時間、任何地點、任何能夠訪問網路的地方訪問所需的各種IT資源。關鍵技術包括虛擬化、分散式儲存、分散式計算、多租戶等

物聯網：物聯網，利用本地網路或網際網路等通訊技術，透過新的方式將感測器、控制器、機器、人與物連線起來，形成人與物、物與物連線，實現資訊和遠端管理控制

區別：大資料側重於資料的儲存、處理和分析，雲計算側重於整合和最佳化IT資源，使其透過網路以低廉的價格提供給使用者；

相關：雲計算為大資料提供了技術基礎，大資料為雲計算提供了場所，物聯網是大資料的重要來源，大資料支撐物聯網，雲計算為物聯網提供了海量儲存容量，物聯網為雲技術提供了應用空間

關注光頭強，和你分享更多程式設計知識、乾貨。小夥伴們長按點贊按鈕支援一下喔~