什么是大數(shù)據(jù)武藝？

大數(shù)據(jù)武藝的目標(biāo)就是為了應(yīng)對業(yè)務(wù)情況(生存或消費)中第一時間產(chǎn)生的多量或海量數(shù)據(jù)，約莫是一天幾個億乃至幾十億的數(shù)據(jù)，要對這些數(shù)據(jù)舉行布局化處理，既能大吞吐量的寫入存儲，還能快速的查詢到存儲的布局，既要均衡的分布這些數(shù)據(jù)，還能對顯現(xiàn)問妨礙的節(jié)點，快速舉行規(guī)復(fù)，既能確保體系在分布式情況下具有精良的可用性，在某些情況下還要確保數(shù)據(jù)的一律性(接近)，既要能快速的調(diào)用業(yè)務(wù)端正，完成數(shù)據(jù)驅(qū)動下的及時處理，還能對成百上千臺存儲了N多個PT數(shù)據(jù)集的并行分析，提供算力最大化的數(shù)據(jù)處理架構(gòu)。

那大數(shù)據(jù)開發(fā)呢，實踐上分兩種：第一類是編寫一些Hadoop、Spark的使用步驟，第二類是對大數(shù)據(jù)處理體系本身舉行開發(fā)。第二類事情的話通常才大公司里才有，尋常他們都市搞本人的體系大概再對開源的做些二次開發(fā)。這種事情的話對實際和實踐要求的都更深一些，也更有武藝含量。接下去來開頭拆分大數(shù)據(jù)開發(fā)，這些都是基本要把握的內(nèi)容

• 01 Python基本：語法· Python數(shù)據(jù)處理· 函數(shù)· 文件讀寫· 特別處理· 模塊和包
• 02 Python進階：面向目標(biāo)· 網(wǎng)絡(luò)編程· 多職責(zé)編程· 高等語法· Python編程綜合項目
• 03 SQL基本： MySQL與SQL· Kettle與BI東西· Pymysql
• 04 ETL基本： ETL看法與東西· Python ETL實戰(zhàn)· BI
• 05 Hadoop武藝棧 :Linux· 大數(shù)據(jù)基本和硬件先容· Zookeeper· HDFS· MapReduce· YARN· Hive基本· Hive高階
• 06 Spark武藝棧 : Pandas基本· Pandas數(shù)據(jù)處理實戰(zhàn)· Spark基本· Spark Core· Spark SQL· SparkSQL案例· Kafka· Elasticsearch
• 07 Flink武藝棧 : Flink Core· Flink DataStream· Flink SQL· Flink Runtime· Flink高等· Flink電商案例實戰(zhàn)

學(xué)習(xí)資源：2022年黑馬python大數(shù)據(jù)開發(fā)學(xué)習(xí)路途

一、網(wǎng)站

1. 網(wǎng)易公開課
https://http://open.163.com/

2. 騰訊講堂 https://http://ke.qq.com/

3. 中國大學(xué)慕課
https://www.http://icourse163.org/

4. B站
https://www.http://bilibili.com/

學(xué)習(xí)資源十分多，內(nèi)容體系且全盤，重點眷注一些專業(yè)培訓(xùn)機構(gòu)上傳的學(xué)習(xí)視頻

5. Statista https://www.http://statista.com/

6. CEIC https://www.http://ceicdata.com/en

7. InfoQ-大數(shù)據(jù)
https://www.http://infoq.cn/

二、冊本

1. 《為數(shù)據(jù)而生》

這是一部大數(shù)據(jù)在伶俐都市、醫(yī)療、教導(dǎo)、金融、商業(yè)等范疇的實踐條記；更是一部為將來大數(shù)據(jù)的提高提供有可行性的途徑指南！

2. 《R言語猜測實戰(zhàn)》

R言語具有上手快、聽從高的特點，它超過金融、生物、醫(yī)學(xué)、互聯(lián)網(wǎng)等多個范疇，主要用于統(tǒng)計、建模及可視化。猜測是數(shù)據(jù)發(fā)掘的主要作用之一，也是大數(shù)據(jù)年代的中心代價地點。

3. 《Hadoop威望指南》

本書是Hadoop威望參考，步驟員可從中探究怎樣分析海量數(shù)據(jù)集，辦理員可以從中了解怎樣安裝與運轉(zhuǎn)Hadoop集群。