對于大數(shù)據(jù)而言，數(shù)據(jù)倉庫承載著整個企業(yè)的全業(yè)務的數(shù)據(jù)。早期數(shù)倉在關系型數(shù)據(jù)如Oracle，MySql上。到大數(shù)據(jù)時代，基于hadoop生態(tài)的大數(shù)據(jù)架構，數(shù)倉基本上都是基于hive的數(shù)倉。對于很多大數(shù)據(jù)開發(fā)者而言，特別是早期，很多開發(fā)者認為hive數(shù)倉就是和業(yè)務相關，隱射Hdfs數(shù)據(jù)文件的一張張表。針對于hive數(shù)倉而言，終看到的確實是一張紙表，但這些表是如何根據(jù)業(yè)務抽象出來的、表之間的關系、表如何更好的服務應用這些問題是數(shù)倉建模、數(shù)倉技術架構的。一個好的數(shù)倉技術架構和數(shù)倉建模。可以減少開發(fā)的難度，提高數(shù)據(jù)服務性能，同時能夠在很大層面上對業(yè)務形成數(shù)據(jù)中心，降低存儲，計算資源的消耗等等.數(shù)倉架構的演變傳統(tǒng)經(jīng)典數(shù)倉架構->離線數(shù)倉架構->實時數(shù)倉架構->Lambda數(shù)倉架構->Kappa數(shù)倉架構->混合數(shù)倉架構a.傳統(tǒng)數(shù)倉架構在大數(shù)據(jù)領域應用不多了，這類架構在早期數(shù)據(jù)量不大，對性能的要求不高，業(yè)務較單一的場景中應用比較多，這類數(shù)倉主要以oracle，mysql這種關系型數(shù)據(jù)庫的范式設計原則設計b.離線數(shù)倉架構是在大數(shù)據(jù)領域應運而生的。主要是基于hadoop生態(tài)組件的大數(shù)據(jù)技術架構方案中以hive為主的，在設計層面遵循和借鑒傳統(tǒng)數(shù)倉的設計思路和規(guī)范。“大數(shù)據(jù)”指的是什么呢？錦江區(qū)城市數(shù)據(jù)海

常見的數(shù)據(jù)采集方式有問卷調查、查閱資料、實地考查、試驗。1、問卷調查：問卷調查是數(shù)據(jù)收集極為常用的一種方式，因為它的成本比較低，而且得到的信息也會比較多面。2、查閱資料：查閱資料是古老的數(shù)據(jù)收集的方式，通過查閱書籍，記錄等資料來得到自己想要的數(shù)據(jù)。3、實地考查：實地考察是到指定的地方去做研究，指為明白一個事物的真相，勢態(tài)發(fā)展流程，而去實地進行直觀的，局部進行詳細的調查。4、實驗：實驗收集數(shù)據(jù)的優(yōu)點是數(shù)據(jù)的準確性很高，而缺點是未知性很大，不管實驗的周期還是實驗的結果都是不確定性的。大數(shù)據(jù)智慧科技系統(tǒng)數(shù)據(jù)不僅成為企業(yè)的新石油，更是價值的新來源。

    這個平臺也是企業(yè)必須要做的平臺，只不過當時叫數(shù)據(jù)倉庫系統(tǒng)，在大數(shù)據(jù)時代，我稱作為大數(shù)據(jù)倉庫基礎平臺。這部分是整個大數(shù)據(jù)平臺的。我們接下來會詳細討論。大數(shù)據(jù)門戶，是數(shù)據(jù)成果的集成一體化平臺，包含大數(shù)據(jù)分析平臺和數(shù)據(jù)應用平臺。大數(shù)據(jù)門戶作為整個數(shù)據(jù)部門的窗口，所有數(shù)據(jù)研究成果都會展現(xiàn)在數(shù)據(jù)門戶中，極大的方便了企業(yè)各層級、各職能人員使用數(shù)據(jù)。我們接下來也將會詳細討論下這部分內(nèi)容。用戶服務，使用我們數(shù)據(jù)的人主要有公司的各層級的管理人員、數(shù)據(jù)分析人員、運營人員、產(chǎn)品經(jīng)理、技術研發(fā)工程師、企業(yè)的投資相關方，還可能有部分的公司提供對外的數(shù)據(jù)服務。提供服務的方式有多種多樣，或通過大數(shù)據(jù)門戶、或通過API接口、或是直接在分析報告中體現(xiàn)。注：詳細分享每個平臺如何構建的內(nèi)容，歡迎大家參加小講“企業(yè)大數(shù)據(jù)戰(zhàn)略及價值變現(xiàn)”，會有很多的干貨和獨門絕技分享。第三部分：大數(shù)據(jù)的價值（注：本文根據(jù)小講“企業(yè)大數(shù)據(jù)戰(zhàn)略及價值變現(xiàn)”中大數(shù)據(jù)價值章節(jié)的分享整理而成）大數(shù)據(jù)的價值，從業(yè)務角度出發(fā)，主要有如下的3點：a.數(shù)據(jù)輔助決策：為企業(yè)提供基礎的數(shù)據(jù)統(tǒng)計報表分析服務。分析師能夠輕易獲取數(shù)據(jù)產(chǎn)出分析報告指導產(chǎn)品和運營。

    如果需要修改數(shù)據(jù)表的結構就會十分困難。而NoSQL數(shù)據(jù)庫由于面對的是大量非結構化的數(shù)據(jù)的存儲，它采用的是動態(tài)結構，對于數(shù)據(jù)類型和結構的改變非常的適應，可以根據(jù)數(shù)據(jù)存儲的需要靈活的改變數(shù)據(jù)庫的結構。[]數(shù)據(jù)庫存儲規(guī)范關系型數(shù)據(jù)庫為了避免重復、規(guī)范化數(shù)據(jù)以及充分利用好存儲空間，把數(shù)據(jù)按照小關系表的形式進行存儲，這樣數(shù)據(jù)管理的就可以變得很清晰、一目了然，當然這主要是一張數(shù)據(jù)表的情況。如果是多張表情況就不一樣了，由于數(shù)據(jù)涉及到多張數(shù)據(jù)表，數(shù)據(jù)表之間存在著復雜的關系，隨著數(shù)據(jù)表數(shù)量的增加，數(shù)據(jù)管理會越來越復雜。而NoSQL數(shù)據(jù)庫的數(shù)據(jù)存儲方式是用平面數(shù)據(jù)集的方式集中存放，雖然會存在數(shù)據(jù)被重復存儲，從而造成存儲空間被浪費的問題（從當前的計算機硬件的發(fā)展來看，這樣的存儲空間浪費的問題微不足道）。但是由于基本上單個數(shù)據(jù)庫都是采用單獨存放的形式，很少采用分割存放的方式，所以這樣數(shù)據(jù)往往能存成一個整體，這對于數(shù)據(jù)的讀寫提供了極大的方便。[]數(shù)據(jù)庫擴展方式當前社會和科學飛速發(fā)展，要支持日益增長的數(shù)據(jù)庫存儲需求當然要求數(shù)據(jù)庫有良好的擴展性能，并且要求數(shù)據(jù)庫支持更多數(shù)據(jù)并發(fā)量。數(shù)據(jù)是信息的表現(xiàn)形式和載體，可以是符號、文字、數(shù)字、語音、圖像、視頻等。

    DELETE對應了我們常用的增刪改查四種操作。[]關系型數(shù)據(jù)庫對于結構化數(shù)據(jù)的處理更合適，如學生成績、地址等，這樣的數(shù)據(jù)一般情況下需要使用結構化的查詢，例如join，這樣的情況下，關系型數(shù)據(jù)庫就會比NoSQL數(shù)據(jù)庫性能更優(yōu)，而且精確度更高。由于結構化數(shù)據(jù)的規(guī)模不算太大，數(shù)據(jù)規(guī)模的增長通常也是可預期的，所以針對結構化數(shù)據(jù)使用關系型數(shù)據(jù)庫更好。關系型數(shù)據(jù)庫十分注意數(shù)據(jù)操作的事務性、一致性，如果對這方面的要求關系型數(shù)據(jù)庫無疑可以很好的滿足。[]數(shù)據(jù)庫非關系型數(shù)據(jù)庫（NoSQL）隨著近些年技術方向的不斷拓展，大量的NoSql數(shù)據(jù)庫如MongoDB、Redis、Memcache出于簡化數(shù)據(jù)庫結構、避免冗余、影響性能的表連接、摒棄復雜分布式的目的被設計。[]指的是分布式的、非關系型的、不保證遵循ACID原則的數(shù)據(jù)存儲系統(tǒng)。NoSQL數(shù)據(jù)庫技術與CAP理論、一致性哈希算法有密切關系。所謂CAP理論。簡單來說就是一個分布式系統(tǒng)不可能滿足可用性、一致性與分區(qū)容錯性這三個要求，一次性滿足兩種要求是該系統(tǒng)的上限。而一致性哈希算則指的是NoSQL數(shù)據(jù)庫在應用過程中，為滿足工作需求而在通常情況下產(chǎn)生的一種數(shù)據(jù)算法，該算法能有效解決工作方面的諸多問題但也存在弊端。數(shù)據(jù)的解釋是指對數(shù)據(jù)含義的說明，數(shù)據(jù)的含義稱為數(shù)據(jù)的語義，數(shù)據(jù)與其語義是不可分的。錦江區(qū)城市數(shù)據(jù)海

數(shù)據(jù)庫就是"按照數(shù)據(jù)結構來組織、存儲和管理數(shù)據(jù)的倉庫"。錦江區(qū)城市數(shù)據(jù)海

    數(shù)據(jù)質量、數(shù)據(jù)安全、數(shù)據(jù)生命周期等方面開展實施。數(shù)據(jù)治理是一個企業(yè)安身立命的根本。元數(shù)據(jù):業(yè)務實體數(shù)據(jù)的標識，在大數(shù)據(jù)領域，一個數(shù)倉可以有成百上千，甚至成千上萬或更多的表。這些表的含義，表的每個字段的含義只有通過元數(shù)據(jù)才能知道。業(yè)務實體數(shù)據(jù)：業(yè)務產(chǎn)生的數(shù)據(jù)的數(shù)據(jù)內(nèi)容，業(yè)務實體數(shù)據(jù)以外的數(shù)據(jù)表都是為其服務的。數(shù)據(jù)質量：保證業(yè)務實體數(shù)據(jù)完整性、準確性、一致性、時效性。每一個操作業(yè)務實體數(shù)據(jù)的任務都應該配置數(shù)據(jù)質量監(jiān)控，嚴禁任務裸奔。可建設統(tǒng)一數(shù)據(jù)質量告警中心從以下四個方面進行監(jiān)控、預警和優(yōu)化任務。數(shù)據(jù)安全：即數(shù)據(jù)的保密性、真實性、完整性、未授權拷貝和所寄生系統(tǒng)的安全性。數(shù)據(jù)生命周期：對于某些數(shù)據(jù)，用完可以刪除掉，以便減少存儲空間，數(shù)據(jù)生命周期數(shù)據(jù)定義了每個業(yè)務實體數(shù)據(jù)的周期，是否為熱數(shù)據(jù)或冷數(shù)據(jù)，是否需要長久保留還是完成對應功能即可刪除等6.數(shù)倉的衍生隨著大數(shù)據(jù)的發(fā)展及互聯(lián)網(wǎng)巨頭對大數(shù)據(jù)技術的深耕及奉獻，特別是阿里。在數(shù)倉的基礎上衍生了數(shù)據(jù)湖和數(shù)據(jù)集市的概念數(shù)據(jù)湖：是一個集中化存儲海量的、多個來源，多種類型數(shù)據(jù)，并可以對數(shù)據(jù)進行快速加工，分析的平臺，本質上是一套先進的企業(yè)數(shù)據(jù)架構。錦江區(qū)城市數(shù)據(jù)海

成都達智數(shù)據(jù)科技股份有限公司一直專注于商務信息咨詢;市場調查研究預測;企業(yè)管理咨詢;企業(yè)策劃咨詢、營銷咨詢、經(jīng)濟貿(mào)易咨詢;會議服務;計算機技術的開發(fā)、轉讓、咨詢、服務;數(shù)據(jù)處理、分析及咨詢服務;應用軟件服務;質檢技術服務;公共關系服務;互聯(lián)網(wǎng)數(shù)據(jù)服務;地理信息加工處理、測繪服務;廣告設計、制作、代理、發(fā)布。，是一家商務服務的企業(yè)，擁有自己**的技術體系。一批專業(yè)的技術團隊，是實現(xiàn)企業(yè)戰(zhàn)略目標的基礎，是企業(yè)持續(xù)發(fā)展的動力。成都達智數(shù)據(jù)科技股份有限公司主營業(yè)務涵蓋數(shù)據(jù)調研分析，數(shù)據(jù)采集，數(shù)據(jù)策略咨詢，數(shù)據(jù)智慧科技系統(tǒng)，堅持“質量保證、良好服務、顧客滿意”的質量方針，贏得廣大客戶的支持和信賴。一直以來公司堅持以客戶為中心、數(shù)據(jù)調研分析，數(shù)據(jù)采集，數(shù)據(jù)策略咨詢，數(shù)據(jù)智慧科技系統(tǒng)市場為導向，重信譽，保質量，想客戶之所想，急用戶之所急，全力以赴滿足客戶的一切需要。