面向平臺級別有數據質量、元數據、調度、資管配置、數據同步分發等等。約2010-2012年的平臺結構約2012-2013年的平臺結構階段三：用數據的一些角色（分析師、運營或產品）會自己參與到從數據整理、加工、分析階段。當數據平臺變為自由全開放，使用數據的人也參與到數據的體系建設時，基本會因為不專業型，導致數據質量問題、重復對分數據浪費存儲與資源、口徑多樣化等等原因。此時原有建設數據平臺的多個角色可能轉為對其它非專業做數據人員的培訓、咨詢與落地寫更加適合當前企業數據應用的一些方案等。給用戶提供的各類豐富的分析、取數的產品，簡單上手的可以使用。原有ETL、數據模型角色轉為給用戶提供平臺、產品、數據培訓與使用咨詢。數據分析師直接參與到數據平臺過程、數據產品的建設中去。用戶面對是數據源多樣化，比如日志、生產數據庫的數據、視頻、音頻等非結構化數據。在互聯網這個大數據浪潮下，2016年以后數據平臺是如何去建設？如何服務業務？企業的不同發展階段數據平臺該如何去建設的？這個大家是可以思考的。但是我相信互聯網企業是非常務實的，基本不會采用傳統企業的自上而下的建設方式，互聯網企業的業務快速變與迭代要求快速分析到數據。數據它是可識別的、抽象的符號。新都區商業街數據洞察

    如果通過技術將人無法通過肉眼找到的價值信息呈現出來，這是重要的！大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式計算架構。它的特色在于對海量數據的挖掘，但它必須依托云計算的分布式處理、分布式數據庫、云存儲和虛擬化技術。隨著云時代的來臨，大數據（Bigdata）也吸引了越來越多的關注。《著云臺》的分析師團隊認為，大數據（Bigdata）通常用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用于大數據技術，包括大規模并行處理。新津區大數據調研分析數據是用于輸入電子計算機進行處理，具有一定意義的數字、字母、符號和模擬量等的統稱。

采集數據主要有兩個方向，一是自己編爬蟲程序去采集，二是使用別人或者企業公司等公開的數據。1.編爬蟲程序去采集數據(比較有針對性，比較適合我們的需求就是我想要什么數據就采集什么數據，可以使用Python爬蟲去采集，不是很難。但有一點就像樓主說的一樣，有點麻煩。)2.使用公開的數據，可以使用第三方的數據產品工具，新媒體公眾號方向可以考慮新榜有數的(針對性不強，可能公開的數據樣本不符合我們的需求，這樣就不利于工作的開展了，但特點就是方便)

    數據庫是一個按數據結構來存儲和管理數據的計算機軟件系統。數據庫的概念實際包括兩層意思：數據庫是一個實體，它是能夠合理保管數據的“倉庫”，用戶在該“倉庫”中存放要管理的事務數據，“數據”和“庫”兩個概念結合成為數據庫。數據庫是數據管理的新方法和技術，它能更合適的組織數據、更方便的維護數據、更嚴密的控制數據和更有效的利用數據。數據庫發展現狀在數據庫的發展歷史上，數據庫先后經歷了層次數據庫、網狀數據庫和關系數據庫等各個階段的發展，數據庫技術在各個方面的快速的發展。特別是關系型數據庫已經成為目前數據庫產品中重要的一員，0年代以來，幾乎所有的數據庫廠商新出的數據庫產品都支持關系型數據庫，即使一些非關系數據庫產品也幾乎都有支持關系數據庫的接口。這主要是傳統的關系型數據庫可以比較好的解決管理和存儲關系型數據的問題。隨著云計算的發展和大數據時代的到來，關系型數據庫越來越無法滿足需要，這主要是由于越來越多的半關系型和非關系型數據需要用數據庫進行存儲管理，以此同時。分布式技術等新技術的出現也對數據庫的技術提出了新的要求，于是越來越多的非關系型數據庫就開始出現。數據是所有能輸入計算機并被計算機程序處理的符號的介質的總稱。

    還得考慮可操作性、約束性（備注約束性是完成數據質量提升的一個關鍵要素，未來新話題主題會討論這些），這個既要顧業務、數據源、合理的整合的角色是數據模型設計師，又叫數據模型師。平臺中模型設計所關注的是企業分散在各角落數據、未知的商業模式與未知的分析報表，通過模型的步驟，理解業務并結合數據整合分析，建立數據模型為Datacleaning指定清洗規則、為源數據與目標提供ETLmapping（備注：ETL代指數據從不同源到數據平臺的整個過程，ETLMapping可理解為數據加工算法，給數碼看的，互聯網與非互聯網此處差異性也較為明顯，非互聯網數據平臺對ETL定義與架構較為復雜）支持、理清數據與數據之間的關系。（備注：Datacleaning是指的數據清洗數據質量相關不管是在哪個行業，是令人的問題，分業務域、技術域的數據質量問題，需要通過事前盤點、事中監控、事后調養，有機會在闡述）。大家來看一張較為嚴謹的數據模型關系圖：數據模型是整個數據平臺的數據建設過程的導航圖。有利于數據的整合。數據模型是整合各種數據源指導圖，對現有業務與數據從邏輯層角度進行了描述，通過數據模型，可以建立業務系統與數據之間的映射與轉換關系。排除數據描述的不一致性。大數據是互聯網開展到如今階段的一種表象或特征。新津區大數據調研分析

數據分析是為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。新都區商業街數據洞察

    對于大數據而言，數據倉庫承載著整個企業的全業務的數據。早期數倉在關系型數據如Oracle，MySql上。到大數據時代，基于hadoop生態的大數據架構，數倉基本上都是基于hive的數倉。對于很多大數據開發者而言，特別是早期，很多開發者認為hive數倉就是和業務相關，隱射Hdfs數據文件的一張張表。針對于hive數倉而言，終看到的確實是一張紙表，但這些表是如何根據業務抽象出來的、表之間的關系、表如何更好的服務應用這些問題是數倉建模、數倉技術架構的。一個好的數倉技術架構和數倉建模。可以減少開發的難度，提高數據服務性能，同時能夠在很大層面上對業務形成數據中心，降低存儲，計算資源的消耗等等.數倉架構的演變傳統經典數倉架構->離線數倉架構->實時數倉架構->Lambda數倉架構->Kappa數倉架構->混合數倉架構a.傳統數倉架構在大數據領域應用不多了，這類架構在早期數據量不大，對性能的要求不高，業務較單一的場景中應用比較多，這類數倉主要以oracle，mysql這種關系型數據庫的范式設計原則設計b.離線數倉架構是在大數據領域應運而生的。主要是基于hadoop生態組件的大數據技術架構方案中以hive為主的，在設計層面遵循和借鑒傳統數倉的設計思路和規范。新都區商業街數據洞察

成都達智咨詢股份有限公司在數據調研分析，數據采集，數據策略咨詢，數據智慧科技系統一直在同行業中處于較強地位，無論是產品還是服務，其高水平的能力始終貫穿于其中。公司位于成都市人民東路61號，成立于1999-01-07，迄今已經成長為商務服務行業內同類型企業的佼佼者。達智咨詢以數據調研分析，數據采集，數據策略咨詢，數據智慧科技系統為主業，服務于商務服務等領域，為全國客戶提供先進數據調研分析，數據采集，數據策略咨詢，數據智慧科技系統。多年來，已經為我國商務服務行業生產、經濟等的發展做出了重要貢獻。