根據集(ji)(ji)(ji)團(tuan)(tuan)信息(xi)化規劃，遵(zun)循“互聯網+”的(de)理念，建設(she)集(ji)(ji)(ji)團(tuan)(tuan)大數(shu)(shu)(shu)據平臺，實現(xian)集(ji)(ji)(ji)團(tuan)(tuan)數(shu)(shu)(shu)據資源的(de)集(ji)(ji)(ji)中及整合(he)，構建集(ji)(ji)(ji)團(tuan)(tuan)統一的(de)數(shu)(shu)(shu)據模型，提(ti)(ti)高企業(ye)(ye)數(shu)(shu)(shu)據的(de)處理效率(lv)與共享程度。實現(xian)對集(ji)(ji)(ji)團(tuan)(tuan)企業(ye)(ye)內部數(shu)(shu)(shu)據和外部數(shu)(shu)(shu)據的(de)分析挖掘，對內對外提(ti)(ti)供數(shu)(shu)(shu)據服務。為(wei)全(quan)網提(ti)(ti)供決策支(zhi)(zhi)持、產品創新、交叉營銷、服務支(zhi)(zhi)撐、風險管控以及流程優化等支(zhi)(zhi)撐服務。
集(ji)團(tuan)(tuan)(tuan)大數(shu)(shu)據平(ping)臺(tai)(tai)(tai)將在Hadoop和(he)云計算等(deng)技術的(de)基(ji)礎上，對(dui)金融大數(shu)(shu)據平(ping)臺(tai)(tai)(tai)、量(liang)收系(xi)統(tong)、生產系(xi)統(tong)、CRM系(xi)統(tong)、電商平(ping)臺(tai)(tai)(tai)、數(shu)(shu)據分(fen)析綜(zong)合(he)服(fu)務(wu)平(ping)臺(tai)(tai)(tai)的(de)歷史數(shu)(shu)據、數(shu)(shu)據模型、報表應用等(deng)進行(xing)移植，全(quan)面整合(he)集(ji)團(tuan)(tuan)(tuan)業(ye)務(wu)數(shu)(shu)據。數(shu)(shu)據來源涵蓋集(ji)團(tuan)(tuan)(tuan)所有的(de)生產和(he)管(guan)理系(xi)統(tong)，并可接入(ru)同業(ye)及(ji)相關市場甚至互(hu)聯(lian)網信息(xi)，建(jian)立從業(ye)務(wu)層(ceng)到管(guan)理層(ceng)到決策層(ceng)的(de)智能分(fen)析體(ti)系(xi)，模擬量(liang)化風險(xian)和(he)收益，實現對(dui)集(ji)團(tuan)(tuan)(tuan)各(ge)種業(ye)務(wu)數(shu)(shu)據進行(xing)分(fen)類(lei)、管(guan)理、統(tong)計和(he)分(fen)析等(deng)功能，給(gei)各(ge)級管(guan)理人(ren)員提供各(ge)類(lei)準確(que)的(de)統(tong)計分(fen)析預(yu)測數(shu)(shu)據，使其能夠(gou)及(ji)時掌握全(quan)面的(de)經營(ying)狀況，為(wei)宏觀決策提供支持；為(wei)基(ji)層(ceng)業(ye)務(wu)人(ren)員提供詳盡的(de)數(shu)(shu)據，供其對(dui)各(ge)自的(de)工作目標、當前(qian)和(he)歷史狀況進行(xing)準確(que)的(de)把握，對(dui)業(ye)務(wu)活動進行(xing)有效支撐；滿足集(ji)團(tuan)(tuan)(tuan)經營(ying)管(guan)理及(ji)決策支持，建(jian)設(she)國內一流，世(shi)界領先(xian)的(de)大數(shu)(shu)據平(ping)臺(tai)(tai)(tai)。
本方(fang)(fang)案提(ti)供統(tong)一(yi)的(de)運維(wei)監控服務。本方(fang)(fang)案涉及到的(de)所有軟(ruan)件(jian)的(de)部(bu)(bu)署都通過(guo)Docker打包成鏡像(xiang)文(wen)件(jian)，以(yi)便非常快捷的(de)部(bu)(bu)署實施。內部(bu)(bu)系統(tong)通過(guo)鏡像(xiang)數(shu)據接口(kou)交(jiao)(jiao)互層(ceng)進(jin)行(xing)交(jiao)(jiao)互。通過(guo)外部(bu)(bu)接口(kou)層(ceng)納入集團運維(wei)平臺進(jin)行(xing)統(tong)一(yi)監控
一站式大數據(ju)平臺提供集群自動化(hua)部署(shu)服務。用(yong)戶只需要安(an)裝(zhuang)管理平臺軟(ruan)件，就可以在友好的圖(tu)形化(hua)界面上安(an)裝(zhuang)、部署(shu)、配置所需要的服務。整個(ge)安(an)裝(zhuang)過程不需要用(yong)戶使用(yong)任何終端命令(ling)或者(zhe)代(dai)碼。
平臺提供了強大的(de)在線(xian)擴容(rong)功(gong)能，不需(xu)要(yao)(yao)宕機停(ting)(ting)庫(ku)，不需(xu)要(yao)(yao)停(ting)(ting)止業(ye)務，就(jiu)可以(yi)(yi)添加(jia)(jia)新的(de)節(jie)點，實現擴容(rong)。節(jie)點添加(jia)(jia)完成(cheng)(cheng)之后(hou)可以(yi)(yi)立即對新添加(jia)(jia)的(de)節(jie)點進行(xing)(xing)角色的(de)分(fen)配，一旦配置成(cheng)(cheng)功(gong)，則新加(jia)(jia)的(de)節(jie)點就(jiu)會馬上投入運算。擴容(rong)之后(hou)的(de)數據(ju)節(jie)點也(ye)不需(xu)要(yao)(yao)停(ting)(ting)機進行(xing)(xing)數據(ju)重分(fen)布(bu)，系統自動選擇(ze)空閑的(de)時間進行(xing)(xing)數據(ju)的(de)重新分(fen)布(bu)。同(tong)時，擴容(rong)的(de)操(cao)作可以(yi)(yi)方便的(de)在界(jie)面進行(xing)(xing)操(cao)作。
平(ping)臺通過(guo)(guo)專(zhuan)門的(de)(de)監控服(fu)務對集(ji)群(qun)的(de)(de)狀(zhuang)態進行監控，包(bao)括(kuo)服(fu)務器(qi)(qi)CPU、內(nei)存、網(wang)絡和磁盤的(de)(de)利用率和健康狀(zhuang)態，以及(ji)(ji)分布式(shi)應用系統(tong)的(de)(de)狀(zhuang)態，并在故障發生或者(zhe)某項(xiang)指標(biao)超過(guo)(guo)預(yu)設閥值(zhi)時時提供告警(jing)功(gong)能。管理員可通過(guo)(guo)瀏覽器(qi)(qi)訪問集(ji)群(qun)的(de)(de)監控和管理界面進行日常(chang)的(de)(de)監控和維護(hu)，系統(tong)提供圖(tu)標(biao)信息(xi)展示。管理員可以便捷了(le)解(jie)到集(ji)群(qun)的(de)(de)計算資(zi)源(yuan)是(shi)否(fou)處于空閑狀(zhuang)態、哪些服(fu)務器(qi)(qi)的(de)(de)負載過(guo)(guo)高，甚至(zhi)判斷(duan)集(ji)群(qun)的(de)(de)組網(wang)及(ji)(ji)機架(jia)安排是(shi)否(fou)合理等。管理員也(ye)可通過(guo)(guo)對各個節點的(de)(de)各個角色的(de)(de)日志信息(xi)進行檢(jian)索，獲得更加(jia)精確的(de)(de)信息(xi)。
平臺提供計算任務管理和作業管理，包括作業的上傳、配(pei)置、啟動、停止、刪除和狀態(tai)查(cha)看(kan)等功能(neng)。
在平臺中，資(zi)源(yuan)可以(yi)(yi)從多個(ge)方面(mian)進(jin)行管(guan)理。從資(zi)源(yuan)管(guan)理模塊的(de)層面(mian)，用(yong)戶通(tong)過配置(zhi)不(bu)同的(de)Scheduler來定(ding)義不(bu)一樣的(de)資(zi)源(yuan)使用(yong)策略(lve)，目前(qian)支持FIFO Scheduler、Fair Scheduler以(yi)(yi)及Capacity Scheduler，實(shi)現作(zuo)業動(dong)態調整，支持對任務系(xi)統資(zi)源(yuan)占用(yong)進(jin)行實(shi)時(shi)調配，改(gai)變作(zuo)業調度(du)優先(xian)級等操作(zuo)。
通過(guo)集(ji)群監(jian)控(kong)系統向集(ji)團運(yun)維監(jian)控(kong)平臺(tai)發送(song)監(jian)控(kong)消(xiao)息，提(ti)供對接接口，實(shi)現大數據(ju)平臺(tai)與集(ji)團運(yun)維監(jian)控(kong)平臺(tai)的互通，實(shi)現統一監(jian)控(kong)。
平臺(tai)通過(guo)(guo)專門的(de)(de)監(jian)控(kong)服(fu)務對集(ji)(ji)(ji)群(qun)的(de)(de)狀(zhuang)態進行監(jian)控(kong)，包括服(fu)務器(qi)CPU、內存(cun)、網(wang)(wang)絡和(he)(he)磁盤的(de)(de)利用率和(he)(he)健康(kang)狀(zhuang)態，以及分布式應用系(xi)統的(de)(de)狀(zhuang)態，并在故障(zhang)發生(sheng)或者某項指標超(chao)過(guo)(guo)預設閥值時提(ti)(ti)供告警功能。管理員(yuan)可通過(guo)(guo)瀏覽器(qi)訪(fang)問(wen)集(ji)(ji)(ji)群(qun)的(de)(de)監(jian)控(kong)和(he)(he)管理界面進行日常的(de)(de)監(jian)控(kong)和(he)(he)維(wei)護，系(xi)統提(ti)(ti)供圖表信(xin)息展示。管理員(yuan)可以便捷(jie)的(de)(de)了解到(dao)集(ji)(ji)(ji)群(qun)的(de)(de)計算資源是否(fou)處于空閑(xian)狀(zhuang)態、哪(na)些服(fu)務器(qi)的(de)(de)負載過(guo)(guo)高，甚至判(pan)斷集(ji)(ji)(ji)群(qun)的(de)(de)組網(wang)(wang)及機架安排是否(fou)合(he)理等。管理員(yuan)也可通過(guo)(guo)對各個(ge)節點(dian)的(de)(de)各個(ge)角色(se)的(de)(de)日志信(xin)息進行檢(jian)索(suo)，獲得更加精確的(de)(de)信(xin)息。
平臺提供(gong)(gong)功能完整，性(xing)能優異的ETL框(kuang)架支(zhi)持平臺建(jian)設，針(zhen)對數據的預處理(li)，中(zhong)間的轉換清洗，包(bao)括寫入目標(biao)時針(zhen)對異常數據的捕(bu)獲(huo)。整個過程由(you)平臺提供(gong)(gong)的調度平臺，元數據管理(li)平臺提供(gong)(gong)支(zhi)撐(cheng)，讓各部(bu)分之間緊密合作，又各司(si)其職。
針對此項目復雜的(de)業務(wu)系統和管理(li)，平(ping)臺提供完善的(de)調(diao)度(du)功能(neng)，以更(geng)好(hao)(hao)的(de)對各個(ge)模塊進行良(liang)好(hao)(hao)調(diao)度(du)管理(li)。
調度(du)平(ping)臺(tai)是(shi)平(ping)臺(tai)的(de)(de)(de)數據流核心，調度(du)平(ping)臺(tai)讓相關(guan)的(de)(de)(de)業務(wu)系(xi)(xi)統(tong)(tong)、處理系(xi)(xi)統(tong)(tong)按照一(yi)定的(de)(de)(de)業務(wu)邏輯，在(zai)客(ke)戶的(de)(de)(de)安排下，像流水線一(yi)樣，或(huo)串行，或(huo)并行，按照一(yi)定的(de)(de)(de)依(yi)賴關(guan)系(xi)(xi)，在(zai)每日，每周定時觸發，依(yi)次(ci)執(zhi)行。平(ping)臺(tai)提(ti)供完善的(de)(de)(de)接口和管理模塊，讓眾多的(de)(de)(de)作業管理簡(jian)易高(gao)效。
本方案提(ti)(ti)(ti)供的(de)大數(shu)(shu)據(ju)(ju)平(ping)臺支持多種環境(jing)，以(yi)便于(yu)(yu)后(hou)續(xu)進行多種數(shu)(shu)據(ju)(ju)分(fen)析(xi)(xi)與挖掘(jue)，并提(ti)(ti)(ti)供多個接口(kou)對數(shu)(shu)據(ju)(ju)進行導出，以(yi)便于(yu)(yu)客戶在體外(wai)進行數(shu)(shu)據(ju)(ju)分(fen)析(xi)(xi)；也提(ti)(ti)(ti)供數(shu)(shu)據(ju)(ju)沙盤給特定的(de)數(shu)(shu)據(ju)(ju)分(fen)析(xi)(xi)師進行數(shu)(shu)據(ju)(ju)分(fen)析(xi)(xi)，數(shu)(shu)據(ju)(ju)沙盤也提(ti)(ti)(ti)供多個數(shu)(shu)據(ju)(ju)以(yi)及產(chan)品(pin)接口(kou)，以(yi)便于(yu)(yu)進行數(shu)(shu)據(ju)(ju)探索。
本(ben)方案(an)的(de)(de)(de)平臺(tai)采用(yong)(yong)Hadoop平臺(tai)，它本(ben)身是(shi)(shi)一個(ge)并(bing)發(fa)存儲、并(bing)發(fa)計算的(de)(de)(de)高效平臺(tai)，選(xuan)用(yong)(yong)了(le) Discover的(de)(de)(de)挖掘模塊(kuai)，它是(shi)(shi)在對(dui)開源的(de)(de)(de)R全面支持的(de)(de)(de)基礎上，結合SparkR進(jin)(jin)(jin)行(xing)了(le)代碼的(de)(de)(de)重大(da)改造(zao)。并(bing)對(dui)常用(yong)(yong)的(de)(de)(de)R算法(fa)進(jin)(jin)(jin)行(xing)了(le)并(bing)行(xing)化改造(zao)，這(zhe)些(xie)改造(zao)正(zheng)是(shi)(shi)基于(yu)(yu)大(da)數(shu)據中關(guan)鍵的(de)(de)(de)體量(liang)巨大(da)這(zhe)個(ge)維(wei)度進(jin)(jin)(jin)行(xing)的(de)(de)(de)優化。之前的(de)(de)(de)數(shu)據挖掘由于(yu)(yu)在單機上進(jin)(jin)(jin)行(xing)，而(er)由于(yu)(yu)數(shu)據挖掘需要對(dui)數(shu)據進(jin)(jin)(jin)行(xing)大(da)量(liang)的(de)(de)(de)衍生(sheng)和關(guan)聯運算，會讓(rang)待分析(xi)的(de)(de)(de)數(shu)據集積(ji)聚擴大(da)，因而(er)很多數(shu)據挖掘針對(dui)海量(liang)數(shu)據只能采用(yong)(yong)抽樣的(de)(de)(de)策略進(jin)(jin)(jin)行(xing)模型(xing)訓練，讓(rang)挖掘效果(guo)受(shou)到很大(da)影響(xiang)。在并(bing)發(fa)R算法(fa)的(de)(de)(de)支撐(cheng)下，只要節點數(shu)足夠，原則上可以處理任意體量(liang)的(de)(de)(de)數(shu)據。
平臺支持(chi)R、ANSI SQL、Python、Java、C/C++等(deng)語(yu)言，采用B/S架構，提供圖(tu)形化(hua)(hua)界面操作支持(chi)，操作界面支持(chi)簡體(ti)中文。支持(chi)多數據來源輸(shu)入輸(shu)出提供表(biao)格、圖(tu)形、地圖(tu)等(deng)可視化(hua)(hua)元素展示功能(neng)(neng)，將提供以下相關功能(neng)(neng)和特性(xing)：
標準(zhun)企業報(bao)表，固定報(bao)表等。
參(can)數(shu)驅動報(bao)表(biao)，各種基于參(can)數(shu)的報(bao)表(biao)。
周期性(xing)(xing)報(bao)表，例如周報(bao)，月報(bao)，季報(bao)等(deng)，系統支持管理員(yuan)定(ding)義周期性(xing)(xing)運行，亦支持業務用戶(hu)自(zi)定(ding)義重復運行方(fang)式(shi)，用戶(hu)或(huo)管理員(yuan)可以定(ding)義輸出格式(shi)，包括(kuo)PDF，Excel，Word，PPT等(deng)各種格式(shi)；系統同時提(ti)供基于(yu)事件的觸發方(fang)式(shi)。
支持鉆取功能(neng)，提供基于事件(jian)的腳本控(kong)制能(neng)力，以滿(man)足各種復(fu)雜報表需求。
復雜(za)中國式報表(biao)，包括中國式表(biao)頭、復雜(za)布局、特(te)殊(shu)功能等各種能力。
提供(gong)豐富的圖(tu)(tu)(tu)(tu)形(xing)(xing)展現功(gong)能，支持(chi)(chi)包括餅圖(tu)(tu)(tu)(tu)、條形(xing)(xing)、線形(xing)(xing)、儀表(biao)盤、趨勢圖(tu)(tu)(tu)(tu)及各種圖(tu)(tu)(tu)(tu)形(xing)(xing)；支持(chi)(chi)Flash圖(tu)(tu)(tu)(tu)形(xing)(xing)。
支持報表導(dao)出到Excel、Word、PPT、HTML和PDF等格式，導(dao)出時可以(yi)選擇導(dao)出整(zheng)個報表還是部分(fen)內(nei)容(rong)；系統支持導(dao)出數據快(kuai)照(zhao)，以(yi)便日(ri)后審(shen)計等。
支(zhi)(zhi)持(chi)將報表導(dao)出(chu)成原生Excel，報表中(zhong)的(de)圖形（非Flash)能(neng)導(dao)出(chu)為(wei)原生Excel圖形，能(neng)夠在導(dao)出(chu)后的(de)Excel中(zhong)進一(yi)步編輯，支(zhi)(zhi)持(chi)導(dao)出(chu)Excel公式，透視表等。
提供數據(ju)導(dao)出功能，用(yong)戶能將所查看的報表中數據(ju)進行有(you)選擇的導(dao)出。
提供(gong)報表版(ban)本管理能力，為不(bu)同(tong)(tong)的執行(xing)結果(guo)保留(liu)不(bu)同(tong)(tong)的版(ban)本。
提供基于角色(se)和用戶的權限控制，管理員可以為不同(tong)的角色(se)和用戶設置相(xiang)應的功能選項(xiang)及權限。
多語言(yan)多時(shi)(shi)(shi)區(qu)支持，系統(tong)為不用(yong)語言(yan)環境(jing)用(yong)戶提(ti)供(gong)多語言(yan)支持，用(yong)戶在登錄時(shi)(shi)(shi)可以選擇時(shi)(shi)(shi)區(qu)及語言(yan)，系統(tong)將自動切(qie)換(huan)至相應(ying)的UI（僅(jin)限UI）。
