數(shù)據(jù)分析范文

時間:2023-04-10 09:17:25

導(dǎo)語:如何才能寫好一篇數(shù)據(jù)分析,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。

篇1

不久前,我與業(yè)務(wù)部的人員在茶歇閑聊中,談及到公司銷售狀況的時候,發(fā)現(xiàn)了很奇怪的現(xiàn)象。為什么不同人對同一結(jié)構(gòu)的數(shù)據(jù)分析出的結(jié)論卻大相徑庭。一個人說公司最近銷售情況震蕩嚴重,而另一個人卻說銷售情況沒有明顯波動。于是為了探其究竟,我認真聆聽了他們兩人的分析方法和參數(shù)設(shè)定。

結(jié)果發(fā)現(xiàn)原來兩個人,在橫軸時間參數(shù)不發(fā)生變化的情況下,一個人以萬級金額為縱軸參數(shù),一個人以十萬級金額為縱軸參數(shù)。縱軸以不同的銷售數(shù)值區(qū)間出現(xiàn),圖表形態(tài)以及曲線平滑度就變得完全不一樣了。這兩個的方法和分析結(jié)果雖然都正確,但是他們都沒有考慮到日銷售量范圍和實際經(jīng)營情況,如果企業(yè)日經(jīng)營規(guī)模通?;蛘呓^大時間都在萬級單位上,那么前一個人指出的“銷售起伏較大”的結(jié)論自然是有價值的,需要我們進一步的分析找尋原因,反之同理。從這個簡單的事情不難看出不客觀的分析數(shù)據(jù)而產(chǎn)生的圖表是會讓我們產(chǎn)生“心理錯覺”。企業(yè)結(jié)論性的數(shù)據(jù)分析是源于對基本數(shù)據(jù)的加工處理,當(dāng)我們在設(shè)計分析模型的時候是需要剝離我們的主觀意識,要一切從客觀事實出發(fā),設(shè)定科學(xué)符合實際的變量參數(shù),合理的劃分區(qū)間,不要讓我們被華麗的圖表而迷惑。

剛剛講的對業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確把握需要遵循客觀的經(jīng)濟行為和需求,這樣才能讓我們的數(shù)據(jù)結(jié)論更客觀,但是數(shù)據(jù)分析很多情況的誤讀并非是我們故意的,這和經(jīng)驗和技能是密不可分的,我們需要掌握更多的技能和經(jīng)驗,沒有這些技能和經(jīng)驗即便你對業(yè)務(wù)有很好的感覺和清晰的頭腦,我們也同樣得不到好的結(jié)果。所以我們不要盲目地崇拜某種數(shù)據(jù)分析方法,不要夸大數(shù)據(jù)分析模型的作用,更不要夸大數(shù)據(jù)分析案例的作用。只有適合、實用、準(zhǔn)確才是硬道理。

“啤酒與尿布”是大家耳熟能詳?shù)臄?shù)據(jù)分析案例,有人根據(jù)此案例設(shè)計更多的購物籃分析算法,也有人利用此案例進行宣講數(shù)據(jù)分析的重要。而卻忽視“啤酒與尿布”的本來?!捌【婆c尿布”是在特定的時間,店內(nèi)人員發(fā)現(xiàn)后再經(jīng)過科學(xué)的數(shù)據(jù)分析才發(fā)現(xiàn)的。而并非被“自動數(shù)據(jù)挖掘工具”給挖掘出來。

“啤酒與尿布”是典型的購物籃分析,而購物籃分析是高端應(yīng)用,高端應(yīng)用往往意味著高投入,高投入就必須有高回報,僅憑一個從海量的交易數(shù)據(jù)中挖掘出銷售額占比微不足道的“啤酒與尿布”的案例,就像我們從顧客的消費中去尋找哪種品牌的牙膏和哪種品牌的牙刷有關(guān)聯(lián)一樣,“只要有力氣拿得起牙刷的人就一定會用到牙膏”也是勿庸置疑的常識!問題很可能會出在:購物小票上用來分析的牙膏和牙刷是兩種商品(單品),而陳列在貨架上的牙膏和牙刷卻是兩個頗有規(guī)模的商品群;數(shù)十種品牌、系列、口味、功效、不同的包裝規(guī)格、不同的消耗周期、不同的單次購買數(shù)量、越來越快的產(chǎn)品更新?lián)Q代、甚至在牙膏包裝中贈送牙刷,這么多種因素的綜合交錯會大幅度地稀釋牙膏牙刷在單品層面形成“同時并且重復(fù)購買的組合”的概率,對購物小票進行遍歷分析后,很有可能會得出反常識的結(jié)論:牙膏、牙刷這兩種商品之間沒有關(guān)聯(lián)性!這樣的數(shù)據(jù)分析即使是準(zhǔn)確的,也毫無意義。打動不了追求投資回報的企業(yè)決策者。

篇2

將醫(yī)院、醫(yī)療保健組織等數(shù)字化的醫(yī)療數(shù)據(jù)以特定的格式、協(xié)議發(fā)送到醫(yī)療數(shù)據(jù)分析模塊進行分析與疾病預(yù)測.醫(yī)療數(shù)據(jù)提取模塊:該模塊由醫(yī)院電子病歷系統(tǒng)負責(zé)實現(xiàn),我們使用openEHR系統(tǒng)作為醫(yī)院電子病歷系統(tǒng),并在openEHR中實現(xiàn)醫(yī)療數(shù)據(jù)的提取功能.openEHR系統(tǒng)是一個開源、靈活的電子病歷系統(tǒng),支持HL7衛(wèi)生信息交換標(biāo)準(zhǔn).很多醫(yī)療健康組織、政府和學(xué)術(shù)科研單位都使用openEHR進行開發(fā)和科研工作.如一種基于openEHR的患者病歷數(shù)據(jù)管理模型、openEHR等許多開源的電子病歷平臺的對比與評估和基于openEHR的檔案建模等.?dāng)?shù)據(jù)交換模塊:基于Web服務(wù)的數(shù)據(jù)交換模塊使用醫(yī)療數(shù)據(jù)通信協(xié)議實現(xiàn)醫(yī)療數(shù)據(jù)分析模塊與醫(yī)療數(shù)據(jù)提取模塊的數(shù)據(jù)交換.Web服務(wù)是一個平立、松耦合的Web應(yīng)用程序.由于Web服務(wù)的跨平臺特性,許多模型與框架是基于Web服務(wù)構(gòu)建的,如基于Web服務(wù)集成分布式資源和數(shù)據(jù)流分析測試等.在本文提出的醫(yī)療數(shù)據(jù)分析模型中,使用Web服務(wù)來連接醫(yī)療數(shù)據(jù)分析模塊和醫(yī)療數(shù)據(jù)提取模塊.醫(yī)療數(shù)據(jù)提取模塊作為Web服務(wù)的服務(wù)端,實現(xiàn)的方法包括存取數(shù)據(jù)、數(shù)據(jù)預(yù)處理、序列化等,改進后的模型要求實現(xiàn)指定維度,指定屬性數(shù)據(jù)的讀?。疚奶岢龅尼t(yī)療數(shù)據(jù)分析模塊作為Web服務(wù)的客戶端,通過HTTP服務(wù)向數(shù)據(jù)提取模塊請求獲取數(shù)據(jù),并對數(shù)據(jù)進行預(yù)處理.醫(yī)療數(shù)據(jù)分析模塊:我們使用Caisis開源平臺作為醫(yī)療數(shù)據(jù)分析與疾病預(yù)測系統(tǒng)實現(xiàn)這一模塊.Caisis是基于Web的開源癌癥數(shù)據(jù)管理系統(tǒng),一些臨床醫(yī)學(xué)研究使用Caisis系統(tǒng)管理和歸檔數(shù)字顯微圖像,通過向Caisis系統(tǒng)中添加特征選擇和SVM算法,使用SVM算法對醫(yī)療數(shù)據(jù)進行分析和疾病預(yù)測,因此使用的特征選擇算法需要基于SVM,可以提高數(shù)據(jù)分析和疾病預(yù)測過程的效率和準(zhǔn)確度.

2數(shù)據(jù)分析模塊與算法

2.1SVM算法SVM算法最初是由Vapnik等人在1995年提出的一種可訓(xùn)練的機器學(xué)習(xí)算法.依據(jù)統(tǒng)計學(xué)習(xí)理論、VC維理論和結(jié)構(gòu)風(fēng)險最小化理論,從一定數(shù)目的樣本信息在學(xué)習(xí)能力和復(fù)雜度(對訓(xùn)練樣本的學(xué)習(xí)程度)中找到最佳折中,以期望獲得最好的推廣能力(或稱泛化能力).

2.2基于SVM的醫(yī)療數(shù)據(jù)分析模塊將SVM分類算法應(yīng)用到醫(yī)療數(shù)據(jù)分析模塊中,進行疾病預(yù)測.基于SVM的醫(yī)療數(shù)據(jù)分析模塊,通過數(shù)據(jù)交換模塊獲取原始組數(shù)據(jù)(患病病人醫(yī)療數(shù)據(jù)和對照組病人數(shù)據(jù)).通過特征選擇過程輸入到SVM分類器中進行訓(xùn)練,訓(xùn)練后可以對新的醫(yī)療數(shù)據(jù)進行分析預(yù)測.

3改進的醫(yī)療數(shù)據(jù)交換模塊

3.1醫(yī)療數(shù)據(jù)交換模塊在原始的醫(yī)療數(shù)據(jù)交換模塊中,數(shù)據(jù)請求原語只由4條通信原語組成.由原始醫(yī)療數(shù)據(jù)分析模型的3個模塊構(gòu)建,其中在醫(yī)療數(shù)據(jù)分析模塊與醫(yī)療數(shù)據(jù)提取模塊之間的4條通信原語包括2條請求和2條應(yīng)答.由于醫(yī)療數(shù)據(jù)的維度極大,屬性很多,但是在預(yù)測某個疾病時,只有很少的一部分屬性會對分類預(yù)測產(chǎn)生影響.這樣的全部維度的數(shù)據(jù)都需要傳輸,浪費了時間,降低了數(shù)據(jù)傳輸效率,影響了醫(yī)療數(shù)據(jù)分析模塊的算法效率.

3.2改進的醫(yī)療數(shù)據(jù)交換模塊在改進的醫(yī)療數(shù)據(jù)交換模塊中,在數(shù)據(jù)傳輸協(xié)議中增加了4條原語.在每條原語中不僅有醫(yī)療記錄條數(shù)的要求,還包括對所請求醫(yī)療數(shù)據(jù)維度和屬性的具體說明.醫(yī)療數(shù)據(jù)分析模塊先請求一小部分全部維度的數(shù)據(jù),對這小部分數(shù)據(jù)進行特征選擇.然后醫(yī)療數(shù)據(jù)分析模塊只請求特征選擇出來的對預(yù)測相關(guān)的屬性的剩余所有醫(yī)療數(shù)據(jù).最后通過SVM分類算法進行訓(xùn)練和預(yù)測.在新的醫(yī)療數(shù)據(jù)交換模塊中,大部分數(shù)據(jù)中只有小部分相關(guān)屬性被傳輸?shù)綌?shù)據(jù)分析模塊,極大地減少了數(shù)據(jù)傳輸總量,也同時增加了分析模塊預(yù)測算法的效率.

4原始模型與改進模型的對比結(jié)果

篇3

關(guān)鍵詞:實踐教學(xué) Crystal Reports 數(shù)據(jù)分析 應(yīng)用型人才

中圖分類號:G642.41 文獻標(biāo)識碼:C DOI:10.3969/j.issn.1672-8181.2013.19.087

1 實踐教學(xué)的分類

目前,高校人才培養(yǎng)目標(biāo)正在向應(yīng)用型人才方向轉(zhuǎn)移,比如:獨立學(xué)院、職業(yè)學(xué)院以及高職高專都明確提出他們的人才培養(yǎng)目標(biāo)就是滿足社會需要的實用型人才,而實用型人才培養(yǎng)的重要環(huán)節(jié)是加強實踐教學(xué),學(xué)生通過大量的實驗活動提升自己的理論與實際操作水平。

一般認為,實踐教學(xué)由基礎(chǔ)型、設(shè)計型和綜合應(yīng)用創(chuàng)新型等三類各具特色并逐層深化的實踐教育方式構(gòu)成一個完整的體系。

1.1 基礎(chǔ)型實踐教學(xué)

基礎(chǔ)型實踐教學(xué)由基礎(chǔ)課及專業(yè)基礎(chǔ)課中包含的演示型、基礎(chǔ)型和設(shè)計型實驗環(huán)節(jié)組成,目標(biāo)在于鞏固和提高學(xué)生學(xué)習(xí)的理論知識。

1.2 設(shè)計型實踐教學(xué)

設(shè)計型實踐教學(xué)由專業(yè)課中的綜合型試驗或獨立實踐課程組成,目的在于進一步提高學(xué)生的動手能力、理論聯(lián)系實踐的能力及創(chuàng)新能力。該類實驗采用在教師指導(dǎo)下,學(xué)生自主選題、自主設(shè)計、集體交流,鼓勵創(chuàng)新和團隊協(xié)作等新型實驗教學(xué)方法,使學(xué)生的實踐能力有跨越性的突破。

1.3 綜合應(yīng)用與創(chuàng)新型實踐教學(xué)

綜合應(yīng)用與創(chuàng)新型實踐教學(xué)以學(xué)生參與各項校內(nèi)外社會活動為主,學(xué)生可隨不同的指導(dǎo)老師,按興趣分組,按能力分工,著眼于學(xué)生實踐能力的綜合培養(yǎng),著眼于潛力個性開拓,著眼于創(chuàng)新精神的激勵。努力培養(yǎng)學(xué)生掌握企業(yè)管理和工程設(shè)計的基本方法,實現(xiàn)學(xué)生從具備一定實驗?zāi)芰Φ骄哂休^高實戰(zhàn)能力的跨越。

2 Crystal Reports 系統(tǒng)

2.1 Crystal Reports簡介

Crystal Reports 是SAP公司開發(fā)的、功能強大、動態(tài)和可操作的報表解決方案,它能讀取多種數(shù)據(jù)源,在網(wǎng)絡(luò)環(huán)境下設(shè)計、開發(fā)可視化報表,嵌入到企業(yè)ERP系統(tǒng)或普通應(yīng)用系統(tǒng)中。在Crystal Reports的幫助下,用戶能夠制作企業(yè)OLAP在線分析,進行企業(yè)業(yè)務(wù),比如財務(wù)、生產(chǎn)和銷售管理的在線分析,以便指導(dǎo)企業(yè)經(jīng)營工作,全球很多大公司都在選用這個軟件。

2.2 Crystal Reports特點

2.2.1 豐富的呈現(xiàn)形式

多種報表樣式:普通報表、交叉表和多維報表;

20多種圖形:條形圖、餅圖、曲線圖、甘特圖、雷達圖等,另外提供常用的報表模板。

2.2.2 廣泛的數(shù)據(jù)源連接

提供超過35個數(shù)據(jù)驅(qū)動用于訪問任何相關(guān)數(shù)據(jù)源,支持在一份報表中整合多個數(shù)據(jù)源的能力,包括:ODBC、ADO等數(shù)據(jù)存儲方式。

2.2.3 可視化設(shè)計環(huán)境

通過拖放元素組成報表,設(shè)置標(biāo)題,自定義變量,整合數(shù)據(jù)庫字段等,有排序?qū)<?、分組專家、匯總專家和圖標(biāo)專家等向?qū)А_€有強大的公式語言:160多個系統(tǒng)函數(shù),也可以自定義需要的函數(shù)。如圖1所示。

圖1 Crystal Reports的可視化設(shè)計界面

2.2.4 多種文件導(dǎo)出格式

如:Word、Excel、HTML、XML、PDF、RTF、CSV、TXT等,方便將信息遞交給不同需求的用戶。

2.3 學(xué)習(xí)Crystal Reports軟件的好處

對于信管專業(yè)的學(xué)生,培養(yǎng)目標(biāo)包括三個方面:第一,掌握計算機科學(xué)和管理學(xué)的基本知識和技能;第二,具備進行信息系統(tǒng)分析、設(shè)計的能力;第三,能進行計算機知識和管理知識的交叉復(fù)合應(yīng)用,能夠在專業(yè)應(yīng)用上有所創(chuàng)新。根據(jù)專業(yè)培養(yǎng)目標(biāo),要求信管專業(yè)的學(xué)生成為進行軟件開發(fā),進行OLTP在線事務(wù)處理和OLAP在線分析處理的應(yīng)用型人才。

在企事業(yè)單位的數(shù)據(jù)處理過程中,通常利用大型數(shù)據(jù)庫和大型軟件系統(tǒng)來完成相關(guān)任務(wù),同時需要進行應(yīng)用軟件的二次開發(fā),比如ERP軟件SAP、Oracle應(yīng)用于企業(yè)后需要定制各種財務(wù)、生產(chǎn)和銷售分析報表,SAP、Oracle的ERP系統(tǒng)本身自帶的報表不可能滿足所有用戶的所有需求,因此這些大型的標(biāo)準(zhǔn)化軟件需要系統(tǒng)實施人員進行再開發(fā),而Crystal Reports由于具有上述優(yōu)點而成為最好的開發(fā)工具,所以可以選擇Crystal Reports對信息管理和電子商務(wù)專業(yè)的同學(xué)進行相關(guān)的系統(tǒng)訓(xùn)練以適應(yīng)社會發(fā)展的需要。

3 利用Crystal Reports 進行實踐教學(xué)的方法

Crystal Reports既是一個在線分析軟件也是一個報表開發(fā)工具,因此,可認為屬于程序設(shè)計科目,我們把它作為理論課程《數(shù)據(jù)分析與挖掘》的實驗部分介紹給信息管理和電子商務(wù)專業(yè)的學(xué)生是因為這門課程的主要內(nèi)容是介紹數(shù)據(jù)庫的OLAP在線分析和數(shù)據(jù)倉庫的數(shù)據(jù)挖掘,在進行OLAP分析中,需要利用多維報表工具,而Crystal Reports可以制作多維報表。

從Crystal Reports的特點以及它的應(yīng)用范圍來看,可以把利用它進行的實踐活動歸類為設(shè)計型實踐和綜合應(yīng)用與創(chuàng)新型實踐相結(jié)合的實驗項目,所以對同學(xué)們要求按照“規(guī)范設(shè)計,鼓勵創(chuàng)新”的原則進行實驗活動。

由于《數(shù)據(jù)分析與挖掘》課程的理論性強、內(nèi)容多、難度大,所以相關(guān)實驗采取學(xué)生分組進行,每個小組2-3人,明確小組中每人的職責(zé),比如:數(shù)據(jù)收集、OLAP報表制作、結(jié)果分析、報告撰寫等工作內(nèi)容,要求他們齊心協(xié)力、通力合作,首先把實驗內(nèi)容和分工情況匯報給實驗指導(dǎo)老師,經(jīng)過實驗老師的確認同意后,學(xué)生才能繼續(xù)后面的實驗。實驗時間除了學(xué)院實驗室安排的課時(一般在實驗專周中的15學(xué)時),還可以在實驗課后用自己的電腦完成,完成后撰寫5000字左右的實驗報告,把實驗過程完整地記錄下來,并對實驗提出自己的建議,以便實驗老師不斷完善實驗?zāi)J?、改善實驗指?dǎo),使之更符合社會發(fā)展和培養(yǎng)目標(biāo)的需要。

由于Crystal Reports是《數(shù)據(jù)分析與挖掘》課程的實驗項目,所以讓同學(xué)們接觸實際應(yīng)用案例是首先必須考慮的問題,我們采取鼓勵同學(xué)廣開門路,挖掘數(shù)據(jù)來源,實行一個案例一個小組,找不到合適數(shù)據(jù)源的小組可以共享其他小組數(shù)據(jù)的方法解決數(shù)據(jù)源和案例問題,經(jīng)過同學(xué)們的努力,收集了10多個企業(yè)實際運行數(shù)據(jù),由于數(shù)據(jù)和信息是企業(yè)的生命,也是企業(yè)嚴加保護的資源,一般企業(yè)不愿提供,因此我們只要求企業(yè)過去10年至過去5年的部分數(shù)據(jù),并對數(shù)據(jù)加以刪減修改變更,保證企業(yè)的數(shù)據(jù)不泄密,同學(xué)們收集到的數(shù)據(jù)類型主要有Excel、Access、SQL Server以及Oracle等,這些類型的數(shù)據(jù)都可以被Crystal Reports讀取,但是讀取之前必須進行ETL的操作,即對數(shù)據(jù)進行抽取、轉(zhuǎn)換和載入數(shù)據(jù)庫,以規(guī)范數(shù)據(jù)格式,完成數(shù)據(jù)標(biāo)準(zhǔn)化操作。

實驗教師在整個實驗活動中除了在實驗室向同學(xué)們演示Crystal Reports的使用方法外,還必須跟蹤同學(xué)們的實驗進度,加強對實驗過程的管理,要求同學(xué)們分組用PPT演示稿上臺介紹自己的實驗情況,讓全體同學(xué)分享他們的成果,實驗老師對同學(xué)們完成的實驗報告要進行點評,讓他們知道自己那些地方做得好,那些地方有欠缺,以便今后改進提高。

4 取得的成果及對實驗教學(xué)的思考

在經(jīng)過實驗專周的活動后,同學(xué)們完成了基于企業(yè)經(jīng)營業(yè)務(wù)的在線分析OLAP實驗,分組提交了各種報告,如圖2所示。

圖2 學(xué)生的OLAP實驗報告

從這些報告中,我們可以看出大部分同學(xué)完成情況良好,制作的圖表美觀大方,文本格式標(biāo)準(zhǔn)規(guī)范,大家通過實驗理解了數(shù)據(jù)分析與挖掘的基本概念,學(xué)會了Crystal Reports的操作方法,能夠利用軟件工具讀取各種數(shù)據(jù)源,進行數(shù)據(jù)的OLAP在線分析,按照需要制作標(biāo)準(zhǔn)報表、交叉報表和多維報表,這個過程相當(dāng)于對應(yīng)用軟件系統(tǒng)進行了二次開發(fā),開發(fā)的結(jié)果為企業(yè)的經(jīng)營決策提供重要的參考意見,達到了預(yù)期目標(biāo)。

通過這些實驗項目的實施,我們感覺到在實驗教學(xué)應(yīng)該注意如下幾點:

第一,教學(xué)思想具備理念新穎性。

教學(xué)模式的構(gòu)建受教學(xué)思想的支配,教學(xué)思想是教學(xué)模式的靈魂和核心,好的教學(xué)模式必須以先進的教學(xué)思想為指導(dǎo),體現(xiàn)先進的教學(xué)理念。實施新穎的教學(xué)思想可以通過向同學(xué)們開出現(xiàn)代的、先進的學(xué)習(xí)科目來實現(xiàn),比如:數(shù)據(jù)倉庫、數(shù)據(jù)挖掘等。

第二,教學(xué)目標(biāo)強調(diào)技術(shù)實用性。

在當(dāng)今信息技術(shù)條件下,應(yīng)用性人才必須能夠?qū)⑿畔⒓夹g(shù)直接應(yīng)用于工作實踐中。實踐教學(xué)的目的就是培養(yǎng)學(xué)生具備這樣的應(yīng)用能力,而不是簡單地對理論的驗證或?qū)夹g(shù)的一般了解,我們向同學(xué)們介紹Crystal Reports就是出于提高他們技術(shù)能力的需要。

第三,教學(xué)內(nèi)容充分考慮社會適應(yīng)性。

應(yīng)用型人才培養(yǎng)是以某一技術(shù)領(lǐng)域或職業(yè)崗位的能力培養(yǎng)為核心。因此,實踐教學(xué)的內(nèi)容必須滿足社會適應(yīng)性的能力要求,同時還要提供適應(yīng)學(xué)生可持續(xù)發(fā)展需要的能力和素質(zhì)。在內(nèi)容體系的組織上,實踐教學(xué)與理論教學(xué)必須相互滲透,理論知識需要通過實踐再認識,并通過實踐課程來實現(xiàn)。

第四,教學(xué)手段突出技術(shù)先進性。

當(dāng)代電子信息技術(shù)的快速發(fā)展,使得教育技術(shù)手段得到極大的提高,先進的教學(xué)技術(shù)對教學(xué)模式的改革起到了直接的推動作用,多媒體技術(shù)的普及,使仿真訓(xùn)練等更多地應(yīng)用于實踐教學(xué)。比如Cisco公司的Packet Tracer網(wǎng)絡(luò)模擬仿真軟件就是一個非常好的例子,在我們的教學(xué)過程中,我們也采用了這個軟件向同學(xué)們介紹計算機網(wǎng)絡(luò)知識,效果非常顯著。

總之,實踐教學(xué)需要走不斷改革創(chuàng)新之路,滿足社會對應(yīng)用型人才的需求,開辟實踐教學(xué)的新途徑,找出新辦法,培養(yǎng)合格的社會需要、國家需要的應(yīng)用型、復(fù)合型人才。

篇4

1. 行業(yè)資金流向

分析:今天只有白色家電、有色冶煉加工、房地產(chǎn)開發(fā)和醫(yī)藥商業(yè)四個行業(yè)呈現(xiàn)出資金凈流入狀態(tài),以二三線的藍籌股和白馬股為主。在早盤上證指數(shù)沖高的過程中,起到了一定的引領(lǐng)作用,但受制于整體市場情緒的低迷,下午短線資金紛紛出逃,最終只有白色家電板塊的凈流入量超過了1億。

今天資金流出前五的分別是半導(dǎo)體及元件、光學(xué)光電子、通信設(shè)備、計算機應(yīng)用和證券板塊,其中半導(dǎo)體板塊連續(xù)兩天成為資金流出最多的板塊,表明前期獲利資金在持續(xù)性地進行獲利了結(jié)。而通信設(shè)備板塊則是受到消息面上的影響,蘋果下修明年首季銷量預(yù)估,減幅超預(yù)期,從而使得蘋果產(chǎn)業(yè)鏈相關(guān)個股普遍被資金拋售。

2. 港資動向

因圣誕假期,香港股市今天休市,港資無交易

3. 賺錢效應(yīng)

 分析:今日上漲家數(shù)720家,下跌家數(shù)2422家,漲跌比為0.30。漲停板家數(shù)25家,扣除5家未開板新股后,自然漲停板家數(shù)20家,其中醫(yī)藥類次新股5家,非醫(yī)藥類次新股5家,細胞免疫治療概念1家,其他類9家。

從中可以看出,具有板塊性效應(yīng)的主要是醫(yī)藥股和次新股,尤其是其中的疊加品種,這與上周五次新+天然氣的模式可謂是如出一轍,在目前相對弱勢的情況下,資金還是更青睞一些疊加熱點概念的小盤次新股。

昨日漲停板溢價為2.38%,與上個交易日基本持平,強勢股的持續(xù)性還是很一般,但由于個股漲跌比出現(xiàn)了明顯的下降,所以整體的賺錢效應(yīng)是降低的,操作難度則是相對的有所提升。

篇5

不可否認,現(xiàn)在已經(jīng)是大數(shù)據(jù)的時代了,最近幾年,大數(shù)據(jù)發(fā)展趨勢蓬勃向上,吸引了社會各界的眼光,大家都看好大數(shù)據(jù),想從大數(shù)據(jù)中獲得商機和財富。大數(shù)據(jù)也沒讓大家失望,在科研、教育、醫(yī)療、政府、經(jīng)濟等領(lǐng)域都產(chǎn)生了深遠影響。據(jù)統(tǒng)計,目前大數(shù)據(jù)所形成的市場規(guī)模在51億美元左右,而到2017年,此數(shù)據(jù)預(yù)計會上漲到530億美元。

人們通過收集、整理相關(guān)領(lǐng)域方方面面的數(shù)據(jù),并對其進行分析挖掘,找到凌亂紛繁的數(shù)據(jù)背后的聯(lián)系,進而從中獲得有價值的信息,最終衍化出一種新的商業(yè)模式。

但是,面對紛繁復(fù)雜的數(shù)據(jù),不是所有人都能有效地對其進行分析,并獲取其背后信息所代表的價值的。那么,有沒有什么辦法讓普通人也能輕易讀懂并使用大數(shù)據(jù)呢?

需求決定市場,隨著非科研人員對大數(shù)據(jù)需求的增大,很多大數(shù)據(jù)領(lǐng)域的創(chuàng)業(yè)公司不斷涌現(xiàn),他們致力于將大數(shù)據(jù)以一種簡單直觀地方式呈現(xiàn)給用戶,讓用戶能更好地“消化”這些數(shù)據(jù)。

Origami Logic就是這樣一家基于大數(shù)據(jù)的創(chuàng)業(yè)公司,它面向營銷人員,主要通過數(shù)據(jù)可視化、自助分析等方式,將大數(shù)據(jù)“簡單化”,讓即使不了解大數(shù)據(jù)的營銷人員也能根據(jù)OrigamiLogic提供的分析結(jié)果做出更有效的營銷策略。

可視化是大數(shù)據(jù)簡單化的有效方式,也是創(chuàng)業(yè)公司常用方法?!稊?shù)據(jù)可視化之美》一書中指出,可視化是將數(shù)據(jù)以圖形表示,能夠一目了然地揭示數(shù)據(jù)中的復(fù)雜信息,同時通過對細節(jié)的翔實展示,能夠使受眾有效地產(chǎn)生對數(shù)據(jù)的洞察和新的理解。可視化可以幫助人們突破大數(shù)據(jù)技術(shù)中人的瓶頸。

通過Origami Logic,營銷人員可以通過將CRM、社交媒體、郵件營銷和調(diào)查報告等不同平臺的數(shù)據(jù)匯合整理在一起,并將冗雜的數(shù)據(jù)(包括郵件、文檔、圖片、音頻等)進行有效分析處理,使其簡單化、直觀化、視覺化,讓它變成普通的用戶都能看得懂的東西,然后依據(jù)這些統(tǒng)計分析結(jié)果來衡量整個營銷效果,并做進一步的營銷活動規(guī)劃。Origami Logic把“大數(shù)據(jù)”真正變成一盤生意。

“當(dāng)今的營銷人員要根據(jù)社交網(wǎng)絡(luò)、移動平臺、搜索引擎和電子郵件等方方面面進行匯總分析,從而再制定相關(guān)的營銷策略。他們對這些數(shù)據(jù)都是非常陌生的,而且難以捕捉數(shù)據(jù)背后的含義?!監(jiān)rigami Logic聯(lián)合創(chuàng)始人兼CEO Opher Kahane表示,“Origami Logic能夠幫助他們改善這種狀況,從而提高他們的營銷能力。并且這個平臺能夠讓營銷人員將盡可能多的營銷工具整合到一起,并把不同營銷工具所提供的數(shù)據(jù)變成自家平臺的資源中心,從而達到取代它們的目的。”

篇6

汽車制動性能直接關(guān)系到交通安全,重大交通事故往往與汽車制動性能差有關(guān)。制動距離長,制動側(cè)滑,制動跑偏等都會造成交通事故。汽車在制動過程中人為地使汽車受到一個與其行駛方面相反的外力,汽車在這一外力作用下迅速地降低車速以至停車,這個外力稱為汽車的制動力。制動力是評價汽車制動性能的基本因素,制動力測量是機動車安全性能檢測的重要組成部分。制動力便于在制動試驗臺上測量,通過制動力檢測不僅可以測得各車輪制動力的大小,還可以了解汽車前、后軸制動力合理分配,以及各軸兩側(cè)車輪制動力平衡狀況。并同時測得制動協(xié)調(diào)時間,能較全面地控測車輛的制動性能。

一、汽車制動性能檢驗方式及檢驗參數(shù)

在國標(biāo)(GB7258機動車運行安全技術(shù)條件)及(GB18565營運車輛綜合性能要求和檢驗方法)中,對汽車制動系提出了系統(tǒng)的技術(shù)要求,并規(guī)定了汽車制動性能的檢測項目、檢測方法及評價標(biāo)準(zhǔn)。汽車性能檢測站在進行汽車制動性能檢測時,主要檢測汽車的制動效能和制動時的方向穩(wěn)定性。根據(jù)檢驗參數(shù)和檢驗方式的不同,制動性能檢驗可分為臺試和路試兩種。臺試主要檢測行車制動力、制動力平衡、車輪阻滯力、駐車制動力、制動協(xié)調(diào)時間;路試主要檢測制動距離、制動減速度、制動協(xié)調(diào)時間、制動時的方向穩(wěn)定性以及駐車制動。汽車制動試驗臺根據(jù)其結(jié)構(gòu)型式不同,可分為滾筒式汽車制動試驗臺和平板式汽車制動試驗臺。由于具有占地面積小,使用安全性高等優(yōu)點目前汽車檢測站廣泛采用滾筒反力式汽車制動試驗臺。

通過汽車制動試驗臺進行制動性能檢測不僅可以測得各車輪的制動力大小,還可以了解汽車前、后軸制動力的分配情況,以及同一軸兩側(cè)車輪的制動力平衡狀況。根據(jù)制動力的大小,可評價車輛的制動效能;根據(jù)左、右車輪制動力的平衡情況,可衡量車輛制動時的方向穩(wěn)定性。在實際檢測過程中,我們發(fā)現(xiàn),經(jīng)常出現(xiàn)從檢測滾筒中“爬出”的現(xiàn)象。當(dāng)在非檢測軸車輪后加楔塊給車輛一定的縱向約束時,這種現(xiàn)象消失或程度減輕,這時制動力實測值增大(接近實際情況)。上述現(xiàn)象說明:用目前的反力式制動試驗臺檢測車輛制動力時,特別是輕型車輛制動力檢測時,因?qū)Ψ菧y試輪不施加水平約束(忽略滾動阻力的影響),測試時使汽車以較快的速度從滾筒中后退,或因滾筒與被測輪輪胎間的附著力過小而使車輪滑轉(zhuǎn),結(jié)果造成能夠測得的制動力偏低。且車輛為靜態(tài),未能反映車輛動態(tài)軸荷的變化,不能如實的反映車輛真實的制動水平。

原因分析

一、根據(jù)滾筒式制動力檢測臺的工作原理及特點分析;

1.安置角影響檢測結(jié)果,同一汽車在具有不同滾筒直徑和滾筒心距的檢測設(shè)備上檢測時,檢測數(shù)據(jù)會產(chǎn)生較大差異。

2.滾筒與輪胎之間的附著系數(shù)滬對檢測結(jié)果影響很大。當(dāng)附著系數(shù)低時,將測不出車輪可以達標(biāo)的制動能力。

3.車軸所受的水平約束力,直接影響檢測的結(jié)果。

4.車位不正對檢測結(jié)果的影響,車位不正時,在進行制動檢測過程中,必然會使左右車輪的安置角產(chǎn)生差異,產(chǎn)生附加的左、右輪制動力之差,使汽車制動方向穩(wěn)定性的判斷失真。

5.其它車輪制動效能對被測車輪亦有影響。

6.由于輪胎與滾筒之間的彈性變形、懸架等的彈性變形等大大影響了制動力的增長速率,加之制動力在向檢測傳感器傳遞過程中滯后的影響,使測得制動協(xié)調(diào)時間遠大于被測車輪的實際制動協(xié)調(diào)時間。因此,目前用滾筒試驗臺無法準(zhǔn)確地測出制動協(xié)調(diào)時間。

二、汽車制動性能檢測中存在的問題

1.檢測設(shè)備的局限性

不同的制動性能檢測設(shè)備各有其特點,且存在一定的局限性。以平板式制動試驗臺和滾筒式制動試驗臺為例加以說明。

1. 1 整車的運動狀態(tài)不一致

行駛的車輛在制動過程中做減速運動,因而汽車的質(zhì)量會發(fā)生向前軸轉(zhuǎn)移,而在滾筒制動試驗臺上車輛是靜止不動的,車輛質(zhì)量轉(zhuǎn)移的現(xiàn)象不會出現(xiàn),這樣會形成靜態(tài)檢測與動態(tài)實際制動之間的差異性。平板制動試驗臺是憑借汽車在測試平板上實施緊急制動過程來測定汽車前后制動力的,是動態(tài)檢測,因而符合汽車制動的實際過程,容易獲得汽車真實制動檢測結(jié)果。特別是對裝有ABS防抱死制動系統(tǒng)的車輛檢測更為有效。

1. 2 車輪的受力狀況不一致

車輪在路面運行中,只是輪心下方的一小塊面積與地面接觸,而在滾筒試驗臺上的車輪由于輪胎氣壓、外徑尺寸等問題,導(dǎo)致車輪受力狀況與實際制動時的受力狀況不一致,直接影響檢測結(jié)果。平板式制動檢測設(shè)備不存在“安置角”問題,測試時車輪的受力狀況接近于實際制動時的受力狀況。

1. 3 測試時機不一致

車輛在制動過程中前后橋是幾乎同時作用的,但滾筒式制動試驗臺必須分別對前后橋進行制動測試。這樣的測試結(jié)果能反映前后橋的同步情況與制動力的分配,對裝有比例閥車輪的制動測試更為適用。

2 滾筒制動試驗臺檢測常見問題

2. 1 被測車輪抱死滑磨

被測車輪停在滾筒上,滾筒帶動車輪旋轉(zhuǎn),當(dāng)對被測車輪采取制動時,車輛的制動力便傳遞給滾筒。隨著制動力的增大,當(dāng)達到車輪與滾筒間的附著力時,車輪就會抱死在滾筒上打滑,測試到的制動力達到最大。車輪制動力再增大,測試到的制動力不變。由此可見,所能檢測到的最大制動力與軸荷、設(shè)備結(jié)構(gòu)和附著系數(shù)有關(guān)。

篇7

關(guān)鍵詞:大數(shù)據(jù);數(shù)據(jù)倉庫;數(shù)據(jù)分析;校園卡;教務(wù)

中圖分類號:G434 文獻標(biāo)志碼:B 文章編號:1673-8454(2015)10-0013-03

隨著大數(shù)據(jù)時代的到來,各行各業(yè)都在利用大數(shù)據(jù)推動本領(lǐng)域的發(fā)展。常熟理工學(xué)院自2009年開展教育信息化建設(shè)以來,在數(shù)據(jù)分析方面進行了不斷地探索與實踐,目前廣泛應(yīng)用于教學(xué)和管理中。

一、數(shù)據(jù)分析的必要性和可行性

高校內(nèi)部一般都建有:教務(wù)系統(tǒng)、科研系統(tǒng)、學(xué)工管理系統(tǒng)、人事管理系統(tǒng)、資產(chǎn)管理系統(tǒng)等獨立業(yè)務(wù)系統(tǒng)。這些系統(tǒng)都各自記錄著學(xué)校方方面面的數(shù)據(jù),卻都靜靜地躺在服務(wù)器硬盤里,猶如埋藏在地下的金礦,不能為高校全局決策提供支撐。

數(shù)據(jù)分析的目的就是要讓數(shù)據(jù)發(fā)聲,通過直觀的數(shù)據(jù)圖表來為高校管理提供輔助決策。例如:對教師的專業(yè)與學(xué)校開設(shè)專業(yè)的統(tǒng)計分析可以為人才引進提供參考;對學(xué)生的校園卡使用記錄和校內(nèi)上網(wǎng)認證記錄結(jié)合起來,可以為判斷學(xué)生的行為指明方向;對各二級學(xué)院的資產(chǎn)數(shù)據(jù)統(tǒng)計分析有助于學(xué)校對二級學(xué)院進行成本核算。

二、數(shù)據(jù)倉庫的建立

數(shù)據(jù)庫是數(shù)據(jù)分析的源頭,數(shù)據(jù)倉庫的建立是數(shù)據(jù)分析的基礎(chǔ)。

建設(shè)過程中,首先要統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),只有準(zhǔn)確的數(shù)據(jù)才是有價值的,如果各系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,就會造成不準(zhǔn)確的數(shù)據(jù)分析結(jié)果,也就無法為高校管理提供真實有效的統(tǒng)計數(shù)據(jù);

其次要建立公共數(shù)據(jù)平臺,公共數(shù)據(jù)平臺是指實現(xiàn)校園內(nèi)各種信息系統(tǒng)的互通互連和數(shù)據(jù)共享,包括多個系統(tǒng)業(yè)務(wù)數(shù)據(jù)集中存儲、備份、數(shù)據(jù)共享和數(shù)據(jù)管理的公共平臺,為學(xué)校各應(yīng)用系統(tǒng)提供基礎(chǔ)數(shù)據(jù);

三是要規(guī)范數(shù)據(jù)流程,把各業(yè)務(wù)系統(tǒng)中形形的數(shù)據(jù)按標(biāo)準(zhǔn)定期抽取到學(xué)校公共數(shù)據(jù)平臺中。確保任何業(yè)務(wù)系統(tǒng)的添加和修改不影響其他系統(tǒng)的正常運行,同時新建應(yīng)用系統(tǒng)應(yīng)建立在統(tǒng)一的數(shù)據(jù)規(guī)范基礎(chǔ)和統(tǒng)一身份認證基礎(chǔ)上,調(diào)用公共數(shù)據(jù)平臺的基礎(chǔ)數(shù)據(jù)(如部門、教工、學(xué)生等基礎(chǔ)信息),應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)也應(yīng)成為公共數(shù)據(jù)平臺的基礎(chǔ)數(shù)據(jù),可供數(shù)據(jù)平臺共享訪問。確保提供反映學(xué)校全面情況的數(shù)據(jù)信息,為整個學(xué)校提供決策支持所需的數(shù)據(jù)信息,為今后應(yīng)用系統(tǒng)的建設(shè)和信息服務(wù)奠定良好的數(shù)據(jù)基礎(chǔ)。

圖1為數(shù)據(jù)架構(gòu)圖,最底層的是各業(yè)務(wù)系統(tǒng),他們產(chǎn)生的數(shù)據(jù)按編碼標(biāo)準(zhǔn)經(jīng)過抽取、轉(zhuǎn)換、加載到數(shù)據(jù)中心,數(shù)據(jù)中心再按需要把相關(guān)數(shù)據(jù)同步給相應(yīng)的應(yīng)用數(shù)據(jù)庫或各數(shù)據(jù)集市,最后形成各類主題數(shù)據(jù)分析或綜合決策系統(tǒng)。

三、基于數(shù)據(jù)倉庫的數(shù)據(jù)分析

在統(tǒng)一數(shù)據(jù)倉庫的基礎(chǔ)上,我們利用數(shù)據(jù)倉庫技術(shù)(ETL、OLAP、REPORT)和數(shù)據(jù)挖掘技術(shù),對多種數(shù)據(jù)集市進行數(shù)據(jù)分析,建立了校情綜合統(tǒng)計分析系統(tǒng)。該系統(tǒng)從學(xué)?;厩闆r、教職工信息、學(xué)生信息、教學(xué)信息、科研信息、資產(chǎn)與設(shè)備信息、圖書資料信息與師生消費等方面進行統(tǒng)計分析,為學(xué)校管理提供輔助決策支撐數(shù)據(jù)。

該系統(tǒng)從學(xué)校全局出發(fā),通過多元主題展開分析,以文字、報表、圖表等多種形式展現(xiàn)分析成果。

該系統(tǒng)的推出實現(xiàn)了教學(xué)質(zhì)量、學(xué)生學(xué)習(xí)、生活行為等各種信息的監(jiān)控與分析,對高校資源配置優(yōu)化、提高高校管理科學(xué)化等方面具有不可估量的重要意義。這里筆者將以校園卡和教務(wù)數(shù)據(jù)分析功能為例進行闡述。隨著校園卡在校園生活中使用范圍的日益擴大,在應(yīng)用過程中產(chǎn)生了大量數(shù)據(jù)。校園卡僅僅一年的交易數(shù)據(jù)就有大約1000萬條記錄。

校園卡數(shù)據(jù)分析主要實現(xiàn)以下五大類的分析功能:

(1)各時間段消費情況分析

①從“月、季度、半年、年”的角度來查詢消費總額、消費用戶數(shù)和人均消費等,反映出用戶消費支出的趨勢,也可反映出物價的變化情況。

②從“幾點幾分”的角度查詢消費人數(shù)可反映用戶在時間點上的消費習(xí)慣,對于各營業(yè)部門來說可以合理地調(diào)整工作時間、工作人員等,以加強服務(wù)。還可根據(jù)教職工就餐時間點來分析他們是否嚴格遵守學(xué)校作息時間。

③從“早、中、晚”的角度統(tǒng)計分析學(xué)生早餐、中餐、晚餐的就餐率。

(2)各類消費人群消費情況分析

①對于學(xué)生工作管理層來說,從“個人、班級、院系”的角度來查詢消費金額作為發(fā)放貧困補助的依據(jù)。

②通過查詢一個時間周期內(nèi)(三天)學(xué)生消費人數(shù),起到了解學(xué)生是否在校的危機預(yù)警作用。

③從學(xué)生所屬院系、專業(yè)、年級等角度來查詢消費人數(shù)、消費金額和分布情況。

④從學(xué)生性別、來源地區(qū)(省、市、區(qū))、年齡等人的自然屬性來查詢消費人數(shù)、消費金額和分布情況。

⑤分析教職工的消費水平。

(3)各營業(yè)單位消費情況分析

從各個營業(yè)單位角度來查詢校園用戶消費人數(shù),消費金額和分布情況。

(4)各交易類型消費情況

從消費類型角度來查詢用餐、購物、上網(wǎng)、上機、水電消費等情況。

(5)工作站、終端個數(shù)統(tǒng)計

為直觀反映上述消費數(shù)據(jù),我們除用表格形式將分析結(jié)果展現(xiàn)在用戶終端外,還提供了柱狀圖、餅圖、曲線圖、點圖等形式來展現(xiàn)。圖2展示了我校2010年至2014年學(xué)生早、中、晚三餐平均價格,呈逐年穩(wěn)步上升狀態(tài),這給餐飲部門提供準(zhǔn)確統(tǒng)計數(shù)據(jù)的同時,也穩(wěn)定了學(xué)生就餐消費水平的承受心理。

高校教學(xué)信息化建設(shè)積累了豐富的業(yè)務(wù)數(shù)據(jù),根據(jù)需求,教務(wù)數(shù)據(jù)分析功能主要包括三大類:教學(xué)任務(wù)、學(xué)生成績和教學(xué)評價。圖3為教務(wù)數(shù)據(jù)分析數(shù)據(jù)源視圖,圍繞教師的教學(xué)工作量、學(xué)生取得的成績以及學(xué)生對教師的評價等,我們做了一系列的報表。例如:教學(xué)場地信息、學(xué)生情況、任課教師情況、各學(xué)期教學(xué)任務(wù)情況、成績信息、教學(xué)評價、歷年各專業(yè)招生人數(shù)、各學(xué)院歷年教學(xué)情況、各學(xué)院歷年學(xué)生對教師評價。

另外,為滿足各二級學(xué)院要求,做了學(xué)業(yè)預(yù)警方面相關(guān)報表,各二級學(xué)院可根據(jù)年級、專業(yè),通過總學(xué)分排行、課程門數(shù)排行來關(guān)注排在后面的學(xué)生情況。

數(shù)據(jù)分析表明,教師平均教學(xué)任務(wù)逐年增多,教師總體比較年輕,平均年齡男教師比女教師高,年齡在30-39之間的教師平均課時最多。管理學(xué)院歷年招生數(shù)比其它學(xué)院明顯高出很多,其中財務(wù)管理專業(yè)的學(xué)生數(shù)百分比最高。我校學(xué)生的成績也完全符合正態(tài)分布曲線要求。

四、結(jié)束語

大數(shù)據(jù)分析是一種發(fā)展趨勢,我們目前也僅僅就單項主題進行了逐個分析,如果把這些主題串起來,進行關(guān)聯(lián)分析,將會得出更有趣更有價值的結(jié)果,這也是將來我們努力的方向。

參考文獻:

[1]戴紅芳,馮翔,先曉兵等.商業(yè)智能在校園一卡通中的研究與實踐[J].微電子學(xué)與計算機,2012,29(7):175-179.

[2]戴紅芳.基于多維數(shù)據(jù)模型的校園卡數(shù)據(jù)分析[D].上海:華東理工大學(xué),2011.

篇8

關(guān)鍵詞:告警數(shù)據(jù) Hadoop Spark

1 引言

隨著電信網(wǎng)絡(luò)的不斷演進,全省數(shù)據(jù)網(wǎng)、交換網(wǎng)、接入網(wǎng)設(shè)備單月產(chǎn)生告警原始日志近億條。以上告警通過網(wǎng)元網(wǎng)管、專業(yè)綜合網(wǎng)管、智能網(wǎng)管系統(tǒng)[1]三層收斂,監(jiān)控人員每月需處理影響業(yè)務(wù)或網(wǎng)絡(luò)質(zhì)量的告警事件為20萬條,但一些對網(wǎng)絡(luò)可能造成隱患的告警信息被過濾掉。如何從海量告警數(shù)據(jù)中獲取與網(wǎng)絡(luò)性能指標(biāo)、運維效率相關(guān)的有價值的數(shù)據(jù),對于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫架構(gòu)而言,似乎是一個不可能完成的任務(wù)。

在一般告警量情況下,ORACLE數(shù)據(jù)處理能力基本可以滿足分析需求,但當(dāng)告警分析量上升到億級,如果采用傳統(tǒng)的數(shù)據(jù)存儲和計算方式,一方面數(shù)據(jù)量過大,表的管理、維護開銷過大,要做到每個字段建索引,存儲浪費巨大;另一方面計算分析過程耗時過長,無法滿足實時和準(zhǔn)實時分析需求。因此必須采用新的技術(shù)架構(gòu)來分析處理海量告警信息,支撐主動維護工作顯得尤為必要,為此我們引入了大數(shù)據(jù)技術(shù)。

2 分析目標(biāo)

(1)數(shù)據(jù)源:電信運營商網(wǎng)絡(luò)設(shè)備告警日志數(shù)據(jù),每天50 G。

(2)數(shù)據(jù)分析目標(biāo):完成高頻翻轉(zhuǎn)類(瞬斷)告警分析;完成自定義網(wǎng)元、自定義告警等可定制告警分析;完成被過濾掉的告警分析、TOPN告警分析;核心設(shè)備和重要業(yè)務(wù)監(jiān)控。

(3)分析平臺硬件配置:云計算平臺分配8臺虛擬機,每臺虛機配置CPU16核;內(nèi)存32 G;硬盤2 T。

3 制定方案

進入大數(shù)據(jù)時代,行業(yè)內(nèi)涌現(xiàn)了大量的數(shù)據(jù)挖掘技術(shù),數(shù)據(jù)處理和分析更高效、更有價值。Google、Facebook等公司提供可行的思路是通過類似Hadoop[2]的分布式計算、MapReduce[3]、Spark[4]算法等構(gòu)造而成的新型架構(gòu),挖掘有價值信息。

Hadoop是Apache基金會用JAVA語言開發(fā)的分布式框架,通過利用計算機集群對大規(guī)模數(shù)據(jù)進行分布式計算分析。Hadoop框架最重要的兩個核心是HDFS和MapReduce,HDFS用于分布式存儲,MapReduce則實現(xiàn)分布式任務(wù)計算。

一個HDFS集群包含元數(shù)據(jù)節(jié)點(NameNode)、若干數(shù)據(jù)節(jié)點(DataNode)和客戶端(Client)。NameNode管理HDFS的文件系統(tǒng),DataNode存儲數(shù)據(jù)塊文件。HDFS將一個文件劃分成若干個數(shù)據(jù)塊,這些數(shù)據(jù)塊存儲DataNode節(jié)點上。

MapReduce是Google公司提出的針對大數(shù)據(jù)的編程模型。核心思想是將計算過程分解成Map(映射)和Reduce(歸約)兩個過程,也就是將一個大的計算任務(wù)拆分為多個小任務(wù),MapReduce框架化繁為簡,輕松地解決了數(shù)據(jù)分布式存儲的計算問題,讓不熟悉并行編程的程序員也能輕松寫出分布式計算程序。MapReduce最大的不足則在于Map和Reduce都是以進程為單位調(diào)度、運行、結(jié)束的,磁盤I/O開銷大、效率低,無法滿足實時計算需求。

Spark是由加州伯克利大學(xué)AMP實驗室開發(fā)的類Hadoop MapReduce的分布式并行計算框架,主要特點是彈性分布式數(shù)據(jù)集RDD[5],中間輸出結(jié)果可以保存在內(nèi)存中,節(jié)省了大量的磁盤I/O操作。Spark除擁有Hadoop MapReduce所具有的優(yōu)點外,還支持多次迭代計算,特別適合流計算和圖計算。

基于成本、效率、復(fù)雜性等因素,我們選擇了HDFS+Spark實現(xiàn)對告警數(shù)據(jù)的挖掘分析。

4 分析平臺設(shè)計

4.1 Hadoop集群搭建

基于CentOS-6.5系統(tǒng)環(huán)境搭建Hadoop集群,配置如表1所示。

4.2 Spark參數(shù)設(shè)置[6]

Spark參數(shù)設(shè)置如表2所示。

4.3 數(shù)據(jù)采集層

數(shù)據(jù)采集:由于需采集的告警設(shè)備種類繁多,故采取分布式的告警采集,數(shù)據(jù)網(wǎng)設(shè)備、交換網(wǎng)設(shè)備、接入網(wǎng)設(shè)備分別通過IP綜合網(wǎng)管、天元綜合網(wǎng)管、PON綜合網(wǎng)管進行采集,采集周期5分鐘一次。采集機先將采集到的告警日志文件,通過FTP接口上傳到智能網(wǎng)管系統(tǒng)文件服務(wù)器上,再對文件進行校驗,通過Sqoop推送到Hadoop集群上。

4.4 邏輯處理層

(1)建立高頻翻轉(zhuǎn)告警監(jiān)控工作流程

先將海量告警進行初步刪選,通過數(shù)量、位置和時間三個維度的分析,得出高頻翻轉(zhuǎn)類告警清單列表,最后由專業(yè)工程師甄別確認,對某類告警進行重點關(guān)注和監(jiān)控。

(2)差異化定制方案

按組網(wǎng)架構(gòu)細分,針對核心重要節(jié)點的所有告警均納入實時監(jiān)控方案;

按業(yè)務(wù)網(wǎng)絡(luò)細分,針對不同業(yè)務(wù)網(wǎng)絡(luò)設(shè)計個性化的監(jiān)控方案;

按客戶業(yè)務(wù)細分,針對客戶數(shù)字出租電路設(shè)計個性化的監(jiān)控方案。

4.5 數(shù)據(jù)分析層

Spark讀取Hive[7]表的告警數(shù)據(jù),然后在Spark引擎中進行SQL統(tǒng)計分析。Spark SQL模K在進行分析時,將外部告警數(shù)據(jù)源轉(zhuǎn)化為DataFrame[8],并像操作RDD或者將其注冊為臨時表的方式處理和分析這些數(shù)據(jù)。一旦將DataFrame注冊成臨時表,就可以使用類SQL的方式操作查詢分析告警數(shù)據(jù)。表3是利用Spark SQL對告警工單做的一個簡單分析:

5 平臺實踐應(yīng)用

探索運維數(shù)據(jù)分析的新方法,利用大數(shù)據(jù)分析技術(shù),分析可能影響業(yè)務(wù)/設(shè)備整體性能的設(shè)備告警,結(jié)合網(wǎng)絡(luò)性能數(shù)據(jù),找到網(wǎng)絡(luò)隱患,實現(xiàn)主動維護的工作目標(biāo)。

5.1 高頻翻轉(zhuǎn)類告警監(jiān)控

首先制定了高頻翻轉(zhuǎn)類告警分析規(guī)則,將連續(xù)7天每天原始告警發(fā)生24次以上定義為高頻翻轉(zhuǎn)類告警,并基于大數(shù)據(jù)平臺開發(fā)了相應(yīng)的分析腳本,目前已實現(xiàn)全專業(yè)所有告警類型的分析。表4是全省高頻翻轉(zhuǎn)類TOP10排名。

5.2 核心設(shè)備和重要業(yè)務(wù)監(jiān)控

目前以設(shè)備廠商或?qū)<医?jīng)驗評定告警監(jiān)控級別往往會與實際形成偏差,主要表現(xiàn)在以下幾個方面:監(jiān)控級別的差異化設(shè)定基于已知的告警類型,一旦網(wǎng)絡(luò)重大故障上報未知的告警類型就無法在第一時間有效監(jiān)控到;同一類型的故障告警出現(xiàn)在不同網(wǎng)絡(luò)層面可能影響業(yè)務(wù)的程度是完全不同的;不同保障級別的客戶對故障告警監(jiān)控的實時性要求也是不同的。

通過大數(shù)據(jù)分析平臺對差異化監(jiān)控提供了靈活的定制手段,可根據(jù)告警關(guān)鍵字,分專業(yè)、地市、網(wǎng)管、機房、告警頻次等維度自主定制需要的告警數(shù)據(jù),實現(xiàn)日、周、月、某個時間區(qū)等統(tǒng)計分析。

應(yīng)用案例:省NOC通過大數(shù)據(jù)分析出一條編號為CTVPN80113的中國平安大客戶電路在一段時間內(nèi)頻繁產(chǎn)生線路劣化告警,但用戶未申告,省NOC隨即預(yù)警給政企支撐工程師,政支工程師與用戶溝通后,派維護人員至現(xiàn)場處理,發(fā)現(xiàn)線路接頭松動,緊急處理后告警消除、業(yè)務(wù)恢復(fù)。

5.3 被過濾告警分析

全省每天網(wǎng)絡(luò)告警數(shù)據(jù)300萬條~500萬條,其中99%都會根據(jù)告警過濾規(guī)則進行過濾篩選,把過濾后的告警呈現(xiàn)給網(wǎng)絡(luò)監(jiān)控人員。過濾規(guī)則的準(zhǔn)確性直接影響告警數(shù)據(jù)的質(zhì)量。一般來說告警過濾規(guī)則可以從具有豐富運維經(jīng)驗的網(wǎng)絡(luò)維護人員獲得,但是這個過程非常繁瑣,而且通過人工途徑獲得的告警過濾規(guī)則在不同的應(yīng)用環(huán)境可能存在差異,無法滿足網(wǎng)絡(luò)維護的整體需要。采用大數(shù)據(jù)技術(shù)對被過濾的告警進行分析可以很好地完善過濾規(guī)則,讓真正急迫需要處理的告警優(yōu)先呈現(xiàn)給維護人員及時處理,真正做到先于客戶發(fā)現(xiàn)故障。表5是動環(huán)專業(yè)被過濾的告警情況分布。

5.4 動環(huán)深放電分析

動環(huán)網(wǎng)管通過C接口采集蓄電池電壓數(shù)據(jù),在停電告警產(chǎn)生之后,電壓數(shù)據(jù)首次下降到45 V,表示該局站電池出現(xiàn)深放電現(xiàn)象,通過計算這一放電過程的持續(xù)時間,記為深放電時長,該時長可以初步反映電池的放電性能。一個局站每天產(chǎn)生幾十萬條電壓等動環(huán)實時數(shù)據(jù)。

在告警數(shù)據(jù)分析的基礎(chǔ)上,實現(xiàn)對蓄電池電壓變化數(shù)據(jù)的分析,提醒分公司關(guān)注那些深放電次數(shù)過多和放電時長過短的局站,核查蓄電池、油機配置、發(fā)電安排等,并進行整治。利用Spark SQL統(tǒng)計了一個月內(nèi)撫州、贛州、吉安三分公司幾十億條動環(huán)數(shù)據(jù),分析了其中深放電的情況如表6所示。

6 結(jié)論

本文利用HDFS+Spark技術(shù),實驗性地解決告警數(shù)據(jù)存儲和分析等相關(guān)問題:一是通過數(shù)據(jù)分析,從海量告警數(shù)據(jù)中發(fā)現(xiàn)潛在的網(wǎng)絡(luò)隱患;二是結(jié)合資源信息和不同專業(yè)的告警,最終為用戶提供綜合預(yù)警;三是轉(zhuǎn)變網(wǎng)絡(luò)監(jiān)控思路和方式,通過數(shù)據(jù)匯聚、數(shù)據(jù)相關(guān)性分析、數(shù)據(jù)可視化展示,提高了網(wǎng)絡(luò)監(jiān)控效率;最后還擴展到對動環(huán)實時數(shù)據(jù)、信令數(shù)據(jù)進行分析。

從實際運行效果來看,HDFS和Spark完全可以取代傳統(tǒng)的數(shù)據(jù)存儲和計算方式,滿足電信運營商主動運維的需求。

參考文獻:

[1] 中國電信股份有限公司. 中國電信智能網(wǎng)管技術(shù)規(guī)范-總體分冊[Z]. 2015.

[2] Tom white. Hadoop權(quán)威指南[M]. 4版. 南京: 東南大學(xué)出版社, 2015.

[3] RP Raji. MapReduce: Simplified Data Processing on Large Clusters[Z]. 2004.

[4] Spark. Apache Spark?[EB/OL]. [2016-11-27]. http:///.

[5] Matei Zaharia, Mosharaf Chowdhury, Tathagata Das, et al. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing[J]. Usenix Conference on Networked Systems Design & Implementation, 2012,70(2): 141-146.

[6] S鵬. Apache Spark源碼剖析[M]. 北京: 電子工業(yè)出版社, 2015.

[7] Hive. Apache HiveTM[EB/OL]. [2016-11-27]. http:///.

[8] Holden Karau, Andy Konwinski, Patrick Wendell, et al. Learning Spark: Lightning-Fast Big Data Analysis[M]. Oreilly & Associates Inc, 2015.

[9] 員建廈. 基于動態(tài)存儲策略的數(shù)據(jù)管理系統(tǒng)[J]. 無線電工程, 2014,44(11): 52-54.

篇9

[關(guān)鍵詞]數(shù)據(jù)挖掘;技術(shù);電信技術(shù)

中圖分類號:TP393.01 文獻標(biāo)識碼:A 文章編號:1009-914X(2014)29-0355-01

0.前言

我國電信行業(yè)一直以來呈現(xiàn)出中國移動、中國聯(lián)通、中國電信三足鼎立的狀態(tài),但是,隨著市場經(jīng)濟的進一步完善,我國政府逐漸放開了對電信行業(yè)的準(zhǔn)入管制,越來越多的國外電信運營商進入中國市場,這使得國內(nèi)電信市場的競爭壓力不斷增加,另外,隨著我國消費者的日趨成熟,對電信運營商的服務(wù)質(zhì)量要求逐漸提高,這一切都使得我國電信運營商面臨巨大挑戰(zhàn),具體來看主要是成本增加、顧客流失、資源浪費,傳統(tǒng)的管理方法已經(jīng)不能適應(yīng)形勢發(fā)展的要求,為了有效整合和利用資源,要求電信運營商借助信息化管理模式處理大量客戶信息和消費數(shù)據(jù),從中挖掘有價值的商業(yè)信息,從而制定出符合消費者期望的優(yōu)質(zhì)服務(wù)策略。數(shù)據(jù)挖掘技術(shù)正好符合了電信行業(yè)發(fā)展的要求。

1.數(shù)據(jù)挖掘的概念

數(shù)據(jù)挖掘指的是從這些混亂的、無序的、模糊的、隨機的、不完全的數(shù)據(jù)當(dāng)中找出人們事先不知道但是具有潛在價值的信息和知識。從本質(zhì)上說,數(shù)據(jù)挖掘是一種深層次的數(shù)據(jù)分析方法。人們根據(jù)數(shù)據(jù)挖掘任務(wù)的不同,把數(shù)據(jù)挖掘分為不同的類型,例如分類和預(yù)測模型發(fā)現(xiàn),序列模式發(fā)現(xiàn),數(shù)據(jù)歸類、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn),依賴關(guān)系和依賴模型發(fā)現(xiàn)等等[1]。根據(jù)挖掘方法可以認為統(tǒng)計學(xué)方法、機器學(xué)方法、數(shù)據(jù)庫方法以及神經(jīng)網(wǎng)絡(luò)方法.

2.數(shù)據(jù)挖掘的功能

總的來說,數(shù)據(jù)挖掘具有五大功能,即分類功能、聚類功能、預(yù)測功能、偏差檢驗功能以及關(guān)聯(lián)規(guī)則和序列模式發(fā)現(xiàn)功能。分類功能就是按照研究的對象的屬性建立不同的組類來描述對象。聚類功能就是把數(shù)據(jù)集合分組為由相似的對象組成的多個類別當(dāng)中,即通過間接相似度把類之間的差異識別出來,并挑選類之中的相似樣本。預(yù)測功能就是根據(jù)數(shù)據(jù)屬性特征等對數(shù)據(jù)進行評估分析,從而預(yù)測其他未知屬性。常用的預(yù)測方法有回歸分析算法、神經(jīng)網(wǎng)絡(luò)算法等。偏差檢測功能是對數(shù)據(jù)庫中存在的異常記錄進行排除,從而確保數(shù)據(jù)庫的安全穩(wěn)定,降低風(fēng)險。關(guān)聯(lián)規(guī)則和序列模式發(fā)現(xiàn)功能關(guān)聯(lián)分析就是找出數(shù)據(jù)庫中各種隱藏的關(guān)聯(lián)性。

3.基于數(shù)據(jù)挖掘的電信數(shù)據(jù)分析

將數(shù)據(jù)挖掘引入電信數(shù)據(jù)分析,其目的就是深入挖掘顧客的消費行為,探明客戶的特征、行為方式、理解客戶的價值,從而為電信運營商制定市場營銷策略提供科學(xué)的依據(jù)。

3.1 電信業(yè)務(wù)下滑客戶分析

隨著市場競爭堵塞加劇,電信顧客的流動性增大,因此,要想增強企業(yè)的競爭力,首先必須保持穩(wěn)定的客戶,防治客戶的流失,并在此基礎(chǔ)上吸引新的客戶。首先建立電信業(yè)務(wù)下滑客戶聚類模型,對客戶數(shù)據(jù)進行聚類,先確立不同的聚類標(biāo)準(zhǔn)作為節(jié)點,對用戶進行聚類分析,然后表節(jié)點把非業(yè)務(wù)下滑客戶列出來。把那些消費波動較大的用戶作為業(yè)務(wù)流失或退訂的客戶群。最后用表節(jié)點把業(yè)務(wù)下滑的客戶數(shù)據(jù)用表列出來。其次,電信客戶業(yè)務(wù)下滑原因分析。這是在前面的基礎(chǔ)上進一步分析客戶業(yè)務(wù)下滑客戶的特征和原因,這里首先需要構(gòu)建數(shù)據(jù)訓(xùn)練集,把先前聚類的業(yè)務(wù)下滑客戶挑選出來,為了充分表現(xiàn)出業(yè)務(wù)下滑客戶與非業(yè)務(wù)下滑客戶的特征,將它們的比例設(shè)為1:1,然后建立決策樹,從客戶的在網(wǎng)時長、長途費用、客戶使用的服務(wù)品牌這三方面的具體信息出發(fā),做出有針對性的商業(yè)決策[2]。

3.2 電信用戶GPRS業(yè)務(wù)關(guān)聯(lián)分析

GPRS業(yè)務(wù)關(guān)聯(lián)分析模型主要有商業(yè)需求分析、數(shù)據(jù)預(yù)處理、數(shù)據(jù)集、高價值客戶聚類、高價值客戶數(shù)據(jù)集、GPRS業(yè)務(wù)關(guān)聯(lián)分析、模型評估、模型等環(huán)節(jié)。首先商業(yè)需求分析。通過運用數(shù)據(jù)挖掘技術(shù)分析GPRS業(yè)務(wù)用戶的特征、潛在用戶、用戶偏好、消費潛力等,建立GPRS業(yè)務(wù)關(guān)聯(lián)模型進行分析研究,發(fā)現(xiàn)其中的規(guī)律,由此預(yù)測出業(yè)務(wù)的潛在客戶群,協(xié)助企業(yè)擴大用戶規(guī)模、獲得更大利潤。其次是數(shù)據(jù)處理。先根據(jù)客戶性質(zhì),將其劃分為多個群,找出最有價值的客戶群。再利用關(guān)聯(lián)性原則分析客戶偏好,進而進行相應(yīng)產(chǎn)品和服務(wù)的研究。其次,挖掘電信GPRS業(yè)務(wù)高價值客戶群。為了建立有效模型,首先要進行聚類分析。按照客戶消費金額分為幾種不同的類型。以其中一個點為高價值客戶的最低要求。從而找出高價值客戶群。第三電信客戶GPRS業(yè)務(wù)關(guān)聯(lián)分析。該環(huán)節(jié)的目的是要找出關(guān)聯(lián)大的業(yè)務(wù)。然后根據(jù)分析結(jié)果進行業(yè)務(wù)銷售。

3.3 電信非綁定GPRS業(yè)務(wù)客戶預(yù)測

電信非綁定GPRS業(yè)務(wù)客戶預(yù)測模型與分析流程主要有商業(yè)需求分析、數(shù)據(jù)預(yù)處理、數(shù)據(jù)集、訓(xùn)練集、模型訓(xùn)練、GPRS業(yè)務(wù)客戶預(yù)測模型、模型評估、模型等。第一,商業(yè)需求分析。首先針對客戶使用情況,分析客戶消費行為特征,然后對具有這些統(tǒng)計特征而未使用這套組合業(yè)務(wù)的客戶進行推薦,由于運營商需要對客戶屬性和消費行為進行預(yù)測,因此還需要借助于決策樹建立分析模型。第二,數(shù)據(jù)處理,把無關(guān)數(shù)據(jù)排除,同時收集相關(guān)數(shù)據(jù),并構(gòu)建模型。第三,電信非綁定GPRS業(yè)務(wù)客戶預(yù)測模型構(gòu)建。建立預(yù)測模型時要對模型有效性進行測試,選擇合適的預(yù)測模型。在實際商業(yè)應(yīng)用中,根據(jù)模型分析結(jié)果對符合規(guī)則的目標(biāo)客戶推薦業(yè)務(wù)。

4.小結(jié)

本文以中國移動某分公司的研究項目“某移動業(yè)務(wù)精確營銷模型研究及推廣”為背景,在數(shù)據(jù)挖掘理論和技術(shù)的基礎(chǔ)上,將數(shù)據(jù)挖掘技術(shù)的聚類分析算法、關(guān)聯(lián)規(guī)則算法、決策樹算法應(yīng)用于電信數(shù)據(jù)分析。

參考文獻

[1] 舒正渝.淺談數(shù)據(jù)挖掘技術(shù)及其應(yīng)用[J].中國西部科技,2010,9(5):38-39.

[2] 鞏建光.面向電信領(lǐng)域的數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究[D].哈爾濱工程大學(xué),2012:38-39.

篇10

福建省高速公路有限公司運用微軟大數(shù)據(jù)解決方案,對視頻圖像、交通流、交通環(huán)境等結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù)進行管理,對數(shù)據(jù)中包含的車輛、車主、收費站、地理位置等關(guān)聯(lián)信息進行分析,改善道路管理效率和用戶出行體驗……

10月18日,在微軟公司大數(shù)據(jù)媒體日活動現(xiàn)場,微軟分享了其在大數(shù)據(jù)領(lǐng)域的最新研究成果和解決方案,來自國內(nèi)的銀行、汽車、交通運輸、醫(yī)療衛(wèi)生和零售業(yè)用戶分享了其應(yīng)用體驗。

大掌控、大智匯、大洞察

在大數(shù)據(jù)成為流行詞之前,微軟便已著手于大數(shù)據(jù)的應(yīng)用與研發(fā),例如微軟Bing的高質(zhì)量搜索結(jié)果,便是通過分析超過100PB的數(shù)據(jù)得到的。微軟大數(shù)據(jù)解決方案的目標(biāo),是讓所有用戶都能獲得來自任何數(shù)據(jù)有價值的洞察力。

微軟大中華區(qū)副總裁兼市場戰(zhàn)略部副總經(jīng)理、大中華區(qū)首席云戰(zhàn)略官謝恩偉介紹,為了實現(xiàn)這一目標(biāo),微軟為大數(shù)據(jù)解決方案制定了全面的戰(zhàn)略——大掌控、大智匯、大洞察。

大掌控,即“支持所有數(shù)據(jù)類型的現(xiàn)代化的管理層”。微軟大數(shù)據(jù)解決方案的數(shù)據(jù)管理平臺可以無縫地存儲和處理包括結(jié)構(gòu)化、非結(jié)構(gòu)化和實時數(shù)據(jù)在內(nèi)的所有類型的數(shù)據(jù)。微軟推出的HDInsight是一種適合企業(yè)使用的、基于HDP的Hadoop服務(wù),它將Windows的簡易性和可管理性帶給Hadoop,提供了結(jié)合Hadoop的擴展平臺,并為大數(shù)據(jù)提供了靈活且可擴展的云。

大智匯,即“搜索并結(jié)合廣泛數(shù)據(jù),進行先進分析與精煉,從而提高數(shù)據(jù)價值的富集層”。微軟大數(shù)據(jù)解決方案,通過將數(shù)據(jù)和模型與公開的數(shù)據(jù)服務(wù)相結(jié)合,實現(xiàn)了突破性的數(shù)據(jù)發(fā)現(xiàn),例如自動發(fā)現(xiàn)與共享防火墻外部的和第三方的數(shù)據(jù)源等。

大洞察,即“用戶熟悉的工具可為用戶提供具有直觀洞察力的洞悉層”。微軟大數(shù)據(jù)解決方案可以使客戶通過熟悉的由Hive add-in for Excel生成的Excel界面,從Hadoop功能中獲取有價值的洞察力,也可經(jīng)由企業(yè)熟悉的BI工具,如SQL Server 分析服務(wù)、PowerPivot和通過Hive Open Database Connectivity 驅(qū)動生成的Power View來分析Hadoop中的非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)分析結(jié)果要“傻瓜化”

“我們要將挖掘與分析的結(jié)果直觀呈現(xiàn),轉(zhuǎn)換為用戶真正需要的有價值的洞察力?!?微軟全球高級副總裁、大中華區(qū)董事長兼首席執(zhí)行官賀樂賦說。

賀樂賦說,微軟大數(shù)據(jù)解決方案通過智能化的、甚至是基于云端的平臺和服務(wù)去管理和分析數(shù)據(jù),從中獲取有價值的洞察信息,再以用戶最熟悉、最直觀的形式表現(xiàn)出來,從而幫助用戶做出決策。