云計算數(shù)據(jù)挖掘論文
時間:2022-03-26 04:30:18
導語:云計算數(shù)據(jù)挖掘論文一文來源于網(wǎng)友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。
1.1云計算
云計算是并行計算和分布計算以及網(wǎng)格計算的發(fā)展,是一種在海量數(shù)據(jù)大規(guī)模的集合中能動態(tài)處理各種服務器數(shù)據(jù)資源的一類計算平臺,在電子商務、商業(yè)金融、科研開發(fā)等領域能得到廣泛的應用。它具有大規(guī)模、虛擬化、高效率、通用性、廉價等特點,能針對不同的用戶的不同需求,動態(tài)透明地提供其所需的虛擬化計算和資源儲存,并能及時動態(tài)回收當前用戶暫不利用的數(shù)據(jù)資源以提供給其他用戶,而其廉價、通用的特點,使得一般用戶實現(xiàn)大規(guī)模的數(shù)據(jù)操作成為可能。目前來說,云計算的平臺已得到良好的發(fā)展,日益成熟,基于云計算的應用已經(jīng)可以相當方便的部署和操作其數(shù)據(jù)資源。
1.2數(shù)據(jù)挖掘
數(shù)據(jù)挖掘技術是現(xiàn)代知識發(fā)現(xiàn)領域的一個重要技術,它是指一個從隨機的大量而不完整的模糊的實際數(shù)據(jù)中提取其中某些隱含著的具有潛在價值的實用知識與信息的過程。其具體技術有特征化、聚類、關聯(lián)和預測分析等等,涉及到的高級技術領域有統(tǒng)計學、機器學習、模式識別、人工智能等方面。
2基于云計算的數(shù)據(jù)挖掘平臺構架
網(wǎng)絡云的發(fā)展給數(shù)據(jù)挖掘提出了新的問題和時代的挑戰(zhàn),同時,也為數(shù)據(jù)挖掘提供了新的計算平臺和發(fā)展機遇?;谠朴嬎愕臄?shù)據(jù)挖掘系統(tǒng)平臺的發(fā)現(xiàn),解決了傳統(tǒng)的數(shù)據(jù)挖掘技術出現(xiàn)的時代滯慢、效率較低、功能落后、成本高昂等問題。云計算是一種商業(yè)計算模式,是網(wǎng)格計算與并行計算及分布式計算在一定程度上的商業(yè)實現(xiàn),其動態(tài)、可伸縮的計算基于云計算的數(shù)據(jù)挖掘平臺架構及其關鍵技術探討文/張瑤劉輝云計算是一種在互聯(lián)網(wǎng)時代中應運而生的新興的網(wǎng)絡技術,具有高效率、高容量、動態(tài)處理的特點,在社會的商業(yè)領域和科研領域表現(xiàn)出了其相當高的應用價值。將云計算應用于數(shù)據(jù)挖掘平臺的構架之中后,將能在很大程度上為現(xiàn)代社會中越來越海量的數(shù)據(jù)挖掘提供一個高效率的技術平臺。本文將結合云計算和數(shù)據(jù)挖掘的基本概念和現(xiàn)代意義,對數(shù)據(jù)挖掘的平臺構架和相應的關鍵技術做出簡要的分析探討。摘要能力使得進行高效的海量數(shù)據(jù)挖掘的目標不再遙遠。同時,云計算SaaS功能日益被理解和標準化,使得基于云計算SaaS化的數(shù)據(jù)挖掘有了理論和技術的指導,并具有了企業(yè)化與大眾化的發(fā)展趨勢。
2.1數(shù)據(jù)挖掘平臺構架
建立在關系型數(shù)據(jù)庫之上的傳統(tǒng)的數(shù)據(jù)挖掘技術構架在現(xiàn)時代數(shù)據(jù)急劇膨脹和分析需求漸增的發(fā)展下已經(jīng)難以應付社會的數(shù)據(jù)處理問題。而云計算的分布式存儲與計算形式則接受了當代的數(shù)據(jù)挖掘難題,促成了適應時代的云計算數(shù)據(jù)挖掘平臺構架的形成。其包含了面向組件的設計理念和分層設計的思想方法。其構架自下向上總共分為3層,分別為底層的云計算支撐平臺層、中間的數(shù)據(jù)挖掘能力層和上層的數(shù)據(jù)挖掘云服務層。
2.2基于云計算的數(shù)據(jù)挖掘平臺構架各層意義
云計算支撐平臺層:顧名思義,該平臺層是云計算數(shù)據(jù)挖掘平臺的基礎處理平臺,其主要具有的功能是對分布式文件存儲與數(shù)據(jù)庫提供資源存儲,以及實行對數(shù)據(jù)的有關處理和計算功能。數(shù)據(jù)挖掘能力層:該平臺結構層主要是提供挖掘的基礎能力,是數(shù)據(jù)挖掘的核心支撐平臺,并對數(shù)據(jù)挖掘云服務層提供能力支撐。該平臺層包含了算法數(shù)據(jù)并行處理、調度引起和服務管理的框架,該平臺層可以提供系統(tǒng)內部的數(shù)據(jù)挖掘處理和推薦算法庫,亦支持第三方的數(shù)據(jù)挖掘算法工具的進入。數(shù)據(jù)挖掘云服務層:數(shù)據(jù)挖掘云服務層的主要功能是對外提供數(shù)據(jù)挖掘操作的云服務,同時也能提供基于結構化查詢的語言語句訪問,提供相關的解析引擎,以便于自動調用云服務。對外數(shù)據(jù)挖掘云服務能力封裝的接口形式多樣,包含了基于簡單對象訪問協(xié)議下的Webservice、XML、HTTP以及本地應用程序的編程接口等多種形式。另外,在必要的時候,云服務層的各個業(yè)務系統(tǒng)可以進行數(shù)據(jù)挖掘云服務的調用和組裝。
3基于云計算的數(shù)據(jù)挖掘平臺構架的關鍵技術探討
基于云計算的數(shù)據(jù)挖掘平臺構架的形成,離不開現(xiàn)代先進的科技技術,其中幾項關鍵的技術應用將在這里進行簡要的闡述:
3.1云計算技術
3.1.1分布式儲存技術
通過采用分布式存儲的方式來存儲數(shù)據(jù),是云計算技術保證數(shù)據(jù)處理高可靠性和經(jīng)濟性的重要保證。用可靠的軟件來彌補硬件的不足,是分布式存儲技術提供廉價而又海量的數(shù)據(jù)挖掘支持的重要途徑。
3.1.2虛擬化技術
在云計算的環(huán)境下,數(shù)據(jù)挖掘能實現(xiàn)對大量的可用的虛擬化技術的應用、整合,發(fā)展出一套全面虛擬化的運行戰(zhàn)略。云計算和虛擬化的共同組合,使數(shù)據(jù)挖掘實現(xiàn)了跨系統(tǒng)下的資源調度,將海量的來源數(shù)據(jù)進行IT資源匯合,動態(tài)地實現(xiàn)對用戶的虛擬化資源的供給,從而以高效率、海量動態(tài)的特點完成服務任務。
3.1.3并行云計算技術
并行云計算技術是一種對于高效執(zhí)行數(shù)據(jù)挖掘計算任務極其重要的技術,并且它對云計算的某些技術細節(jié)做出了封裝,例如任務并行、任務調度、任務容錯和系統(tǒng)容錯以及數(shù)據(jù)分布等。該功能代替了用戶對這些細節(jié)的考慮,使得研發(fā)效率得到了提高。
3.2數(shù)據(jù)匯集調度中心
數(shù)據(jù)匯集調度中心的功能主要是完成對不同類型的數(shù)據(jù)進行匯集。它實現(xiàn)了對接入該云計算數(shù)據(jù)挖掘平臺的業(yè)務數(shù)據(jù)收集匯合,能夠解決與不同數(shù)據(jù)的相關規(guī)約問題,并能支持多樣的源數(shù)據(jù)格式。
3.3服務調度與管理技術
對于基于云計算的數(shù)據(jù)挖掘平臺,為了使不同業(yè)務系統(tǒng)能夠使用本計算平臺,必須要提供相應的服務調度與管理功能。服務調度解決云服務下的并行互斥以及隔離等問題,以保證安全、可靠的平臺的云服務。服務管理功能要實現(xiàn)統(tǒng)一的服務注冊與服務暴露功能,并且支持接入第三方的數(shù)據(jù)挖掘,以更好地擴展平臺的服務能力。
4結束語
在時代的需求下,云計算技術的出現(xiàn)是并行計算技術、網(wǎng)絡技術和軟件技術不斷發(fā)展的必然產物?,F(xiàn)代社會,云計算已經(jīng)體現(xiàn)了其在商業(yè)、電子和科研開發(fā)的高價值?;谠朴嬎愕臄?shù)據(jù)挖掘平臺,由于其強可靠性、高擴展性、高經(jīng)濟性、海量處理數(shù)據(jù)等優(yōu)點,會成為新一代數(shù)據(jù)挖掘技術上未來長期的技術平臺。
作者:張瑤劉輝單位:英利能源(中國)有限公司