導(dǎo)語：大數(shù)據(jù)分析下存儲(chǔ)優(yōu)化算法研究一文來源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：隨著大數(shù)據(jù)時(shí)代的來臨，不僅為人們的生產(chǎn)生活提供了極大的便利，同時(shí)也為企業(yè)與政府部門的長(zhǎng)足發(fā)展提供有力的信息保障，對(duì)我國(guó)實(shí)現(xiàn)現(xiàn)代化建設(shè)目標(biāo)具有重要影響。現(xiàn)階段，在大數(shù)據(jù)分析背景下，如何有效地提高存儲(chǔ)系統(tǒng)的訪問效率，實(shí)現(xiàn)數(shù)據(jù)的優(yōu)化統(tǒng)計(jì)與整合，已經(jīng)成為當(dāng)今社會(huì)廣泛關(guān)注的首要課題，并受到相關(guān)學(xué)者的高度關(guān)注。本文主要就基于大數(shù)據(jù)分析下的存儲(chǔ)優(yōu)化算法展開探討，希望對(duì)日后的相關(guān)研究有所幫助。

關(guān)鍵詞：大數(shù)據(jù)；存儲(chǔ)優(yōu)化算法；訪問效率；適應(yīng)算法

在這個(gè)信息爆炸的時(shí)代，如何有效提高數(shù)據(jù)信息的統(tǒng)計(jì)效率，實(shí)現(xiàn)數(shù)據(jù)信息的動(dòng)態(tài)監(jiān)管，已經(jīng)成為現(xiàn)代人們正在面臨的全新挑戰(zhàn)。據(jù)有關(guān)部門統(tǒng)計(jì)，在2009年，我國(guó)的數(shù)據(jù)總量已經(jīng)達(dá)到0.8zb，而2010與2011年的數(shù)據(jù)總量更是呈前一年的50%的速率增長(zhǎng)，分別達(dá)到了1.2zb與1.8zb，并據(jù)相關(guān)專家推測(cè)，到2020年我國(guó)數(shù)據(jù)總量將為50zb。在這種情況下，對(duì)存儲(chǔ)設(shè)備與數(shù)據(jù)的優(yōu)化算法都紛紛提出了更高要求，因而進(jìn)行大數(shù)據(jù)存儲(chǔ)優(yōu)化算法研究就顯得至關(guān)重要。

1新時(shí)代下大數(shù)據(jù)的特征與存儲(chǔ)需求

海量、高速、多樣性、真實(shí)性、復(fù)雜性構(gòu)成了大數(shù)據(jù)的五大特征。但是，隨著我國(guó)科技水平的不斷提升，數(shù)據(jù)庫(kù)應(yīng)用技術(shù)的不斷創(chuàng)新，對(duì)設(shè)備的存儲(chǔ)功能提出了更高要求，具體表現(xiàn)為：首先，現(xiàn)階段大多數(shù)計(jì)算機(jī)的計(jì)算速率與存儲(chǔ)容量已經(jīng)無法大數(shù)據(jù)的存儲(chǔ)需求，雖然可以一定程度上提高機(jī)器內(nèi)在配置，但其投入成本較為昂貴，不適用于廣泛使用。這就好比一個(gè)正常人能夠搬起100斤重的物品，經(jīng)過他不懈的鍛煉與努力，他最終能夠搬起200斤重的物品，但是如何這個(gè)物品的總重量為1000斤，憑借這個(gè)人的鍛煉與努力是獨(dú)立無法完成搬運(yùn)的，大數(shù)據(jù)存儲(chǔ)亦是如此。其次，對(duì)于傳統(tǒng)的數(shù)據(jù)庫(kù)而言，只能簡(jiǎn)單地滿足數(shù)據(jù)類型的存儲(chǔ)與查詢，無法滿足大數(shù)據(jù)的多樣化發(fā)展需求。最后，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)對(duì)于數(shù)據(jù)的分析請(qǐng)求與處理請(qǐng)求無法提供有力的支持，致使大數(shù)據(jù)的高效性存儲(chǔ)大打折扣。

2基于大數(shù)據(jù)下的存儲(chǔ)優(yōu)化算法研究

2.1、基本索引算法

（1）哈希索引算法是由于原來的哈希表思想演變而來，主要是利用華西索引算法提高存儲(chǔ)系統(tǒng)的應(yīng)用功能，比如在數(shù)據(jù)添加、數(shù)據(jù)刪除、數(shù)據(jù)修改的同時(shí)，能夠同時(shí)進(jìn)行數(shù)據(jù)查詢，從而滿足使用者的多樣化需求。比如，在Bitcask系統(tǒng)運(yùn)行中，我們可以利用哈希索引算法來實(shí)現(xiàn)數(shù)據(jù)的添加與查詢操作，提高鍵值存儲(chǔ)系統(tǒng)的運(yùn)行效率，擴(kuò)大數(shù)據(jù)存儲(chǔ)容量，進(jìn)而進(jìn)一步提高用戶的使用體驗(yàn)。

（2）B樹索引算法是在哈希索引算法上的創(chuàng)新與升級(jí)，它不僅能夠支持?jǐn)?shù)據(jù)的隨機(jī)讀取，還能進(jìn)一步擴(kuò)大數(shù)據(jù)的搜尋與掃描范圍，進(jìn)而提高數(shù)據(jù)的查詢效率。同時(shí)，B樹索引算法還包括了數(shù)據(jù)隨機(jī)訪問功能與范圍查詢功能，擴(kuò)大數(shù)據(jù)庫(kù)的存儲(chǔ)容量，加快了數(shù)據(jù)的訪問速度，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)的存儲(chǔ)優(yōu)化計(jì)算。

2.2、內(nèi)存分配算法

（1）首次適應(yīng)算法。在該算法使用前，應(yīng)先將內(nèi)存中的閑置內(nèi)存塊與單向鏈表數(shù)據(jù)結(jié)構(gòu)進(jìn)行有效連接，并對(duì)用戶所需的數(shù)據(jù)進(jìn)行一次查詢，直到找到滿意的閑置內(nèi)存塊，通過鏈表發(fā)送給用戶，從而實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的優(yōu)化處理。在這里需要注意的是，由于首次適應(yīng)算法的查詢方式比較單一，通常都是從head節(jié)點(diǎn)開始，這在一定程度上就導(dǎo)致了head節(jié)點(diǎn)相鄰的空閑內(nèi)存塊出現(xiàn)被多次分配的現(xiàn)象，而鏈表尾端的節(jié)點(diǎn)分配率較低，從而影響節(jié)點(diǎn)的分配平衡。

（2）循環(huán)首次適應(yīng)算法。該種算法是首次適應(yīng)算法的升級(jí)與改良，主要是將閑置內(nèi)存鏈表轉(zhuǎn)變成為循環(huán)鏈表，擴(kuò)大系統(tǒng)的存儲(chǔ)容量，便于數(shù)據(jù)查詢。該種計(jì)算方法的好處在于，能夠更加均勻地進(jìn)行數(shù)據(jù)的內(nèi)存塊分配，從而有效避免出現(xiàn)分配不平衡現(xiàn)象。

（3）最佳適應(yīng)算法。該種算法的設(shè)計(jì)出發(fā)點(diǎn)與首次適應(yīng)算法、循環(huán)首次適應(yīng)算法有所不同，其主要是按照閑置內(nèi)存塊從小到大的方式建立起鏈表連接，從而根據(jù)用戶的請(qǐng)求需求進(jìn)行順次分配，減少數(shù)據(jù)存儲(chǔ)的大量開銷。

（4）最差適應(yīng)算法。該種算法與最差適應(yīng)算法正好相反，其主要是將閑置內(nèi)存塊從大到小的方式建立起鏈表連接，雖然這種方式初看存在著一定的不合理性，但卻能有效解決最佳適應(yīng)算法中出現(xiàn)內(nèi)存碎塊的問題，避免內(nèi)存碎塊過大占有大量的存儲(chǔ)空間，從而在提高數(shù)據(jù)計(jì)算與優(yōu)化效率的同時(shí)，促進(jìn)大數(shù)據(jù)時(shí)代的更好發(fā)展。

結(jié)束語

綜上所述，隨著“互聯(lián)網(wǎng)+”時(shí)代的來臨，物聯(lián)網(wǎng)、云計(jì)算、社交平臺(tái)、短視頻APP等得到快速發(fā)展，并產(chǎn)生大量的新型數(shù)據(jù)，對(duì)社會(huì)的可持續(xù)發(fā)展與人們的正常生活都具有重要影響。因此，在這個(gè)以數(shù)據(jù)為尊的時(shí)代，我們應(yīng)設(shè)備的存儲(chǔ)功能，加大數(shù)據(jù)優(yōu)化算法的研究與投入，充分發(fā)揮大數(shù)據(jù)在社會(huì)生產(chǎn)與人們生活中的優(yōu)勢(shì)作用，從而在提高社會(huì)各界發(fā)展水平的同時(shí)，促進(jìn)我國(guó)各項(xiàng)事業(yè)的可持續(xù)發(fā)展。

參考文獻(xiàn)：

[1]宋亞奇，周國(guó)亮，朱永利，等.云平臺(tái)下輸變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理[J].中國(guó)電機(jī)工程學(xué)報(bào)，2015，35(2):255-267.

[2]程學(xué)旗，王元卓，靳小龍.網(wǎng)絡(luò)大數(shù)據(jù)計(jì)算技術(shù)與應(yīng)用綜述[J].科研信息化技術(shù)與應(yīng)用，2013，4(6):3-14.

[3]吳章玲，金培權(quán)，岳麗華，等.基于PCM的大數(shù)據(jù)存儲(chǔ)與管理研究綜述[J].計(jì)算機(jī)研究與發(fā)展，2015，52(2):343-361.

[4]楊俊杰，廖卓凡，馮超超.大數(shù)據(jù)存儲(chǔ)架構(gòu)和算法研究綜述[J].計(jì)算機(jī)應(yīng)用，2016，36(9):2465-2471.

作者:黃正鵬 王力 張仕學(xué) 余廷忠 張起榮 單位:貴州工程應(yīng)用技術(shù)學(xué)院信息工程學(xué)院