EMC存儲服務器VNX5000 5100,VNX5300/5400/5500/5600/5700/5800 陣列崩潰raid兩塊盤及兩塊盤以上離掉線數(shù)據(jù)恢復的思路整理及方法
【前期故障表現(xiàn)】
泉州某生產型企業(yè), EMC VNX 5100存儲中,RAID5陣列故障導致存儲癱瘓,10塊硬盤有3塊硬盤離線,其中前4塊硬盤是EMC系統(tǒng),系統(tǒng)區(qū)域正常,前期有兩塊盤先掉線,4號盤熱備盤頂上后,8號盤又損壞掉線,EMC控制平臺里面顯示,disk5,disk6,disk8狀態(tài)為removed ,同時顯示硬盤亮黃燈,陣列損壞,LUN顯示每個分區(qū)為FAUlTED,里面保存著重要的財務SQL2005 數(shù)據(jù)庫丟失。
UPS電源AB組模塊也報警,亮黃燈,IBM服務器應用無法加載此EMC存儲上的數(shù)據(jù)庫,所以數(shù)據(jù)無法訪問,客戶經(jīng)廈門某著名IT培訓中心的寧老師,聯(lián)系上了北京技佳瑞康科技有限公司廈門分公司的羅工上門恢復
1、->EMC存儲數(shù)據(jù)恢復過程
此臺EMC VNX5100硬盤 600G 10K 005049249此款硬盤也通常應用在VNX5200 5300 5400 5500等存儲上,
EMC VNX系列存儲使用的是520字節(jié)長度的硬盤,常規(guī)陣列卡及備份軟件WINHEX無法備份,只有在PC3000 SAS上可以操作,之前其它是把520字節(jié)轉換成512格式后鏡像,然后這個鏡相對組合RAID陣列,然后,EMC智能存儲的RAID結構非常特殊,和普通RAID5完全不同。一般的文件系統(tǒng)和軟件是無法解析的,手工分析文件及陣列也不現(xiàn)實,目前軟件針對EMC還沒有一個完美的解決方案。
2、->陣列Raid5成員硬盤檢測過程
先對每一個硬盤做好物理順序編號,由于硬盤離線亮黃燈,硬盤工程師首先對raid陣列中的亮黃燈的明顯硬盤硬盤先進行檢測,發(fā)現(xiàn)6號壞道大量壞道,5號盤壞道不是很多,8盤盤壞掉20個以下,后面對其它成員硬盤進行物理檢測(包括掉線盤和正常磁盤)除4號熱備盤和7號去年剛替換的盤全好外,所有磁盤或多或少都有物理故障
3、->raid陣列成員盤數(shù)據(jù)備份】
由于硬盤或多或少都有問題,為了對數(shù)據(jù)進行保護,做到只讀不寫,羅工決定按照數(shù)據(jù)恢復流程開始對所有成員磁盤進行備份,源磁盤的扇區(qū)大小為520字節(jié),因此還需要使用特殊工具PC3000 SAS或是我們公司自己研發(fā)的軟件進行鏡相備份,520-520鏡相
4、->【根據(jù)壞的盤順序重構RAID組結構】
一般存儲或陣列是對盤進行鏡像完成后將在鏡像文件底層raid信息進行分析,得出raid的數(shù)據(jù)塊大小和條帶分布規(guī)律,陣列結構后重組原raid組,此磁盤陣列中8號盤最先掉線,好盤鏡相后上線,不再報錯,5號盤倒數(shù)第二次掉線,但由于6號盤早已掉線,4號熱備頂上,只能先重建6號盤,再騰出4號熱盤后,再重新5號盤。6和5中都是前半年前的數(shù)據(jù),只能用空白盤去同步,只到接上6號故障盤后,數(shù)據(jù)開始同步,4號熱備盤Equalizing均衡還原6號盤,
再Rebuilding4號,熱備盤頂上5號盤,
接上5號好盤,再Equalizing均衡還原5號。
Rebuilding過程中LUN的狀態(tài)
5、->【Lun信息故障還原】
ZFS文件系統(tǒng)比較復雜,目前對EMC的ZFS還沒有完整的解決方法,只能在設備上完成恢復
LUN恢復成功后,狀態(tài)由FAULTED變?yōu)镽EADY
6->數(shù)據(jù)恢復結果驗證
北京技佳瑞康科技有限公司廈門分公司的羅工和客戶方一起努力,歷時4天,數(shù)據(jù)100%恢復成功,客戶方工程師對所有數(shù)據(jù)和SQL2005數(shù)據(jù)庫進行現(xiàn)場驗證,數(shù)據(jù)恢復完美驗證。
總結:EMC的存儲雖然穩(wěn)定,但也是要經(jīng)常機房巡檢,數(shù)據(jù)還是要有備份,有備無患!很多時候物理層恢復了,但是存儲的狀態(tài)還是不行或是硬盤狀態(tài)不對,類似于我去年恢復的VNX5400上面掛載了幾臺磁盤柜,就需要廠家二線工程師,甚至是廠家三線工程師的技術支持恢復完成。
北京技佳瑞康科技發(fā)展有限公司成立長2012年,國家保密局涉密數(shù)據(jù)恢復資質單位,總部位于北京,在上海、深圳、廈門、南京等地設有分公司,聯(lián)想集團數(shù)據(jù)恢復供應商, 2017-2019北京市政務信息安全應急保障單位,北京市誠信創(chuàng)建企業(yè),中國石油IBM 渣打銀行數(shù)據(jù)恢復服務商!
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!