你知道Linux中大文件快速處理小的方法有哪些嗎?
今天小編要跟大家分享的文章是關于Linux中大文件快速處理小的方法有哪些。相信正在從事Linux相關工作的小伙伴一定都遇到過這種情況， Linux入門新手和正在Linux學習的小伙伴快來看一看吧，希望能夠對大家有所幫助！
1.背景
工作中使用MapReduce任務導出一批含有路徑的文件，共計行數300W+，需要檢測文件是否在對應的服務器中存在，而文件所在的服務器并非hadoop集群的服務器，因此打算采用bash腳本進行。具體的方法如下(可直接看方法2,方法1效率較低)：
2. 采用的方法
a. 方法1
原本打算使用如下腳本，進行簡單驗證：
!/bin/bash
count=0
cat oriTest.txt | while read data
do
count=$(( $count+1 ))
echo $count
dir=echo "$data" | awk -F "t" '{print $5}'
if [ -e $dir ];then
echo "$data" >> exist.txt
else
echo "$data" >> noexist.txt
fi
done
原始數據格式如下：
name mark id dir
運行時發現處理5000行需要將近4、5分鐘的時間(機器為8核)，果斷不行啊，隨后打算采用多進程的方法來執行，見方法2
b. 方法2
主要是通過將大文件分為小文件，然后對小文件進行后臺遍歷讀取，腳本如下：
!/bin/bash source ~/.bashrc
判斷路徑是否存在
readdata(){
cat $1 | while read data
do
dir=echo "$data" | awk -F "t" '{print $5}'
if [ -e $dir ];then
echo "$data" >> "exist_$1.txt"
else
echo "$data" >> "noexist_$1.txt"
fi
done
}
大文件切分為小文件，生成文件名為xaa,axb等(可以自己命名文件)
split -l 10000 oriTest.txt declare -a files # 聲明數組 files=($(ls x*)) # 分割后的小文件名保存數組
遍歷，并后臺執行
for i in ${files[@]};do
echo $i
readdata $i &
done
以上就是小編今天為大家分享的關于Linux運維人員你知道Linux中大文件快速處理小的方法有哪些嗎?的文章，希望本篇文章能夠對正在從事Linux相關工作的小伙伴們有所幫助。想要了解更多Linux相關知識記得關注馬哥教育官網。最后祝愿小伙伴們工作順利哦!
聲明：文章來源于網絡，侵刪！