CentOS批量删除文件的方法

要在Linux下删除了海量文件的环境,必要删除了数十万个文件。这个是以前的法式写的日记,增加很快,并且没甚么用。这个时辰经常使用的删除了饬令rm -fr * 就欠好用了,由于要期待的时间过长。以是必需要接纳一些很是手腕:可使用rsync的–delete-before参数来完成疾速删除了年夜量文件。

##############################################################
#################### Rsync替代原理,疾速删除了海量文件 ###########################
####################################################################

1)创建一个空的文件夹:
# mkdir /tmp/test
2)用rsync删除了方针目次:
# rsync –delete-before -a -H -v –progress –stats /tmp/test/ /log/
如许要删除了的log目次就会被清空了,删除了的速率会很是快。rsync现实上用的是替代原理,处置数十万个文件也是秒删。

选项阐明:
–delete-before 接管者在传输以前进行删除了操纵
–progress 在传输时显示传输进程
–a 归档模式,暗示以递归方法传输文件,并连结一切文件属性
–H 连结硬毗连的文件
–v 具体输入模式
–stats 给出某些文件的传输状况

 

附加具体攻略:

一、rsync的安装及设置装备摆设,可以自行Baidu,也能够间接在BT软件商城里采办,貌似19.9元

二、饬令诠释

# rsync –delete-before -a -H -v –progress –stats /tmp/test/ /tmp/test2/

以上饬令的效果,就是将/tmp/test/的这个test文件夹,同步到/tmp/test2/上面,会在/tmp/test2/上面主动建立test文件夹。

友情提醒:批量删除了可以将必要处置的文件放在一个平安的文件夹里。

小编断根30万个文件,年夜概耗时几分钟,并不是网传的十几秒钟那末神奇。但相比用RM的无助,浮现很多多少了。

三、批量处置权限问题

稀里糊涂发明文件夹都是root权限,哎!批处置文件夹权限饬令以下

chown -R www /tmp/test4/

这批文件年夜概40G摆布,年夜概耗时二十多分钟吧!

 

因为执行了chown饬令,后台会吊起chown,可能带来一系列反作用。比方屡次执行chown后,看似间断执行,实在后台还在。是以会致使硬盘的IO年夜幅度增长。

测试硬盘年夜文件读取在百M/s以上,但面临小文件速率仅30M摆布了。

一样只是个删除了操纵,高档运维以及低级运维的效率相差十万八千里,并且硬盘读写致使IO太高,会带来一系列营业间断的问题。运维的这些教训很是贵重,但愿能以及更多师兄师弟们交流学习,妙手们发家后每每把教训都丢了,太惋惜!

 

CentOS批量删除文件的方法

删除了的速率,固然跟主机设置装备摆设呈正相干的瓜葛。39G数据20kb年夜小的文件,4核服务器几分钟弄定,1-2核服务器花了快要30分钟。

 

给TA打赏
共{{data.count}}人
人已打赏
软件资源

IObit Advanced SystemCare v16.0.1.82

2023-1-22 12:21:44

建站技巧

linux服务器删除目录下指定大小和指定内容的文件

2022-12-25 21:33:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索