SA Blog --系统管理员的博客生涯
书写自己的系统管理博客生涯
posts(330)
comments(254)
trackbacks(0)
IT博客
联系
聚合
管理
常用链接
我的随笔
我的评论
我参与的随笔
留言簿
给我留言
查看公开留言
查看私人留言
随笔分类
(395)
*UNIX系统(148)
Cloud(3)
Moive
Music(1)
OpenStack(7)
openstack
Wiki(1)
Windows系统(32)
其他(33)
娱乐
存储相关(22)
存储网络(10)
常用工具下载(25)
数据库应用技术(53)
网络技术(41)
英语
虚拟化(19)
随笔档案
(330)
2020年9月 (1)
2020年8月 (1)
2020年7月 (8)
2020年4月 (1)
2020年2月 (1)
2020年1月 (1)
2019年9月 (2)
2019年4月 (1)
2016年1月 (1)
2015年12月 (1)
2015年7月 (4)
2015年5月 (2)
2014年3月 (2)
2014年1月 (1)
2013年12月 (1)
2013年3月 (5)
2013年2月 (4)
2012年12月 (1)
2012年11月 (2)
2012年9月 (2)
2012年8月 (1)
2012年6月 (1)
2012年5月 (1)
2012年1月 (1)
2011年12月 (2)
2011年10月 (1)
2011年9月 (3)
2011年8月 (1)
2011年7月 (5)
2011年6月 (3)
2011年5月 (5)
2011年4月 (2)
2011年3月 (2)
2011年2月 (1)
2011年1月 (5)
2010年12月 (1)
2010年11月 (4)
2010年9月 (13)
2010年8月 (4)
2010年7月 (5)
2010年6月 (5)
2010年5月 (13)
2010年4月 (10)
2010年3月 (5)
2010年2月 (1)
2010年1月 (9)
2009年12月 (5)
2009年11月 (5)
2009年10月 (1)
2009年9月 (3)
2009年8月 (2)
2009年7月 (6)
2009年6月 (3)
2009年5月 (2)
2009年4月 (1)
2009年3月 (2)
2009年2月 (3)
2008年12月 (3)
2008年11月 (1)
2008年10月 (9)
2008年9月 (5)
2008年8月 (3)
2008年7月 (1)
2008年6月 (1)
2008年5月 (2)
2008年4月 (1)
2008年3月 (1)
2008年2月 (3)
2008年1月 (1)
2007年12月 (5)
2007年11月 (1)
2007年10月 (6)
2007年9月 (4)
2007年8月 (4)
2007年7月 (34)
2007年6月 (1)
2007年4月 (2)
2007年3月 (1)
2007年2月 (1)
2006年11月 (1)
2006年9月 (4)
2006年8月 (4)
2006年7月 (1)
2006年6月 (10)
2006年5月 (3)
2006年4月 (14)
2006年2月 (6)
2006年1月 (6)
2005年12月 (12)
收藏夹
(5)
Other(5)
IT技术
MSDN 库(中文)
欢迎使用 MSDN 库(中文),MSDN 库为使用 Microsoft® 工具、产品、技术和服务的开发人员提供必不可少的信息资源。MSDN 库包含操作方法和参考文档、示例代码、技术文章和其他内容。请浏览目录或使用搜索功能来查找所需内容。
健康
体检咨询
北京体检 体检咨询
足医生
足医生
友情链接
TestLink中文论坛
Testlink 中文论坛
备案专题
备案专题
微软大中华区安全博客
微软大中华区安全博客
存储技术
doit存储
doit 存储,存储热门论坛
ITPUB
Oracle DBA 热门中文社区
TechTarget IT专家网
蓝德科技
网络技术
ChinaUnix 中文社区
ChinaUnix 热门中文社区
搜索
最新评论
1. re: 吐槽一下阿里系软件,就是天天的升级???
评论内容较长,点击标题查看
--David
2. re: Symantec Backup exec system recovery 2010(BESR 2010)故障汇总
评论内容较长,点击标题查看
--112
3. re: OpenStack安装部署管理中常见问题解决方法(OpenStack-Lite-FAQ)
/home/stack/devstack/tools/worlddump.py -d /home/stack/logs
求救这是什么问题啊。
--陈晓龙
4. re: nokia 手机密码忘记后破解
nokia 2630,密码不见,恳请帮忙,谢谢
串号:355219037959407
lipolipo@gmail.com
--沈同学
5. re: chroot 工具 jailkit 限制用户 活动范围 和 权限 _ 笔记
是一个很好的工具嘛。感谢分享。
--少林功夫好
阅读排行榜
评论排行榜
View Post
SubVersion定期完整备份脚本(Linux)
脚本功能: 定期对一些项目进行完整备份.
project.lst 文件格式如下:
project1
project2
备份脚本如下:
#!/bin/sh
#
# subversion data backup script
# by scud http://www.jscud.com
# 2005-11-27
#
# subversion完整备份的脚本,调整好后使用crontab -e 放到自动执行里面即可.
#
#备份日志文件
LogFile=/backup/svn/svnbak.log
DATE=`date +%Y%m%d`
#备份目录
BakDir=/backup/svn/data
#日常备份目录,如果有
DailyDir=/backup/svn/daily
#要备份的项目列表文件,只有项目名
ProjectLst=/backup/svn/project.lst
#所有项目都保存在这个目录下
SvnDir=/var/svn
#svnadmin程序的路径
SVNADMIN=/app/subversion/bin/svnadmin
echo " " >> $LogFile
echo " " >> $LogFile
echo "-------------------------------------------" >> $LogFile
echo $(date +"%y-%m-%d %H:%M:%S") >> $LogFile
echo "--------------------------" >> $LogFile
cd $BakDir
#读取项目列表
PROJECTLIST=`cat $ProjectLst`
for project in $PROJECTLIST
do
projectdata=$SvnDir/$project
destdir=$BakDir/$project
dumpfile=$DATE.$project.tgz
if [ -f $BakDir/$dumpfile ]
then
echo "backup file have exist!" >>$LogFile
else
$SVNADMIN hotcopy $projectdata $destdir --clean-logs
tar czvf $dumpfile $destdir >/dev/null
rm -fr $project
echo "backup $project done into $dumpfile ">>$LogFile
fi
## delete old tgz 此处根据crontab的时间调整,例如一周一次备份,此处保留了5份备份,以前的删除
oldfile="$BakDir/"$(date +%y%m%d --date=’28 days ago’).$project.tgz
if [ -f $oldfile ]
then
rm -f $oldfile >> $LogFile 2>&1
echo "[$oldfile]Delete Old File Success!" >> $LogFile
else
echo "[$oldfile]No Old Backup File!" >> $LogFile
fi
done
#delete previous daily backup files
cd $DailyDir
rm -f *
根据自己的设置配置好后,使用crontab 放到定时执行的任务里即可.
posted on 2010-01-11 14:54
David
阅读(1644)
评论(1)
编辑
收藏
引用
所属分类:
*UNIX系统
View Comments
#
re: SubVersion定期完整备份脚本(Linux)
回复
更多评论
SVN备份策略
文章摘要:Subversion适合于规模一般(几十开发人员)的项目代码的版本管理工作。使用体验较VSS、CVS等好,推荐在选择版本管理工具时可以试用一下。
安装Subversion
1 安装svn-1.4.0-setup。
2 将SVN配置成服务。
(本文例子基于FreeBSD/Linux实现,windows环境请自己做出相应修改)
配置管理的一个重要使命是保证数据的安全性,防止服务器应硬盘损坏、误操作造成数据无法恢复的灾难性后果。因此制定一个完整的备份策略非常重要。
一般来说,备份策略应规定如下几部分内容:备份频度、备份方式、备份存放地点、备份责任人、灾难恢复检查措施及规定。
备份频度、存放地点等内容可以根据自己的实际情况自行制定;本文重点描述备份方式。
svn备份一般采用三种方式:1)svnadmin dump 2)svnadmin hotcopy 3)svnsync.
注意,svn备份不宜采用普通的文件拷贝方式(除非你备份的时候将库暂停),如copy命令、rsync命令。
笔者曾经用 rsync命令来做增量和全量备份,在季度备份检查审计中,发现备份出来的库大部分都不可用,因此最好是用svn本身提供的功能来进行备份。
优缺点分析:
==============
第一种svnadmin dump是官方推荐的备份方式,优点是比较灵活,可以全量备份也可以增量备份,并提供了版本恢复机制。
缺点是:如果版本比较大,如版本数增长到数万、数十万,那么dump的过程将非常慢;备份耗时,恢复更耗时;不利于快速进行灾难恢复。
个人建议在版本数比较小的情况下使用这种备份方式。
第二种svnadmin hotcopy原设计目的估计不是用来备份的,只能进行全量拷贝,不能进行增量备份;
优点是:备份过程较快,灾难恢复也很快;如果备份机上已经搭建了svn服务,甚至不需要恢复,只需要进行简单配置即可切换到备份库上工作。
缺点是:比较耗费硬盘,需要有较大的硬盘支持(俺的备份机有1TB空间,呵呵)。
第三种svnsync实际上是制作2个镜像库,当一个坏了的时候,可以迅速切换到另一个。不过,必须svn1.4版本以上才支持这个功能。
优点是:当制作成2个镜像库的时候起到双机实时备份的作用;
缺点是:当作为2个镜像库使用时,没办法做到“想完全抛弃今天的修改恢复到昨晚的样子”;而当作为普通备份机制每日备份时,操作又较前2种方法麻烦。
下面具体描述这三种的备份的方法:
===============
1、svnadmin dump备份工具
------------------------
这是subversion官方推荐的备份方式。
1)定义备份策略:
备份频度:每周六进行一次全量备份,每周日到周五进行增量备份
备份地点:备份存储路径到/home/backup/svn/
备份命名:全量备份文件名为:weekly_fully_backup.yymmdd,增量备份文件命名为:daily-incremental-backup.yymmdd
备份时间:每晚21点开始
备份检查:每月末进行svnadmin load恢复试验。
2)建立全量备份脚本:
在~/下建立一个perl脚本文件,名为weekly_backup.pl,执行全量备份,并压缩备份文件,代码如下(本代码只针对一个库的备份,如果是多个库请做相应改动):
#!/usr/bin/perl -w
my $svn_repos="/home/svn/repos/project1";
my $backup_dir="/home/backup/svn/";
my $next_backup_file = "weekly_fully_backup.".`date +%Y%m%d`;
$youngest=`svnlook youngest $svn_repos`;
chomp $youngest;
print "Backing up to revision $youngestn";
my $svnadmin_cmd="svnadmin dump --revision $youngest $svn_repos >$backup_dir/$next_backup_file";
`$svnadmin_cmd`;
open(LOG,">$backup_dir/last_backed_up"); #记录备份的版本号
print LOG $youngest;
close LOG;
#如果想节约空间,则再执行下面的压缩脚本
print "Compressing dump file...n";
print `gzip -9 $backup_dir/$next_backup_file`;
3)建立增量备份脚本:
在全量备份的基础上,进行增量备份:在~/下建立一个perl脚本文件,名为:daily_backup.pl,代码如下:
#!/usr/bin/perl -w
my $svn_repos="/home/svn/repos/project1";
my $backup_dir="/home/backup/svn/";
my $next_backup_file = "daily_incremental_backup.".`date +%Y%m%d`;
open(IN,"$backup_dir/last_backed_up");
$previous_youngest = <IN>;
chomp $previous_youngest;
close IN;
$youngest=`svnlook youngest $svn_repos`;
chomp $youngest;
if ($youngest eq $previous_youngest)
{
print "No new revisions to backup.n";
exit 0;
}
my $first_rev = $previous_youngest + 1;
print "Backing up revisions $youngest ...n";
my $svnadmin_cmd = "svnadmin dump --incremental --revision $first_rev $youngest $svn_repos > $backup_dir/$next_backup_file";
`$svnadmin_cmd`;
open(LOG,">$backup_dir/last_backed_up"); #记录备份的版本号
print LOG $youngest;
close LOG;
#如果想节约空间,则再执行下面的压缩脚本
print "Compressing dump file...n";
print `gzip -g $backup_dir/$next_backup_file`;
4)配置/etc/crontab文件
配置 /etc/crontab 文件,指定每周六执行weekly_backup.pl,指定周一到周五执行daily_backup.pl;
具体步骤俺就不啰嗦了.
5)备份恢复检查
在月底恢复检查中或者在灾难来临时,请按照如下步骤进行恢复:恢复顺序从低版本逐个恢复到高版本;即,先恢复最近的一次完整备份 weekly_full_backup.071201(举例),然后恢复紧挨着这个文件的增量备份 daily_incremental_backup.071202,再恢复后一天的备份071203,依次类推。如下:
user1>mkdir newrepos
user1>svnadmin create newrepos
user1>svnadmin load newrepos < weekly_full_backup.071201
user1>svnadmin load newrepos < daily_incremental_backup.071202
user1>svnadmin load newrepos < daily_incremental_backup.071203
....
如果备份时采用了gzip进行压缩,恢复时可将解压缩和恢复命令合并,简单写成:
user1>zcat weekly_full_backup.071201 | svnadmin load newrepos
user1>zcat daily_incremental_backup.071202 | svnadmin load newrepos
...
(这部分内容很多参考了《版本控制之道》)
2、svnadmin hotcopy整库拷贝方式
-------------------------
svnadmin hotcopy是将整个库都“热”拷贝一份出来,包括库的钩子脚本、配置文件等;任何时候运行这个脚本都得到一个版本库的安全拷贝,不管是否有其他进程正在使用版本库。
因此这是俺青睐的备份方式。
1)定义备份策略
备份频度:每天进行一次全量备份,
备份地点:备份目录以日期命名,备份路径到 /home/backup/svn/${mmdd}
备份保留时期:保留10天到15天,超过15天的进行删除。
备份时间:每晚21点开始
备份检查:备份完毕后自动运行检查脚本、自动发送报告。
2)建立备份脚本
在自己home目录 ~/下创建一个文件,backup.sh:
#!/bin/bash
SRCPATH=/home/svn/repos/; #定义仓库parent路径
DISTPATH=/home/backup/svn/`date +%m%d`/ ; #定义存放路径;
if [ -d "$DISTPATH" ]
then
else
mkdir $DISTPATH
chmod g+s $DISTPATH
fi
echo $DISTPATH
svnadmin hotcopy $SRCPATH/Project1 $DISTPATH/Project1 >/home/backup/svn/cpreport.log 2>&1;
svnadmin hotcopy $SRCPATH/Project2 $DISTPATH/Project2
cp $SRCPATH/access $DISTPATH; #备份access文件
cp $SRCPATH/passwd $DISTPATH; #备份passwd文件
perl /home/backup/svn/backup_check.pl #运行检查脚本
perl /home/backup/svn/deletDir.pl #运行删除脚本,对过期备份进行删除。
3)建立检查脚本
在上面指定的地方/home/backup/svn/下建立一个perl脚本:backup_check.pl
备份完整性检查的思路是:对备份的库运行 svnlook youngest,如果能正确打印出最新的版本号,则表明备份文件没有缺失;如果运行报错,则说明备份不完整。我试过如果备份中断,则运行svnlook youngest会出错。
perl脚本代码如下:
#! /usr/bin/perl
## Author:xuejiang
## 2007-11-10
##
http://www.scmbbs.com
use strict;
use Carp;
use Net::SMTP;
#### defined the var #######
my $smtp =Net::SMTP->new('mail.scmbbs.com', Timeout => 30, Debug => 0)|| die "cann't connect to mail.scmbbs.comn";
my $bkrepos="/home/backup/svn/".&get_day;#定义备份路径
my $ssrepos="
http://www.scmbbs.com
/repos";#定义仓库url
my @repos = ("project1","project2");
my $title="echo "如下是昨晚备份结果与真实库对比的情况,如果给出备份版本数,则表示备份成功;如果给报错信息或没有备份版本数,则表示备份失败:" >./report";
system $title || die "exec failedn";
foreach my $myrepos(@repos)
{
my $bkrepos1=$bkrepos."/".$myrepos;
my $ssrepos1=$ssrepos."/".$myrepos;
my $svnlookbk1 = "echo "$myrepos 昨晚备份的版本是:">>./report;svnlook youngest ".$bkrepos1." >> ./report 2>&1";
my $svnlookss1 = "echo "$myrepos 真实库中的最新版本及最后修改时间是:">>./report;svn log -r'HEAD' ".$ssrepos1." >> ./report 2>&1";
system $svnlookbk1 || die "exec failedn";
system $svnlookss1 || die "exec failedn";
}
my $body ="echo "=========================================================================" >>./report";
my $bottom ="echo "备份位置:来自
http://www.scmbbs.com
的".$bkrepos."" >>./report";
system $body || die "exec failedn";
system $bottom || die "exec failedn";
###### report the result ####
open(SESAME,"./report")|| die "can not open ./report";
my @svnnews = <SESAME>;
close(SESAME);
foreach my $line1 (@svnnews)
{
print $line1."n";
}
my @email_addresses =("scm@list.scmbbs.com","leader1@scmbbs.com","leader2@scmbbs.com");
my $to = join(', ', @email_addresses);
$smtp->mail("scm@scmbbs.com");
$smtp->recipient(@email_addresses);
$smtp->data();
$smtp->datasend("Toton");
$smtp->datasend("From: svnReport@scmbbs.comn");
$smtp->datasend("Subject:svn备份检查报告".&get_today."n");
$smtp->datasend("Reply-to:scm@scmbbs.comn");
$smtp->datasend("@svnnews");
$smtp->dataend();
$smtp->quit;
#############
sub get_today
{
my( $sec, $min, $hour, $day, $month, $year ) = localtime( time() );
$year += 1900;
$month++;
my $today = sprintf( "%04d%02d%02d", $year, $month, $day);
return $today;
}
sub get_day
{
my( $sec, $min, $hour, $day, $month, $year ) = localtime( time() );
$year += 1900;
$month++;
my $today = sprintf( "%02d%02d", $month, $day);
return $today;
}
4)定义删除脚本
由于是全量备份,所以备份不宜保留太多,只需要保留最近10来天的即可,对于超过15天历史的备份基本可以删除了。
在/home/backup/svn/下建立一个perl脚本:deletDir.pl
(注意,删除svn备份库可不像删除普通文件那么简单)
5)修改/etc/crontab 文件
在该文件中指定每晚21点执行“backup.sh”脚本。
3、svnsync备份
-----------------------
使用svnsync备份很简单,步骤如下:
1)在备份机上创建一个空库:svnadmin create Project1
2)更改该库的钩子脚本pre-revprop-change(因为svnsync要改这个库的属性,也就是要将源库的属性备份到这个库,所以要启用这个脚本):
cd SMP/hooks;
cp pre-revprop-change.tmpl pre-revprop-change;
chmod 755 pre-revprop-change;
vi pre-revprop-change;
将该脚本后面的三句注释掉,或者干脆将它弄成一个空文件。
3)初始化,此时还没有备份任何数据:
svnsync init file:///home/backup/svn/svnsync/Project1/
http://svntest.subversion.com/repos/Project1
语法是:svnsync init {你刚创建的库url} {源库url}
注意本地url是三个斜杠的:///
4)开始备份(同步):
svnsync sync file:///home/backup/svn/svnsync/Project1
5)建立同步脚本
备份完毕后,建立钩子脚本进行同步。在源库/hooks/下建立/修改post-commit脚本,在其中增加一行,内容如下:
/usr/bin/svnsync sync --non-interactive file:///home/backup/svn/svnsync/Project1
你可能已经注意到上面的备份似乎都是本地备份,不是异地备份。实际上,我是通过将远程的备份机mount(请参阅mount命令)到svn服务器上来实现的,逻辑上看起来是本地备份,物理上实际是异地备份。
2010-01-29 17:42 |
David
刷新评论列表
只有注册用户
登录
后才能发表评论。