数据的实时同步-山行野宿的博客

Windows Windows 2个月前 (08-15) 7次浏览 未收录 0个评论 扫描二维码

一、两主机间数据的实时同步 1.同步原理

利用监控服务(inotify),监控同步数据服务器目录中信息的变化发现目录中数据产生变化,就利用rsync服务推送到备份服务器上

2.实现方式

inotify+rsync方式实现数据同步sersyncinotify 软件基础上进行开发的,功能更加强大

3.
inotify

异步的文件系统时间监控机制,利用事件驱动机制,而无须通过诸如cron等的轮询机制来获取事件,linux内核从2.6.13起支持 inotify,通过inotify可以监控文件系统中添加、删除,修改、移动等各种事件

4.实现数据同步的软件

inotify-tools,sersync,lrsyncd

二、
inotify
rsync实现实时同步

1.inotify对同步数据目录信息的监控2.rsync完成对数据的同步3.利用脚本进行结合

三、具体步骤 1.在服务端安装
rsync

yum install rsync

2.配置
rsync的配置文件

vim /etc/rsync.conf
uid = root
gid = root
use chroot = no
max connections = 0
ignore errors
exclude = lost+found/
log file = /var/log/rsyncd.log   //日志文件路径
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock  //锁文件路径
reverse lookup = no
hosts allow = 192.168.30.16/24 //允许此主机同步
[backup]
path = /backup/   //同步数据路径
comment = backup    //共享说明
read only = no      //非只读
auth users = javis  //允许此用户访问
secrets file = /etc/rsync.pass  //账号文件路径

3.服务器端生成验证文件

echo "javis:zhuzhuzhu" > /etc/rsync.pass
chmod 600 /etc/rsync.pass

4.服务器端准备目录

mkdir /backup

5.启动服务

rsync  --deamon  //可加入/etc/rc.d/rc.local实现开机启动

6.客户端配置密码文件

echo "zhuzhuzhu"  > /etc/rsync.pass
chmod 600 /etc/rsync.pass

7.客户端安装软件

yum install inotify-tools rsync -y

8.客户端测试同步数据

rsync  -avz  --password-file=/etc/rsync.pass  /data/ javis@192.168.30.6::backup

9.编写客户端脚本
inotify_rsync.sh实现同步

#!/bin/bash
SRC='/data/'  //需要同步的目录
DEST='javis@192.168.30.6::backup'  //同步到的目录
inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e create,delete,moved_to,close_write,attrib ${SRC} |while read DATE TIME DIR FILE;do
FILEPATH=${DIR}${FILE}
rsync -az --delete --password-file=/etc/rsync.pass $SRC $DEST &&  echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> /var/log/changelist.log
done

10.inotifywait命令常见选项

-m, –monitor 始终保持事件监听-d, –daemon 以守护进程方式执行,和-m相似,配合-o使用-r, –recursive 递归监控目录数据信息变化-q, –quiet 输出少量事件信息–timefmt <fmt> 指定时间输出格式–format <fmt> 指定的输出格式;即实际监控输出内容-e 指定监听指定的事件,如果省略,表示所有事件都进行监听–exclude <pattern> 指定排除文件或目录,使用扩展的正则表达式匹配的模式实现–excludei <pattern> 和exclude相似,不区分大小写-o, –outfile <file>打印事件到文件中,相当于标准正确输出-s, –syslogOutput 发送错误到syslog相当于标准错误输出

11. –timefmt <fmt>时间格式,参考 man 3 strftime

%Y 年份信息,包含世纪信息%y 年份信息,不包括世纪信息%m 显示月份,范围 01-12%d 每月的第几天,范围是 01-31%H 小时信息,使用 24小时制,范围 00-23%M 分钟,范围 00-59

12.–format <fmt> 格式定义

%T 输出时间格式中定义的时间格式信息,通过 –timefmt option 语法格式指定时间信息%w事件出现时,监控文件或目录的名称信息%f 事件出现时,将显示监控目录下触发事件的文件或目录信息,否则为空%e 显示发生的事件信息,不同的事件默认用逗号分隔%Xe显示发生的事件信息,不同的事件指定用X进行分隔

13.-e 选项指定的事件类型

create 文件或目录创建delete 文件或目录被删除modify 文件或目录内容被写入attrib 文件或目录属性改变close_write 文件或目录关闭,在写入模式打开之后关闭的close_nowrite 文件或目录关闭,在只读模式打开之后关闭的close 文件或目录关闭,不管读或是写模式open 文件或目录被打开moved_to 文件或目录被移动到监控的目录中moved_from 文件或目录从监控的目录中被移动move 文件或目录不管移动到或是移出监控目录都触发事件access 文件或目录内容被读取delete_self 文件或目录被删除,目录本身被删除unmount 取消挂载

喜欢 (0)
[]
分享 (0)
关于作者:
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址