Linux rsync

rsync 란?

rsync(remote sync)는 원격에 있는 파일과 디렉토리를 복사하고 동기화 하기 위해서 사용하는 툴이며 동시에 네트워크 프로토콜이다.

리눅스와 유닉스에서는 백업용도로 사용하는 툴이며 rsync는 CLI툴로 커맨드 라인의 옵션들을 이용해서 배치 프로그램을 개발하기 쉽다는 장점이 있다.

이 스크립트를 cron 등에 올리는 걸로간단하게 백업 혹은 미러(mirror)시스템을 구축할 수 있다.

rsync의 기능상 장점들

- 원격 시스템으로부터 파일을 효율적으로 복사하거나 동기화 할 수 있다.

- Link, device, 파일의 소유자와 그룹권한등 파일의 부가정보도 복사할 수 있다.

- scp보다 빠르다. rsync는 remote-update 프로토콜을 이용해서 차이가 있는 파일만 복사한다.

  처음에는 모든 파일과 디렉토리를 복사하겠지만 다음부터는 차이가 있는 파일만 복사하기 때문에 더 빠르고 효율적으로 작동한다.

- 데이터를 압축해서 송/수신하기 때문에 더 적은 대역폭을 사용한다.

rsync의 동기화 알고리즘

1) 파일 전송 결정

기본적으로 rsync는 파일의 크기와 수정 시간을 비교하는 것으로 파일을 전송할지 말지 결정한다.

이 방법은 아주 작은 CPU 자원을 소모하지만 실수가 발생할 수 있다.

일반적으로 파일의 내용을 변경하면 크기와 수정시간이 변하지만 항상 그렇다고 단정할 수는 없기 때문이다.

--checksum 옵션을 이용하면 비교 방법을 개선할 수 있다. 이 옵션을 켜면 파일의 checksum을 비교한다.

크기/시간을 이용한 비교 방법보다 안전하지만 더 느리고 더 많은 자원을 사용한다.

2) 전송할 파일 부분의 결정

파일 전송을 결정했다고 가정해보자. 파일을 전송하기 위한 간단한 방법은 전체 파일을 그대로 복사해버리는 것이다.

쉬운방법인데 파일의 크기가 클 경우 효율적이지않다.

1G크기의 파일이 있을때 바뀐 부분이 1K라고 하면 1K의 수정  내용때문에 1G를 복사하게 된다.

rsync는 파일의 변경된 부분만 효과적으로 복사하기 위한 알고리즘을 가지고 있다.

rsync는 파일의 고정 크기를 가지는 청크(chunk)로 나눈 다음에 checksum을 계산한다.

이 checksum을 서로 계산해서 다를 경우 해당 부분의 청크만을 복사한다.

만약 앞 부분의 정보가 수정되어 정보들이 밀린다면 모든 청크의 checksum이 어긋날 것이다.

이 문제를 피하기 위해서 Rolling hash를 사용한다.

---

rsync 사용법

명령어

# rsync [options] [source] [destination]

옵션

-a : 아카이브 모드로 자주 사용하는 옵션을 하나로 묶는 옵션(파일 스탬프, 퍼미션, 소유자 정보를 그대로 복사)

-v : 상세모드로 실제 복사하는 파일 목록과 전송량을 표시하는 옵션으로 명령어 실행결과를 바로 확인

-n : dry-run모드로 실제 파일 복사는 하지 않고 처리될 대상 파일목록만 출력

-r : 하위 디렉토리 포함하여 전송

-z : 데이터 파일을 압축

-c : checksum을 사용하는 옵션

-b : 동기화할 디렉토리아 이미 파일이 존재하는 경우 동기화할 디렉토리에 백업(이 경우 기본적으로 ~ 가 붙음)

-u : 동기화할 디렉토리에 원본보다 최신파일이 있을 경우 해당 파일은 복사하지 않음

-d : 동기화 소스에 없는 파일이 동기화할 곳에 있는 경우 그 파일을 삭제

-h : 결과를 사람이 읽기편한 포맷으로 출력

-i : 모든 업데이트를 요약하여 출력

-p : 퍼미션 정보를 유지하면서 동기화

-o : 소유자 정보를 유지하면서 동기화(root 권한을 가진 유저만 사용가능)

-g : 그룹 정보를 유지하면서 동기화

-e : ssh, rsh 같은 remote shell 프로그램을 선택(안전한 통신을 보장해주는 ssh를 이용하는데 -e 옵션이 없다면 ssh를 사용)

--progress : 전송 진행상황을 표시

--stats : 결과 보고

--delete : 원본 서버에 없는 파일은 백업 서버에서 삭제

--exclude : 제외할 파일 지정

--bwlimit : 대역폭(복사속도) 제어

--daemon : rsync를 데몬 모드로 실행

--max-size : 특정 크기 이상 파일 제외 (rsync 2.6.4 버전부터 추가된 옵션)

--min-size : 특정 크기 이하 파일 제외 (rsync 2.6.7 버전부터 추가된 옵션)

참조URL : http://gyus.me/?p=214

설치

# yum install rsync

---

rsync 사용 예제

로컬내에서 파일과 디렉토리 복사 및 동기화

1) 로컬에서 파일 복사 및 동기화

원격파일 복사 프로그램이지만 로컬에서 사용해도 문제가 없다. 만약 목적지 디렉토리가 없다면 자동으로 디렉토리를 생성

2) 로컬에서 디렉토리 복사 및 동기화

디렉토리를 로컬의 다른 위치로 복사할 수 있다. moniwiki 디렉토리를 /tmp/backups 디렉토리로 복사했다.

moniwiki 디렉토리를 다시 한번 복사해봤다. rsync의 설명이 맞다면 복사하는 파일이 없어야 할 것이다.

파일을 하나 추가해서 추가된 파일만 복사되는지 확인 (README.txt. 파일을 생성하였고 해당 파일만 복사가 되었다)

README.txt. 파일만 수정한 후 rsync를 실행하였을 때 수정된 README.txt 파일이 동기화된다.

서버로부터 파일과 디렉토리를 복사 혹은 동기화 하기

1) 로컬에 있는 moniwiki 디렉토리를 원격 서버로 복사하는 예제

2) 원격 서버의 디렉토리를 로컬 서버로 복사하기

rsync server 모드로 사용

--daemon 옵션을 이용하여 서버모드로 작동할 수있다. xined를 이용해 시스템 서비스로 등록

1) xinetd 패키지 설치

# yum install xinetd

2) /etc/xinetd.d/rsync 설정 파일 생성

3) rsync 설정파일은 /etc/rsync.conf이고 파일이 없는 경우 직접 만들어야 한다.

- 복사(동기화) 디렉토리로 /home/share를 선택했다.

- 읽기/쓰기 모두 가능하게 했다.

- 디렉토리에 대한 소유자는 nobody.nogroup로 했다. /home/share 소유자를 nobody.nogroup로 변경한다.

- 접속 허용 유저로 yundream을 추가했다.

- auth users에 대한 설정파일은 /etc/rsyncd.secrets에 저장한다

4) /etc/rsyncd.serets 파일에 접속유저와 패스워드를 설정할 수 있다. (패스워드를 mypassword 로 설정)

5) 읽기 테스트

6) 쓰기 테스트

데이터 복사 진행 상황 확인하기

--progress 옵션을 키면 진행정도를 화면에 출력

include, exclude 옵션

include와 exclude 옵션을 이용해서 복사할 파일을 추가하거나 제외할 수 있다.

data 디렉토리를 복사에서 제외

*도 사용할 수 있다.

delete 옵션

rsync는 파일이나 디렉토리가 없으면 새로 만든다. 그러나 파일이나 디렉토리가 존재할 경우 삭제하고 싶을때 이 옵션을 사용한다.

로컬 서버에 text.txt 파일이 있으면 삭제한 후 복사하는 예제

전송할 파일의 최대 크기를 정하기

--max-size 옵션을 이용해서 전송할 파일의 최대크기를 정할 수있다

10K 이내의 파일만 복사하는 예제

성공적으로 전송한 후 원본파일 지우기

--remove-source-files를 이용하면 전송이 끝난 후 원본파일을 삭제

Bandwidth 제한 설정

--bwlimit 옵션을 이용해서 파일 전송에 사용할 네트워크 대역폭을 제한할 수 있다.

인터넷 서비스중인 서버를 다른 서비스에 영향을 주지않는 범위내에 파일 복사를 원할 경우 사용

bwlinit를 사용해서 대역폭 제한

참조 URL : https://www.joinc.co.kr/w/Site/Tip/Rsync