[AWS] 7. Amazon S3와 Amazon Glacier

구분	내용
서비스명	Amazon S3(Simple Storage Services)
설명	어디서나 원하는 양의 데이터를 저장하고 검색할 수 있도록 구축된 객체 스토리지
주요 특징	- 2006년에 출시된 최초의 AWS 서비스 - 객체 기반의 무제한 파일 저장 스토리지 - URL을 통해 손쉽게 파일 공유 기능 제공 - 99.9% 내구성 - 정적 웹 사이트 호스팅 서비스 제공 기능
프리티어(Free Tier)	- 5GB Amazon S3 표준 스토리지 - Get 요청 20,000건, Put 요청 2,000건 - 가입 후 12개월 이후에 종료됨

 

 

Amazon S3 활용 분야

• 백업 및 복구(Backup & Restore)
• 데이터 아카이빙(Data Archiving)
• 빅데이터 분석을 위한 데이터 레이크(Data Lake)
• 하이브리드 클라우드 스토리지(Hybrid Cloud Storage)
• 재해복구(Disaster Recovery)

 

 

Amazon S3 스토리지 클래스

• Amazon S3 Standard - 무제한 저장 가능한 스토리지: 자주 액세스하는 데이터용으로 내구성, 가용성 및 성능이 뛰어남 / 99.9% 가용성과 내구성 제공 설계를 지원
• Amazon S3 Standard - IA(Infrequent Access): 액세스 빈도 낮으며, 빠르게 액세스가 필요한 데이터 / 내구성 및 성능 99.9%, 가격은 기존 S3 대비 58%로 저렴
• Amazon S3 One Zone - IA(Infrequent Access): 액세스 빈도 낮으며, 빠르게 액세스가 필요한 데이터 / 단일 AZ에 데이터를 저장함으로써 S3 Standard-IA 대비 20%
• Amazon Glacier - 데이터 백업용 스토리지: 데이터 보관을 위한 안전하고 안정적이며 비용이 매우 저렴한 스토리지 / S3 Standard 대비 최고 77%까지 저렴
• Amazon S3는 여러 사용 사례에 맞춰 설계된 다양한 스토리지 클래스를 통해 용도에 맞게 사용자가 선택할 수 있는 옵션을 제공한다.

 

 

구분	내용
서비스명	Amazon Glacier
설명	데이터 아카이빙(Data Archiving)을 위한 안전하고 안정적인 장기 객체 스토리지
주요 특징	- S3와 같은 99.9% 내구성 - 몇 분에서 몇 시간 내 데이터 꺼내기 제공(클래스에 따라) - S3 대비 최대 77% 저렴한 가격 - 아카이빙, 장기간 백업 및 오래된 로그 데이터 - Secure, Durable, Highly-Scalable
프리티어(Free Tier)	데이터 보관에 대해 프리티어 제공하지 않음(단, 월별 10GB의 Amazon Glacier 데이터 검색 무료 제공)

 

 

Amazon Glacier 데이터 접근 방법

• API나 SDK를 활용한 프로그램 개발을 통해 깊게 저장된 데이터를 위한 Glacier에 직접 접속한다.
• S3의 라이프 사이클과 통합을 통해 오래된 데이터에 대해 Glacier로 자동 이관한다.
• 기존 Backup 인프라와 3rd Party Tool과의 연계 및 AWS Storage Gateway 통합을 통해 거부감 없는 방식으로 데이터 백업 및 보관 기능을 제공한다.

 

 

Amazon Glacier 데이터 검색 요금

• 긴급(Emergency access): 1-5minutes / Last minute play-out schedule swap / $0.03GB / On-site tape replacement
• 표준(Current model): 3-5hours / 재해 복구용 / 0.01GB
• 대량(Batch/Bulk access): 5-12hours / PB 사이즈의 retranscoding or 비디오 및 이미지 분석용 / 0.0025GB / Off-site tape replacement
• Glacier는 보관된 데이터 액세스를 위한 검색 속도에 따라 다음과 같은 검색 요금 정책을 제공한다.

 

 

실습: 무한대로 저장 가능한 Amazon S3로 파일 업로드 및 삭제하기

step 1 Amazon S3로 파일 업로드 및 삭제

1. 서비스 선택 항목에서 [S3]를 선택한다.

2. [버킷 만들기] 버튼을 클릭한다.

* S3 서비스 사용을 위해 고유한 컨테이너인 버킷(Bucket)을 생성해야 하며, 버킷은 리전 단위로 생성되고 리전 내에 고유한 별칭을 사용해야 한다. *

 

3. [일반 구성] 항목에서 원하는 버킷 이름을 입력하고 리전은 "아시아 태평양(서울)"로 선택한다.

4. [퍼블랙 액세스 차단을 위한 버킷 설정] 항목에서 "모든 퍼블랙 액세스 차단" 체크를 해제하고 "현재 설정으로 인해 ~"를 체크한 후 맨 밑에 [버킷 만들기] 버튼을 클릭한다.

5. 버킷이 생성되었음을 확인하고 버킷 이름을 클릭한다.

6. [폴더 만들기] 버튼을 클릭한다.

7. 폴더 이름에 "upload_test"를 입력한 후 [폴더 만들기] 버튼을 클릭한다.

8. 폴더가 생성되었음을 확인하고 폴더 이름을 클릭한다.

9. [업로드] 버튼을 클릭한다.

10. [파일 추가] 버튼을 클릭하여 아무 파일이나 추가한 후 맨 밑에 [업로드] 버튼을 클릭한다.

11. 파일이 정상적으로 업로드되었음을 확인하고 파일 이름을 클릭한다.

12. 업로드된 파일을 확인하기 위해 [객체 URL]을 클릭한다.

13. 현재는 접근 권한이 없기 때문에 다음과 같이 에러가 표시된다.

14. 이전 페이지로 이동하여 [권한] 탭에서 [편집] 버튼을 클릭한다.

15. 모든 사람(퍼블릭 액세스)의 객체 읽기를 선택한 후 맨 밑에 [변경 사항 저장] 버튼을 클릭한다.

16. 다시 객체 URL을 클릭하여 들어가면 업로드된 이미지를 확인할 수 있다.

17. 폴더 또는 파일 삭제를 원하는 경우 삭제할 대상을 체크한 후 [삭제] 버튼을 클릭한다.

18. 삭제할 객체를 확인한 후 "삭제"를 입력하고 [객체 삭제] 버튼을 클릭한다.

19. 객체가 성공적으로 삭제된 것을 확인할 수 있다.

 

step 2 PC의 파일을 Amazon S3로 백업하기

1. S3에 접속한 후 폴더 만들기를 통해 "backup_test" 폴더를 생성한다.

2. AWS CLI 사용을 위해 IAM 계정 생성이 필요하기 때문에 서비스 선택 항목에서 [IAM]을 선택한다.

3. [사용자] 메뉴에서 [사용자 추가] 버튼을 클릭한다.

4. 사용자 이름에 "AWS_Admin"을 입력하고 "프로그래밍 방식 액세스"를 체크한 후 [다음: 권한] 버튼을 클릭한다.

5. "기존 정책 직접 연결"을 선택하고 "AdministratorAccess"를 선택한 후 [다음: 태크] 버튼을 클릭한다.

6. 태크 추가는 하지 않고 [다음: 검토] 버튼을 클릭한다.

7. 사용자 생성 정보를 확인한 후 [사용자 만들기] 버튼을 클릭한다.

8. 프로그래밍 접근을 위한 필요한 인증 정보 확인을 위해 [.csv 다운로드] 버튼을 클릭한다. 

9. AWS CLI 설치를 위해 http://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-cliv2.html로 접속하여 [Windows에서 AWS CLI 버전 2 설치, 업데이트 및 제거]를 클릭한다.

10. AWS CLI 버전 2를 설치하기 위해 [https://awscli.amazonaws.com/AWSCLIV2.msi]를 클릭하여 다운로드 받은 후 설치한다.

11. 윈도우+R을 누른 후 "cmd"를 입력하여 Command 창을 띄운다.

12. 다운로드 받은 CSV 파일을 열어 인증 정보를 확인한다.

13. "aws configure"을 입력한 후 확인한 인증 정보를 입력하고 region name은 "us-east-1", ouput format은 "json"을 입력한다.

14. "aws s3 sync '백업할 로컬 파일 경로' s3://버킷명/폴더 경로"을 입력한다.

* 해당 명령어는 로컬 폴더 전체의 파일을 "S3://버킷명/폴더 경로"로 폴더 전체 내용을 동기화 시키는 명령어다. 따라서 주기적으로 해당 명령어를 실행하여 S3로 백업할 수 있으며, 일일이 파일을 지정하지 않아도 되므로 파일 백업이 매우 편리하다. *

 

15. S3로 이동하여 파일이 정상적으로 동기화되었는지 확인한다.

16. 파일 백업 자동화를 하기 위해 메모장을 이용해서 명령어를 입력한 후 "file_backup.bat"라는 이름의 배치 파일을 만들어 PC에 저장한다.

17. 작업 스케줄러를 실행하여 [작업 만들기]를 클릭한다.

18. 일반 탭에서 이름은 "AWS File Backup"을 입력하고 "사용자가 로그온할 때만 실행"과 "가장 높은 수준의 권한으로 실행"을 체크한다.

19. 트리거 탭에서 [새로 만들기] 버튼을 클릭한 후 "매일", "오전 6:00:00", "사용"을 선택하고 [확인] 버튼을 클릭한다.

20. 동작 탭에서 [새로 만들기] 버튼을 클릭한 후 이전에 생성한 배치 파일을 선택하고 [확인] 버튼을 클릭한다.

21. 작업 스케줄의 모든 설정을 확인한 후 [확인] 버튼을 클릭한다. 그리고 생성한 작업을 실행하여 "실행 중"으로 바뀌었는지 확인한다.

22. 정상적으로 파일 백업이된 것을 확인할 수 있고 이후 작업 스케줄의 옵션을 조정하여 원하는 형태로 파일 백업 및 동기화를 수행할 수 있다.