AWS DataPipeline

AWS DataPipeline

728x90

# AWS DataPipeline 이란?

AWS Data Pipeline은 파이프라인 정의를 바탕으로 작업을 정하고, 작업 일정을 수립하고, 작업 실행기에 할당합니다. 작업이 성공적으로 완료되지 못하면, AWS Data Pipeline은 지시에 따라 작업을 재시도하고 필요할 경우 다른 작업 실행기에 재할당합니다. 작업이 반복적으로 실패하면 파이프라인이 알림 메시지를 보내도록 구성할 수 있습니다.

예를 들어, 파이프라인 정의에서 애플리케이션에 의해 생성된 로그 파일이 2013년도에 매월 Amazon S3 버킷에 보관되도록 지정할 수 있습니다.AWS Data Pipeline이 해당 월의 일수가 30일이든, 31일이든, 28일이든, 29일이든 상관없이 각각 한 달 치의 데이터에 대해 복사를 수행하는 12개 작업을 생성합니다.

- AWS DataPipeline 구성요소?

데이터 노드: 작업에 사용되는 입력 데이터의 위치 또는 출력 데이터를 저장할 위치

Activities: 컴퓨팅 리소스와 일반적인 입력 및 출력 데이터 노드를 사용하여 일정대로 수행할 작업의 정의

Preconditions: 작업 실행 전에 반드시 충족되어야 할 조건문.

파이프라인 일정 조정: 예약된 이벤트의 타이밍을 정의합니다. (예: 활동 실행 시점)

Resources: 파이프라인에서 정의한 작업을 수행하는 컴퓨팅 리소스입니다.

Actions: 지정된 조건(예: 활동 실패)이 충족될 때 트리거되는 작업입니다.

1. 파이프라인 생성

glue stuio를 이용한 데이터 파이프 라인 구축...

728x90

공유하기 글 요소 저작자표시

from http://may9noy.tistory.com/426 by ccl(A) rewrite - 2021-12-28 14:27:06