1. 데이터 파이프라인이란? - 데이터 파이프라인은 '데이터가 지나가는 길'을 뜻한다. 물론 데이터가 지나가는 모든 길을 그렇게 부르지는 않는다. 데이터 파이프라인은 데이터의 이동이 어느 정도 체계화, 자동화된 것으로 수집, 가공, 처리, 저장 등이 함께 일어난다. 예시로 인터넷 쇼핑몰에서 구매가 발생하면 구매 기록 데이터가 생성-수집된 후 일련의 처리 과정을 거쳐 데이터 웨어하우스에 저장되는데, 이를 '데이터 웨어하우스'까지 이동한 경로를 데이터 파이프라인이라고 한다. + ETL 추출, 가공, 적재를 뜻하는 ETL은 다양한 데이터 파이프라인 중 하나이다. ETL도 데이터가 흐르는 길로 데이터 추출에서 시작해 가공, 저장으로 이어지는 경우를 특정해 이야기하는 것이다. 또한 실무에서는 ETL을 주기적으로 ..
