1. 데이터 엔지니어란 ? - 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로, 데이터 관리뿐 아니라 수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수를 담당한다. 또한 사내 데이터 분석 도구나 시각화 도구를 직접 개발하기도 한다. (개발자와 가장 가까운 형태) 2. 데이터 엔지니어의 자세한 업무 1. 파이프라인 구축, 관리 및 유지 보수 : 데이터가 흐르는 과정 구축 및 관리 유지 보수 -> 1.데이터 레이크 : 데이터를 한곳에 가공 없이 저장하는 것 (아마존의 S3) -> 2.데이터 가져오기 : 데이터 웨어하우스에 저장하는 과정 (아마존-Redshift, 구글-BigQuery, IBM-Db2) -> 3.데이터 마트 : 데이터 웨어하우스의 하위 부분, 실제 사용하는 부서 레벨이나 주제로..
