데이터 엔지니어 - 업무, 필요 능력, 취업 팁 한번에 정리

1. 데이터 엔지니어란 ?

- 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로, 데이터 관리뿐 아니라
수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수를 담당한다. 또한 사내 데이터 분석 도구나
시각화 도구를 직접 개발하기도 한다. (개발자와 가장 가까운 형태)

2. 데이터 엔지니어의 자세한 업무

1. 파이프라인 구축, 관리 및 유지 보수 : 데이터가 흐르는 과정 구축 및 관리 유지 보수
-> 1.데이터 레이크 : 데이터를 한곳에 가공 없이 저장하는 것 (아마존의 S3)
-> 2.데이터 가져오기 : 데이터 웨어하우스에 저장하는 과정 (아마존-Redshift, 구글-BigQuery, IBM-Db2)
-> 3.데이터 마트 : 데이터 웨어하우스의 하위 부분, 실제 사용하는 부서 레벨이나 주제로 접근 가능하게 가공한 시스템
1+2+3 = ETL 파이프라인(추출,가공,적재) - 이 과정 한 번에 처리하는 플랫폼 or 직접 개발해서 사용하기도 함

- 데이터 플랫폼 : ETL 파이프라인을 구성하기 위한 애플리케이션의 집합 , 각종 데이터베이스 분석과 시각화 등에
활용할 수 있도록 제공하는 환경을 말한다. (아래 애플리케이션)
-> 데이터 수집 : Logstash, fluentD
메시지 큐 서비스 : Kafka, Redis (배달 성능 최적화와 안정성 향상 )
데이터베이스 : RDB, NoSQL (데이터를 저장하고 분석)
시각화 지원 : 스팟파이어, 테블로, 키바나

2. 기타 도구 및 애플리케이션 개발
- ETL 파이프라인 플랫폼에서 제공하지 않는 기능을 개발하는 것 역시 업무
- 사용 BI(Business Intelligence) 도구나 시각화 솔루션을 조합하는 과정에서 다양한 형태의 애플리케이션을 개발하기도 함

3. 다른 직무와의 차이점

1. 데이터 아키텍트 : 비즈니스 요구사항을 분석해 구축된 정보 시스템의 데이터를 사용
-> 요구사항 분석, 전략 수집, 데이터팀 관리 등의 업무 수행
2. DBA : 데이터베이스를 설계하고 관리
-> 스키마 설계 (데이터베이스 내의 데이터가 어떤 구조와 형태로 저장돼 있는지를 정의한 것을 설계)
3. 백엔드 개발자
-> 서로 구분되어있다면 데이터 엔지니어가 UI 개발에도 참여 -> 파이프라인 설계를 위해

- 즉 파이프라인 구축, 관리 및 유지 보수, 기타 도구 및 애플리케이션 개발을 하는 데이터 엔지니어는
위의 3가지 직종의 세부내용과 비교하면 차이가 있는 것을 확인할 수 있다.

4. 성공 요소

1. 지식 및 스킬 :SQL과 Python은 필수, 데이터 수집 애플리케이션, 데이터 저장소, 관계형 데이터베이스 프로그램 지식
(인프라 구성을 위한 여러 플랫폼의 장단점과 종류를 알고 있어야 비교, 분석이 가능하기 때문이다.)
컴퓨터 시스템에 대한 지식(컴퓨터의 동작과 분산 처리의 원리, 파일 시스템과 포맷, 프로토콜 등의
네트워크,클라우드 등) -> 도움 자격증 : Google Cloud Certified Professional Data Engineer, 머신러닝 개념

2. 성향 및 태도 : 넓은 시야(문제가 생기면 전체 구성을 볼 수 있는 넓은 시야), 협업(업무가 방대하여 협업필요)

5. 취업 팁

1.본인이 했던 것을 정확히 알고 있는지(많이한거말고->어떤 문제를 얼마나 깊이 고민했고, 끝까지 고민했는지)
EX)기술 사용 가능 -> 그 기술의 원리를 설명할 수 있어야 함(어떻게 설정, 의미, 무엇을 해결할 수 있는지)
2. 캐글, 데이콘과 같은 데이터 분석 경진대회에 참여(한 분야나 하나의 문제를 깊게 고민)
3. 실무경험


출처 :빅데이터 커리어 가이드북 : 네이버 도서 (naver.com)

다른 직업군의 내용은 아래 링크를 참조

빅데이터 직업 종류 5가지 소개