매석의 메모장

1. 데이터 애널리스트란? - 데이터에서 기업의 현재 상태와 관련된 인사이트를 도출해 경영진에게 효율적으로 전달하는 업무를 하는 담당한다. 주로 간단한 데이터 분석 도구나 대시보드 등과 같은 다양한 시각화 도구를 활용해 데이터에서 인사이트를 발견하는 일을 한다. 2. 데이터 애널리스트의 업무 1. 데이터 준비 데이터를 활용해 조직의 현재 상태를 진단하기 위한 '데이터 준비', '데이터 분석을 통한 비즈니스 인사이트 도출', '데이터 시각화' 등과 같은 업무를 수행한다. 데이터 엔지니어는 이미 기업이 보유하고 있는 정형 데이터를 활용한다. 이 데이터는 데이터 엔지니어가 설계한 DB에 저장된 표준화 데이터를 의미하는데, 여기서 필요한 데이터에서 가져온 것을 데이터 준비라고 한다. (매번 같은 형태의 데이터 ..

1. 데이터 엔지니어란 ? - 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로, 데이터 관리뿐 아니라 수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수를 담당한다. 또한 사내 데이터 분석 도구나 시각화 도구를 직접 개발하기도 한다. (개발자와 가장 가까운 형태) 2. 데이터 엔지니어의 자세한 업무 1. 파이프라인 구축, 관리 및 유지 보수 : 데이터가 흐르는 과정 구축 및 관리 유지 보수 -> 1.데이터 레이크 : 데이터를 한곳에 가공 없이 저장하는 것 (아마존의 S3) -> 2.데이터 가져오기 : 데이터 웨어하우스에 저장하는 과정 (아마존-Redshift, 구글-BigQuery, IBM-Db2) -> 3.데이터 마트 : 데이터 웨어하우스의 하위 부분, 실제 사용하는 부서 레벨이나 주제로..

1. 데이터 엔지니어 - 업무 : 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로, 데이터 관리뿐 아니라 수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수를 담당한다. 또한 사내 데이터 분석 도구나 시각화 도구를 직접 개발하기도 한다. (개발자와 가장 가까운 형태) - 필요능력 : SQL, (자바, JS, 파이썬, C/C++ 중 1), 하둡,스파크와 같은 빅데이터 도구, 도커 개발 및 배포 경험 데이터 엔지니어 - 업무, 필요 능력, 취업 팁 한번에 정리 1. 데이터 엔지니어란 ? - 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로, 데이터 관리뿐 아니라 수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수를 담당한다. maeseok.tistory.com 2. 데이터 애널리스..