매석의 메모장

1. 데이터 기획자란? - 빅데이터 비즈니스 사이클의 계획과 원활한 운영을 책임지는 사람이다. 목표를 설계하고, 그 목표를 실행하기 위한 데이터, 시스템, 인력을 효율적으로 운영해야 한다. 그리고 간단한 시각화나 분석을 통해 프로젝트의 방향을 정하고, 데이터 기술의 동향을 파악해 적절한 기술이 프로젝트에 적용되고 있는지는 살펴야 한다. 2. 데이터 기획자의 업무 - 빅데이터 프로젝트를 이끄는 사람으로, 요구사항을 제시하는 클라이언트와 소통하는 역할을 합니다. 클라이언트의 이해도에 맞게 요구사항을 빅데이터 전문 영역의 언어로 다시 구체화해서 최종적으로 서로 합의하여 요구사항을 설정 후 프로젝트를 시작한다. 프로젝트를 위해서는 인적 자원, 전산 자원, 프로젝트 가용 예산 등 사용할 수 있는 빅데이터 자원을 ..

1. 데이터 리서처란? - 데이터를 분석하기 위한 새로운 알고리즘과 방법론을 연구, 개발하는 일을 담당한다. (연구+논문) 2. 데이터 리서처의 업무 1. 데이터 분석 관련 알고리즘 개발 데이터 리서처의 연구 성과는 논문과 학회에서 활발하게 발표된다. 개발한 알고리즘이 곧바로 실무에 적용되는 경우도 있지만, 당장 적용되지 않더라도 미래에 중요한 가치를 창출할 수 있다. 데이터 분석 알고리즘은 '데이터를 좀 더 효율적으로 다루거나 더 높은 예측 성능을 내기 위한 여러 동작의 모임'을 말한다. 2. 최신 연구 공부 및 알고리즘 구현 기업의 연구 인력으로서 최신 알고리즘의 트렌드를 공부하고 구현하는 것이다. 학계와 현장에서 중요하게 생각하는 성능 지표나 사용한 데이터가 다른 경우, 성능은 뛰어나지만 처리 속도..

1. 데이터 사이언티스트란? - 통계 방법론, 머신러닝 그리고 데이터 마이닝 지식을 바탕으로 정량적이고 과학적인 데이터 분석을 통해 데이터에서 인사이트를 발굴하는 일을 담당한다. 그리고 보다 깊이 있는 분석 기법을 적용함으로써 현재 상황을 묘사하고 분석할 뿐 아니라 미래 상황을 예측하거나 미래에 발생할 수 있는 문제를 예방하기도 한다. (새로운 알고리즘을 습득할 수 있는 이론적인 이해도와 더불어 분석하고자 하는 업종 전반에 대한 지식, 가치 창출, 인사이트 발굴 능력 등을 골고루 갖춰야 한다.) 2. 데이터 사이언티스트의 업무 비즈니스 문제 -> 데이터 분석 문제 -> 분석할 데이터 -> 인사이트 포뮬레이션 전처리/EDA 모델링/검증 1. 포뮬레이션은 해결하고자 하는 비즈니스 문제를 데이터 분석 문제로 ..

1. 데이터 애널리스트란? - 데이터에서 기업의 현재 상태와 관련된 인사이트를 도출해 경영진에게 효율적으로 전달하는 업무를 하는 담당한다. 주로 간단한 데이터 분석 도구나 대시보드 등과 같은 다양한 시각화 도구를 활용해 데이터에서 인사이트를 발견하는 일을 한다. 2. 데이터 애널리스트의 업무 1. 데이터 준비 데이터를 활용해 조직의 현재 상태를 진단하기 위한 '데이터 준비', '데이터 분석을 통한 비즈니스 인사이트 도출', '데이터 시각화' 등과 같은 업무를 수행한다. 데이터 엔지니어는 이미 기업이 보유하고 있는 정형 데이터를 활용한다. 이 데이터는 데이터 엔지니어가 설계한 DB에 저장된 표준화 데이터를 의미하는데, 여기서 필요한 데이터에서 가져온 것을 데이터 준비라고 한다. (매번 같은 형태의 데이터 ..

1. 데이터 엔지니어란 ? - 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로, 데이터 관리뿐 아니라 수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수를 담당한다. 또한 사내 데이터 분석 도구나 시각화 도구를 직접 개발하기도 한다. (개발자와 가장 가까운 형태) 2. 데이터 엔지니어의 자세한 업무 1. 파이프라인 구축, 관리 및 유지 보수 : 데이터가 흐르는 과정 구축 및 관리 유지 보수 -> 1.데이터 레이크 : 데이터를 한곳에 가공 없이 저장하는 것 (아마존의 S3) -> 2.데이터 가져오기 : 데이터 웨어하우스에 저장하는 과정 (아마존-Redshift, 구글-BigQuery, IBM-Db2) -> 3.데이터 마트 : 데이터 웨어하우스의 하위 부분, 실제 사용하는 부서 레벨이나 주제로..

1. 데이터 엔지니어 - 업무 : 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로, 데이터 관리뿐 아니라 수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수를 담당한다. 또한 사내 데이터 분석 도구나 시각화 도구를 직접 개발하기도 한다. (개발자와 가장 가까운 형태) - 필요능력 : SQL, (자바, JS, 파이썬, C/C++ 중 1), 하둡,스파크와 같은 빅데이터 도구, 도커 개발 및 배포 경험 데이터 엔지니어 - 업무, 필요 능력, 취업 팁 한번에 정리 1. 데이터 엔지니어란 ? - 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로, 데이터 관리뿐 아니라 수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수를 담당한다. maeseok.tistory.com 2. 데이터 애널리스..