매석의 메모장

1. 지도학습과 관련된 내용 머신러닝 - 지도학습 개념 정리(과적합, 과소적합, 학습 오차 등) 1. 지도학습이란? - 지도학습의 목표는 학습에 사용하지 않은 데이터를 예측하고 분류하는 것이다. 이를 '일반화'라고 한다. 완벽하게 일반화된 모델은 모든 데이터의 레이블을 정확히 예측한다. maeseok.tistory.com 머신러닝 지도학습 프로세스 - 6단계로 정리 1. 지도학습 프로세스란? - 빅데이터 프로젝트의 일부로, 빅데이터 프로젝트의 데이터 수집 및 이해, 분석 및 모델링, 배포 및 적용 부분을 모델링하는 사람의 관점에서 좀더 자세히 나눈 것으로 maeseok.tistory.com 2. 지도학습 종류 1. 선형회귀 2. 서포트 벡터 머신 3. 의사결정나무 4. k-근접 이웃법 5. 인공 신경망 ..

1. 지도학습 프로세스란? - 빅데이터 프로젝트의 일부로, 빅데이터 프로젝트의 데이터 수집 및 이해, 분석 및 모델링, 배포 및 적용 부분을 모델링하는 사람의 관점에서 좀더 자세히 나눈 것으로 이해할 수 있다. 2. 지도학습 프로세스의 단계 1. 데이터 수집 2. 데이터셋 정의 3. 지도학습 기법 선택 및 모델 구축 4. 모델 성능 평가 5. 모델 선택 6. 모델 배포 - 피드백 3. 데이터 수집 - 비즈니스 문제 해결, 인구 문제 해결 등의 목표가 설정됐다면 분석 데이터를 확보해야 한다. 기관이라면 데이터를 사유 데이터베이스에 저장할 때가 많으며, 연구자는 연구용 '오픈 데이터'를 사용하기도 한다. 만약 기관에는 소속돼 있지 않지만, 데이터 분석을 원하면 웹 사이트의 데이터를 DB에 구축할 수도 있다...

1. 지도학습이란? - 지도학습의 목표는 학습에 사용하지 않은 데이터를 예측하고 분류하는 것이다. 이를 '일반화'라고 한다. 완벽하게 일반화된 모델은 모든 데이터의 레이블을 정확히 예측한다. 2. 일반화 오차, 학습 오차, 테스트 오차 - 하지만 일반화가 완벽히 이뤄지지 않은 모델도 있다. 일반화 오차(일반화 성능)는 모델이 얼마나 일반화에 실패 혹은 성공했는지를 표현하는 개념이다. 하지만 일반화 오차를 계산하기 위해서는 모든 데이터를 사용해야 하는데, 실제 세상의 데이터는 알려지지 않은 복잡한 상호작용 속에서 생성돼 알기가 매우 힘들다. 그래서 '학습 오차'를 사용한다. 학습 오차는 일반화 오차와 비슷하면서 계산하기도 쉽다. 이와 비슷한 개념으로 '학습 성능'이 있다. 학습 오차는 모델이 학습에 사용한..

1. 빅데이터 직종별 머신러닝의 중요도 1. 데이터 사이언티스트, 데이터 리서처 - 모델을 만드는 것이 주업무인 데이터 사이언티스트와 리서처는 머신러닝 모델을 만들고 발전시키는 데 많은 시간을 할애한다. 따라서 머신러닝 기법과 모델 구축 알고리즘에 대한 지식은 필수다. 또한 머신러닝 프로세스 지식도 갖추고 있어야 한다. 해당 지식이 없으면 좋은 모델을 만들기 어렵고, 새로운 알고리즘을 구성해 실제로 구현할 수 있는 프로그래밍 실력을 갖췄더라도 모델 구축을 둘러싼 전반적인 흐름과 논리를 이해하거나 전개하지 못하게 된다. 2. 데이터 애널리스트 - 데이터 애널리스트는 주로 애널리틱스 도구나 머신러닝 패키지에 내장된 몇 개의 기법 중 하나를 선택해 모델을 만들게 된다. 따라서 모델을 만드는 알고리즘의 내부 작..