매석의 메모장

1. 강화학습 기법이란? - 강화학습 기법은 환경과 상호작용해 얻은 정보를 바탕으로 에이전트의 모델을 업데이트하고, 그 모델을 사용해 에이전트의 정책을 개선하는 것이다. 이후 에이전트는 개선한 정책을 사용하거나 다른 정책을 사용해 환경과 상호작용한다. 환경에서 행동을 취하면 '현재 상태', '행동', '다음 상태'의 상태 전이 정보와 '보상'을 데이터로 얻는다. 그다음은 얻은 데이터를 기반으로 에이전트 내의 모델을 업데이트 한다. 이 모델은 모델기반 강화학습에서 환경의 작동 원리가 될 것이고, 모델프리 강화학습에서는 가치함수나 몬테카를로 방식으로 얻은 보상의 합이 될 것이다. 이렇게 얻은 정보를 처리해 모델을 업데이트한 후 모델을 사용해 정책을 개선한다. 끝으로 개선한 정책 또는 다른 정책을 사용해 환경..

1. 강화학습 프로세스의 단계 1. 문제 파악하기 2. 강화학습 문제로 정의하기 3. 강화학습 기법 선택 및 에이전트 학습하기 4. 강화학습 에이전트 성능 평가 및 배포하기 2. 문제 파악하기 - 강화학습 프로젝트에서 필수적이고 중요한 단계이다. 일반적으로 '제어 또는 행동을 찾는 문제인가?', '최적의 행동이 무엇인지 정의할 수 있는 평가 지표가 있는가?'라는 두 질문에 '그렇다'라면 강화학습을 시도해 볼 만한 문제라고 간주한다. 강화학습 기법은 문제를 주로 마르코프 결정 과정으로 정의한다. 마르코프 결정 과정은 '가장 중요한 성질은 새로운 상태가 현재 상태와 행동에만 의존한다'는 것이다. 이전 상태와 이전 행동은 독립적이어야만 마르코프 결정 과정이라 할 수 있다. 또한 마르코프 결정 과정에는 상태와 ..

1. 강화학습이란? - 강화학습 문제는 기본적으로 '환경', '에이전트', '상태', '행동', '보상'이라는 요소로 이뤄진다. 강화학습의 목표는 환경 안에 있는 에이전트가 환경과 상호작용을 하면서 최적의 의사결정을 하는 것이다. 에이전트와 환경 간의 상호작용은 상태, 행동, 보상을 주고받음으로써 이뤄진다. 에이전트는 환경에게 행동을 제공하고, 환경은 에이전트에게 상태와 보상을 제공하는 방식이다. 에이전트의 행동을 받아들인 환경은 에이전트에게 새로운 상태와 보상을 제공한다. 상태는 에이전트가 처한 상황을 나타낸다. 에이전트가 행동을 취해 현재 상태에서 다음 상태로 바뀌는 것을 '상태 전이'라고 한다. - 보상은 에이전트의 행동을 평가할 수 있는 지표이다. 상태, 행동, 보상은 강화학습 문제를 정의하는 주..

1. 비지도학습이란? - 지도학습에서는 레이블이 모델의 학습 방향을 지도한다. 모델의 예측값과 레이블을 손실함수를 이용해 비교하고, 오차가 감소하는 방향으로 모델의 학습을 유도한다. 비지도학습에서는 데이터에 레이블이 존재하지 않으므로 모델의 학습 방향을 직접 지도할 기준이 없다. 따라서 이를 '비지도학습'이라 부른다. 비지도학습은 레이블이 없을 때 사용하기에 모델이 데이터를 얼마나 잘 학습했는지, 즉 모델의 성능을 지도학습처럼 직접 측정하기 어렵다. 그렇기에 간접적 또는 정석정 평가 지표를 이용해 평가한다. 비지도학습은 레이블이 없어서 명확한 기준으로 분석하기 어렵다는 단점이 있는 동시에 레이블이 있을 때는 볼 수 없었던 데이터의 새로운 특성을 파악할 수 있다는 장점도 있다. 이러한 장점 때문에 데이터 ..

1. 지도학습과 관련된 내용 머신러닝 - 지도학습 개념 정리(과적합, 과소적합, 학습 오차 등) 1. 지도학습이란? - 지도학습의 목표는 학습에 사용하지 않은 데이터를 예측하고 분류하는 것이다. 이를 '일반화'라고 한다. 완벽하게 일반화된 모델은 모든 데이터의 레이블을 정확히 예측한다. maeseok.tistory.com 머신러닝 지도학습 프로세스 - 6단계로 정리 1. 지도학습 프로세스란? - 빅데이터 프로젝트의 일부로, 빅데이터 프로젝트의 데이터 수집 및 이해, 분석 및 모델링, 배포 및 적용 부분을 모델링하는 사람의 관점에서 좀더 자세히 나눈 것으로 maeseok.tistory.com 2. 지도학습 종류 1. 선형회귀 2. 서포트 벡터 머신 3. 의사결정나무 4. k-근접 이웃법 5. 인공 신경망 ..

1. 지도학습 프로세스란? - 빅데이터 프로젝트의 일부로, 빅데이터 프로젝트의 데이터 수집 및 이해, 분석 및 모델링, 배포 및 적용 부분을 모델링하는 사람의 관점에서 좀더 자세히 나눈 것으로 이해할 수 있다. 2. 지도학습 프로세스의 단계 1. 데이터 수집 2. 데이터셋 정의 3. 지도학습 기법 선택 및 모델 구축 4. 모델 성능 평가 5. 모델 선택 6. 모델 배포 - 피드백 3. 데이터 수집 - 비즈니스 문제 해결, 인구 문제 해결 등의 목표가 설정됐다면 분석 데이터를 확보해야 한다. 기관이라면 데이터를 사유 데이터베이스에 저장할 때가 많으며, 연구자는 연구용 '오픈 데이터'를 사용하기도 한다. 만약 기관에는 소속돼 있지 않지만, 데이터 분석을 원하면 웹 사이트의 데이터를 DB에 구축할 수도 있다...

1. 지도학습이란? - 지도학습의 목표는 학습에 사용하지 않은 데이터를 예측하고 분류하는 것이다. 이를 '일반화'라고 한다. 완벽하게 일반화된 모델은 모든 데이터의 레이블을 정확히 예측한다. 2. 일반화 오차, 학습 오차, 테스트 오차 - 하지만 일반화가 완벽히 이뤄지지 않은 모델도 있다. 일반화 오차(일반화 성능)는 모델이 얼마나 일반화에 실패 혹은 성공했는지를 표현하는 개념이다. 하지만 일반화 오차를 계산하기 위해서는 모든 데이터를 사용해야 하는데, 실제 세상의 데이터는 알려지지 않은 복잡한 상호작용 속에서 생성돼 알기가 매우 힘들다. 그래서 '학습 오차'를 사용한다. 학습 오차는 일반화 오차와 비슷하면서 계산하기도 쉽다. 이와 비슷한 개념으로 '학습 성능'이 있다. 학습 오차는 모델이 학습에 사용한..

1. 빅데이터 직종별 머신러닝의 중요도 1. 데이터 사이언티스트, 데이터 리서처 - 모델을 만드는 것이 주업무인 데이터 사이언티스트와 리서처는 머신러닝 모델을 만들고 발전시키는 데 많은 시간을 할애한다. 따라서 머신러닝 기법과 모델 구축 알고리즘에 대한 지식은 필수다. 또한 머신러닝 프로세스 지식도 갖추고 있어야 한다. 해당 지식이 없으면 좋은 모델을 만들기 어렵고, 새로운 알고리즘을 구성해 실제로 구현할 수 있는 프로그래밍 실력을 갖췄더라도 모델 구축을 둘러싼 전반적인 흐름과 논리를 이해하거나 전개하지 못하게 된다. 2. 데이터 애널리스트 - 데이터 애널리스트는 주로 애널리틱스 도구나 머신러닝 패키지에 내장된 몇 개의 기법 중 하나를 선택해 모델을 만들게 된다. 따라서 모델을 만드는 알고리즘의 내부 작..

1. 머신러닝이란? - 컴퓨터 시스템이 사용하는 알고리즘과 통계적 모델에 대한 과학적인 연구다. 컴퓨터는 명시적인 지시 사항들을 이용하는 대신에 모델과 추론에 의존하여 효과적으로 작업을 수행한다. 머신러닝은 인공지능의 하위 집합으로 간주된다. 즉 컴퓨터 프로그램이 수행하는 작업 T가 경험 E를 통해서 성능 P만큼 향상된 것으로 측정될 때, 우리는 컴퓨터 프로그램이 학습한다고 말한다. 2. 퍼셉트론 알고리즘 - 신경망 알고리즘의 기초이다. 퍼셉트론은 신경 세포를 인공적으로 모델링한 것으로, 신경 세포처럼 다른 신경 세포로부터 정보를 받아서 새로운 정보를 생성한 후, 또 다른 신경 세포로 전달한다. x1과 x2는 입력 신호, y는 출력 신호, w1, w2는 가중치를 나타낸다. 가중치는 결합 하중이라고도 하며..