[강화학습] 1.Introduction_RL_1

 

이 글은 DeepMind의 David Silver가 진행한 RL 강의 중 Lecture 1: Introduction to Reinforcement Learning의 주요 내용을 정리한 것이다.

---

강화학습이란?

기계학습(Machine Learning)은 크게 세 가지 유형으로 나뉜다.

• 지도학습 (Supervised Learning): 정답(label)이 있는 데이터를 기반으로 학습하는 방식이다.
• 비지도학습 (Unsupervised Learning): 정답 없이 데이터의 패턴을 찾는 방식이다.
• 강화학습 (Reinforcement Learning): 정답은 없고 보상(Reward)을 통해 학습하는 방식이다.

 

 

강화학습의 특징은 다음과 같다.

특징	설명
감독 없음	정답 대신 보상만 주어진다.
피드백 지연	행동에 대한 결과(보상)가 바로 주어지지 않을 수 있다.
시간 순서 중요	행동이 이후 상태와 보상에 영향을 미친다.

 

 

강화학습의 예시들

• 헬리콥터의 곡예 비행 제어
• 인간보다 뛰어난 아타리 게임 플레이
• 투자 포트폴리오의 자율적 운용
• 휴머노이드 로봇의 걷기 제어
• 전문가 수준의 보드게임 플레이 (예: 백개먼)

이처럼 강화학습은 시행착오를 통해 스스로 행동을 개선해 나가는 학습 방식이다.

---

Rewards 

All goals can be described by the maximisation of expected cumulative reward

모든 목적이 누적된 reward 를 최대화 하는 것으로 표현할 수 있다는 가정

 

리워드함수 Rt는 스칼라 피드백 시그널이다. -> t번째 타임에 Rt만큼의 시그널이 주어진다.

에이전트가 각 스텝 t마다 얼마나 잘하고 있는지 알려준다. 

에이전트의 일은 누적된 보상(cumulative reward)을 최대화하는 것이다. 

ex) 한 게임이 끝날때까지 받는 데이터를 축적시켜서 최대화하는 것이다. 

---

강화학습의 기본 구조

강화학습은 에이전트(Agent)와 환경(Environment) 사이의 상호작용을 중심으로 진행된다.

 

에이전트는 매 시점에서 행동(action)을 선택하며, 이에 따라 환경은 관찰(observation)과 보상(reward)을 반환한다. 이러한 반복적인 상호작용을 통해 학습이 진행된다.

---

History And State

History는 observations, actions, rewards를 순서에 따라 모아둔 것이다. 

-> 그 시간 t 까지 있었던 각각의 timestamp마다 Agent가 수행한 action, observation, reward를 순차적으로 기록한 것

 

Agent는Action을 결정한다.

Environment는 observation과 reward를 결정한다. 

 

State는 다음에 어떤것을 진행할 지 결정하는데 사용되는 정보이다.

Agent는 다음액션을 결정하기 위해 숫자를 사용한다. 

Environment도 Observation과 Reward를 제공하기 위해 숫자를 사용한다.

앞에 언급된 숫자를 State라고한다. 

State란, 다음 행동에 쓰이는 모든 정보를 이야기한다. 

-> 무엇을 선택하기 위해서 과거를 보는 것은 당연하다.

 

State는 History의 함수이다.

History의 정보를 가공하여 State를 만든다.

 

관점에 따른 State

Environment State

- environment가 Next observation과 reward를 계산하기 위해 사용한 모든 정보

ex) Atari game에서 Agent가 선택한 Action에 따라 표기되는 다음 화면(observation)을 계산하기 위해 참고하는 정보들
공의 위치, 현재 박스의 개수 및 구조 등 

- State는 보통 Agent에게 보이지 않는다. (너무 복잡한 정보이기 때문에 활용하지않는다.)

 

Agent State

- Agent가 Next Action을 select 하기 위해 참고하는 정보(직접 정하는 것)

 

Information State - Marcov state

 

Definition

 

- 과거와 미래는 독립적이다.

- 미래를 결정할 때 이전의 State는 필요없고 바로 이전의 State만을 참고하여 결정을 내린다. 

 

Markov State 예시

Rat

 

1. 최근 3가지의 signal을 state로 정의한다면 : 감전

2. 전체 History에서 각 signal이 등장한 횟수를 state로 정의한다면 : 치즈

 

결론

History에 대한 Function을 어떻게 정의하는지에 따라 같은 데이터라도 다르게 예측할 수 있다.

 

Fully Observability

 

- Environment의 State를 Agent가 볼 수 있는 상황

- Markov decision process : MDP

- Agent State = Environment state = Information state

 

Partially Observability

 

- partially observable Markov decision process : POMDP

- Agent state와 Environment state가 다르다. 

-> 따라서 Agent는 자신의 State를 표현하기위한 방법을 구축해야한다. 

 

Agent의 State 표현 예시

 

Complete history

Beliefs of environment state

Recurrent Neural network