이 책은 강화학습을 실제로 적용하려면 반드시 알아야 할 강화학습의 기초 이론에 관한 것입니다. 이 책의 목적은 Physical AI를 전문적으로 연구하시려는 분들에게 심화 연구를 위한 기초를 충실하게 다지게 하고, 실무 경험이 풍부한 분들에게는 체계적으로 이론이 정립되도록 하는 것입니다.

생각의 흐름을 시각적으로 표현하기 위해서, 각 생각의 요소를 단계별로 분류하고 연결하여 도식화하였습니다. 이는 여러분들이 논리를 추론하게 하는 것보다는 체험할 수 있도록 도와줄 것입니다. 그러므로 이 책은 그림책에 더 가깝습니다.

수학의 활용을 최소화하여 필수적인 수학만 사용하였습니다. 강화학습에서 사용하는 수학은 계산을 위한 것이기보다는 주로 상황을 표현하기 위한 수학입니다. 사실 이러한 수학이 더 어려울 수 있습니다. 특히 변수에 붙은 첨자들 때문에 처음 배우는 분들은 혼돈스러울 것입니다. 어렵고 혼란스러운 수학이 전개될 때마다 충실히 설명하고 명확하게 하여 초보자분들도 이론을 쉽게 이해할 수 있도록 하였습니다

예제들을 이론을 체험하도록 만들어서, 이 책을 공부하시는 분들이 이론을 이해를 넘어서 느끼도록 하였습니다. 

CHAPTER 1. 강화학습 둘러보기
1.1 강화학습의 목적
1.2 강화학습의 요소
1.3 강화학습의 순차적 과정
1.4 강화학습의 학습방법 차별성

CHAPTER 2. 강화학습 모델링
2.1 MDP 환경 모델링
2.2 MDP의 강화학습 모델링
2.3 강화학습 문제 분류
2.4 요약 및 정리

CHAPTER 3. Bellman 방정식
3.1 Bellman 기대 방정식
3.2 Bellman 최적 방정식
3.3 요약 및 정리

CHAPTER 4. 환경을 알 때 강화학습 : Planning
4.1 Model 기반 강화학습
4.2 반복적 정책 평가(Iterative Policy Evalution)
4.3 정책 반복(Policy Iteration)
4.4 가치 반복(Value Iteration)
4.5 요약 및 정리

CHAPTER 5. 환경을 모를 때 강화학습 I : Prediction
5.1 Monte Carlo(MC) 방법
5.2 MC 기반 에피소드 학습
5.3 Model-Free Prediction
5.4 Prediction 기법 분석
5.5 요약 및 정리

CHAPTER 6. 환경을 모를 때 강화학습 II : Control
6.1 Action-value 함수를 활용한 Learning
6.2 Control
6.3 Control 알고리즘
6.4 자율 주행 로봇의 경로 찾기
6.5 Python Code: Gridworld
6.5 요약 및 정리

CHAPTER 7. 환경 근사화
7.1 환경 근사화 필요성
7.2 환경 근사화 함수
7.3 신경망(Neural Network)

CHAPTER 8. Value 기반 강화학습
8.1 Agent 분류
8.2 Value Network 학습
8.3 Deep Q-Network(DQN)
8.4 Python Code : Cartpole
8.5 요약 및 정리

CHAPTER 9. Policy 기반 강화학습
9.1 Deterministic policy와 stochastic policy
9.2 Policy Network 학습
9.3 Actor-Critic
9.4 Python Code 구현 : Cartpole
9.5 요약 및 정리 

김원하 경희대학교