Dynamic Problem : 한 시점의 Optimal 값이 아닌, Optimal Path 찾기

경제,금융에서 다루는 많은 문제들은 최적화 (Optimization) 문제로 풀어 나간다. 예를 들어보자면, 기업은 Profit Maximization을 하는 것이 가장 궁극적인 목적이다. 각 분야마다 최적화 방법은 다양하다. 마케팅 부서에서는 Market Share Maximization을 할 수 있고, 현장 책임자나 공장 장은 어느 정도의 Quality를 유지하면서 Cost minimization을 하고자 한다. 경제적 주체로서 우리는 Salary 를 활용해서 물질적으로 나를 즐겁게 하기 위한 Utility Maximization을 한다. 특히, 경제학에서는 Utility Maxization이 가장 근본적인 것이며, 주어진 조건 하에 이 문제를 푸는 것이다. 다만, 우리가 살아가는 세상에서는 자원이 한정이 되어 있다. 이 자원을 잘 배분하여 사회가 원할하게 돌아가게 하거나, 개인의 행복을 추구하게 하는 것이다. 실용 학문에서의 목적은 대부분 Optimization이다.

​

기존에는 “특정 시점”에서 최적화 하는 것이 중요했는데, 최근에는 Optimal Path를 찾아가는 것이 가능해지면서 활발히 연구되고 있다. 우리가 옵션(Option)과 주식(stock)을 사고 팔 때, 이윤 극대화(Profit maximizaiton) 가 목적인 경우가 대부분이다. 이때 실제로는 파는 “시점”과 사는 “시점”을 찾는 것이 중요하다. 옵션 중에서도 만기가 아닌 시점에 사고 팔 수 있는 American Option 또한 실제로는 블랙숄즈 (Black Sholes) 식으로 풀 수 있는 문제가 아니다 (실제로 블랙숄즈가 이 식을 거부한 것처럼). 또한, 경제를 예를 들어보자면, 경기가 경착륙 할 것 같은데 연착륙을 시키기 위해서는 우리는 조건을 계속 바꾸어 가야한다. 길을 잘 찾아서 이기는 것이 목표인데, 그때그때 마다 길을 잘 찾아야 하는 것이다. 전투에서 이기는 것과, 전쟁에서 이기는 것은 다르다.

실제로 순간 순간 의사결정 (decision)을 내리는 것이 더 중요하다. 또한, Optimal 값만을 찾는 것은 문제가 아니며 Optimal Path를 찾는 것으로 시선이 옮겨졌다. Optimal Path를 찾아가는 것은 강화학습 중 한 영역이라고 볼 수도 있는데, Time horizon을 당장 눈앞에 보이는 시점이 아닌, 장기적 (In the long run)으로 보는 것이 중요하다. 장기적으로 길을 찾아가는 것이 Optimal Control Theory를 이용하여 Optimal Path를 찾아가는 것이다.

​

위와 같은 목적으로 문제를 풀기 위해서 활용하는 대표적인 “방법론”이 동적계획법 (Dynamic Programming)이다. 물론 Optimal Path를 찾는 것은 수학적으로 완전한 것이 아니기 때문에, 풀고 나서 Solution 인지 아닌지 꼭 확인해 주어야 한다. 그 이유는, Optimal Path를 찾는 문제가 Maximum Principal 을 푸는 것이지 Maximum theorem을 푸는 것이 아니기 때문이다. 즉, Theorem은 결과를 if and only if로 도출해내는 것이지만, Principal은 “이렇게 풀자”라는 것이기 때문에 수학적으로 완전한 것이 아니라고 할 수 있으며, 이렇게 푼 문제의 해가 절대로 문제의 Solution이 아닐 수도 있다는 점을 항상 고려해야 한다.

​

Hamilton Jacobian, Bellman으로 Continous하게 만들어서 Computing 하는 것이 일반적으로 많이 이용이 되지만, 직관적으로 Optimal Path를 찾아가는 것을 보기 위해 Discrete한 방식을 배우는 것도 중요하다. 즉, 왜 이런 생각이 도출이 되었는지 하나하나 뜯어서 보아야 응용도 할 수 있고, 모델을 설계할 수도 있다.