대신 수업시간에 짬내서 transformer를 공부했다. https://peterbloem.nl/blog/transformers요 블로그로 공부했는데, 처음 transformer를 공부하기에 괜찮은 글인듯 하다.  오늘 구현은 못할것 같고, 나중에 집가서 한번 더 꼼꼼히 읽고, 구현 해봐야겠다.

아직 주제 선정을 못했다.2학년 2학기부터 rl quadruped locomotion을 해봤다 보니 이번에는 새로운걸 공부해서 다른 주제로 프로젝트를 해보려고 한다. 오늘은 간략하게 프로젝트 주제 선정에 앞서 공부할 내용들을 정리해 봤다.ML/DLTransformerVITDecision TransformerVAEVQ-VAEGenerativeDiffusionFlow MatchingRLOffline RLRobotics & Optimal Control Inverse kinematics MCPAdaptive Control, Robust Control 거의 다 모르는 내용들이고 키워드만 들어본 수준이지만, 개인적으로 재미있을것 같은 것들이라 공부해보려고 한다.플젝 주제 선정은 어느정도 공부한 이후에 해야지..

ML-Agents를 이용해서 환경을 만들고 이를 학습시키보던 중 신기한(?) 현상을 발견했다.모든 hyperparameter가 같음에도 불구하고 ML-Agents 알고리즘과 SB3(Stable-Baselines3) 알고리즘의 성능 차이가 너무 크게 났던 것이다. (ML-Agents PPO가 SB3 PPO보다 훨씬 우세했다.)ML-Agents와 SB3의 PPO 코드를 엄청 뜯어보고 고친 결과 SB3 PPO를 이용해 Crawler환경에서 ML-Agents PPO의 성능을 동일하게 재현할 수 있었다.따라서 이 글에서는 SB3 PPO로 ML-Agents PPO의 성능을 재현하는 방법을 써보려고 한다. ML-Agents Crawler 환경본론에 들어가기에 앞서, 테스트에 사용된 Crawler환경에 대해서 간략히 ..