우당탕탕 도비의 코딩로그

Recurrent Neural Networks, RNN이라고 불리는 모델은 시퀀스 데이터(순차 데이터, 시계열 데이터)를 입력받아 처리할 수 있도록 설계된 신경망 아키텍쳐이다. 최근 가장 주목받고 있는 LLM인 ChatGPT는 Transformer 아키텍쳐를 베이스로 하고 있는데 RNN -> LSTM -> LRU -> Transformer 순으로 그 발전에 기여했다고 볼 수 있다. RNN에서 가장 주목해야될 점은 이전 타임스텝의 정보를 기억하여 현재 출력에 반영한다는 점이다.RNN이 처리할 수 있는 데이터들에는 순서가 중요한 문장내의 단어, 주식 가격의 변동을 나타내는 시퀀스 데이터들이 있다. 이러한 시퀀스 데이터를 처리하기 위해 RNN은 이전 시간(타입스탬프,t-1)의 은닉 상태(hidden state..