우당탕탕 도비의 코딩로그

**SVM (Support Vector Machine)** 설명에 관한 포스팅입니다. 🕵🏻‍♀️ SVM은Supervised learning 기반의 분류 알고리즘으로, 주어진 데이터를 가장 넓은 margin을 두고 두 개 또는 다중 그룹으로 나누는 최적의 경계선(Hyperplane)을 찾는 것이 핵심!즉, 데이터를 나누는 가장 좋은 선 또는 면을 찾아주는 알고리즘 💡핵심 개념 SVM이 찾는 선은 마진(Margin)이 가장 넓은 경계선입니다.Hyperplane(초평면): 데이터를 나누는 선 또는 면Support Vectors(서포트 벡터): 경계선과 가장 가까이 위치한 데이터 포인트Margin: 서포트 벡터와 경계선 사이의 거리 → 이 거리를 최대화함"가장 마진이 넓은 선이 가장 일반화(generali..

데이터 전처리 🥕 데이터 다운로드 및 압축해제!wget https://download.pytorch.org/tutorial/data.zip!unzip data.zip 🥕 Family name에 있는 특수 부호나 문자들을 알파벳으로 변환from glob import globfile_list = glob('data/names/*.txt')n_countries = len(file_list)print("number of countries: {}".format(n_countries))import stringimport unicodedataalphs = string.ascii_letters + " .,;'"n_alphs = len(alphs)print("number of alphabets:{}".format(n..

Machine Learning Deep Learning입력 데이터tabular data비정형 데이터 (e.g., 이미지, 오디오, 텍스트)모델 종류SVM, Logistic Regression, K-means, Decision TreeMLP(Multilayer Perceptron), CNN, GNN, RNN, Transformerexplainability결과 성명 가능함결과 설명 할 수 없음 (black box)

Recurrent Neural Networks, RNN이라고 불리는 모델은 시퀀스 데이터(순차 데이터, 시계열 데이터)를 입력받아 처리할 수 있도록 설계된 신경망 아키텍쳐이다. 최근 가장 주목받고 있는 LLM인 ChatGPT는 Transformer 아키텍쳐를 베이스로 하고 있는데 RNN -> LSTM -> LRU -> Transformer 순으로 그 발전에 기여했다고 볼 수 있다. RNN에서 가장 주목해야될 점은 이전 타임스텝의 정보를 기억하여 현재 출력에 반영한다는 점이다.RNN이 처리할 수 있는 데이터들에는 순서가 중요한 문장내의 단어, 주식 가격의 변동을 나타내는 시퀀스 데이터들이 있다. 이러한 시퀀스 데이터를 처리하기 위해 RNN은 이전 시간(타입스탬프,t-1)의 은닉 상태(hidden state..

Transductive vs Inductive Learning Inductive learning Transductive learning labeled training data로만 machine learning model을 학습 labeled training data와 unlabeled test data를 사용하여 학습 (test data의 label에 대한 정보를 모르더라도 test data의 패턴을 학습에 사용) traditional supervised learning semi-supervised learning unseen input data에 대해서도 예측 가능 unseen input data에 대해 예측 정확도가 떨어짐 function parameter(general rule) 학습 o funct..

앞에서 살펴봤던 Fourier transform을 신호(signal) 뿐만 아니라 Graph 분야에서도 사용할 수 있다. Graph안의 node들은 시간 t 가 흐름에 따라 주변 이웃 node들의 정보를 포함하게 된다. 위 그림에서 노드 "3"을 살펴보자. 시간 t가 지남에 따라 주변 이웃 노드들(1-hop 외에 더 넓은 범위의 이웃까지)의 feature(signal)를 포함하여 매시간 t마다 다른 signal을 가지는 것을 볼 수 있다. 이를 time domain/spatial domain에 나타낸 모습이 왼쪽 그림이다. 위의 예시에서, 각 노드는 2-dimension의 feature vector를 가지는데 signal(0)은 feature vector의 index 0 에 해당하는 value, sign..

푸리에 변환(Fourier Transform)은 신호처리(Signal Processing), 컴퓨터 비전(Computer Vision), 그래프 신호처리(Graph signal processing) 등의 분야에서 특정 입력 신호(signal)를 여러개의 단순한 sin과 cos 주기 함수들로 분해하여 나타내기 위해 사용된다. 위 그림에서 주파수(frequency)와 진폭(amplitude)이 각기 다른 파란색 sin과 cos 주기 함수수들을 합치면 빨간색의 신호가 된다. 이렇게 신호를 단순한 주기함수들로 분해하는 것을 signal을 time domain 에서 frequency domain으로 옮기는 것으로 볼 수 있다. 위 그림의 오른쪽 그림에서 위에 있는 그림은 signal을 time domain에 나타..