데이터 노가다 일지

이 글에서는 트렌스포머 모델의 핵심 메커니즘인 self-Attention 메커니즘에 대해 설명하겠다.https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org Transformer Model ..

랜덤 포레스트란 무엇인가?랜덤 포래스트(이라 RF)는 앙상블(ensemble) 학습 기법 중 하나로, 여러 개의 결정 트리(decision tree)를 생성하고 이들의 예측을 결합하여 최종 예측을 도출하는 방법이다. 개별 결정 트리의 단점을 보완하여 더 나은 일반화 성능과 예측 정확도를 제공한다. RF의 구성 요소결정 트리(Decision Tree) : 랜덤 포레스트의 기본 구성 요소는 결정 트리이다. 각 결정 트리는 데이터의 특징을 사용하여 데이터를 분류하거나 회귀하는 데 사용한다.앙상블(ensamble) : 여러 개의 결정 트리를 결합하여 단점을 보완하고 더 강력한 모델을 만드는 과정이다.2025.04.22 - [알고리즘] - 결정트리 결정트리의사결정 나무란?주어진 입력값들의 조합에 대한 의사결정 규..

1. 서포트 벡터 머신 (SVM, Support Vector Machine) 알고리즘 개요SVM알고리즘은 머신러닝에서 잘 사용되지만 요즘 딥러닝에 밀리는 추세라고 한다. 하지만 보통 대학 수업 과정에서 잘 나오므로 공부해보았다.SVM은 머신러닝에서 널리 사용되는 지도 학습 알고리즘으로, 주로 분류와 회귀 문제에 활용된다. 간단하게 말하면 두 개 이상의 집단을 가장 잘 자누는 경계를 찾는 알고리즘이다. 아래 좀 더 자세하게 설명해보겠다.SVM의 목표는 서로 다른 두 클래스의 데이터를 가장 넓은 간격(마진)으로 구분하는 최적의 경계(초평면)를 찾는것.위와같이 두 개의 집단을 나누는 여러가지의 초평면을 구할수 있겠다.하지만 가장 잘 나눈 초평면은 뭐라고 할 수 있나?바로 두 집단중 가장 초평면에 가까운 객체(..

의사결정 나무란?주어진 입력값들의 조합에 대한 의사결정 규칙(rule)에 따라 출력값을 예측하는 모형으로 트리구조의 그래프로 표현하는 알고리즘이다.의사결정나무모형의 예측력은 다른 지도학습 기법들에 비해 대체로 떨어지지만, 해석이 수월하다는 장점이 있다.분류문제를 다루는 분류나무, 회귀문제를 다루는 회귀나무가 있다.의사결정나무모형에 사용되는 용어뿌리마디 (root node) : 시작되는 마디로 전체 자료를 포함자식마디 (child node) : 하나의 마디로부터 분리되어 나간 2개 이상의 마디들부모마디 (parent node) : 주어진 마디의 상위마디끝마디 (terminal node): 자식마디가 없는 마디중간마디 (internal node) : 부모마디와 자식마디가 모두 있는 마디가지(branch) :..

먼저 손실함수란 모델의 성능을 측정하는데 사용되는 함수이며 예측값 - 실제값의 차이를 수치화한다.즉, 손실값이 낮을수록 성능이 높고손실값이 높을수록 성능이 낮다고 해석할 수 있다. 손실함수는 여러가지가 있는데 해결하려는 문제(회귀, 분류, 클러스터링 등)에 따라 사용되는 손실함수가 다르다.이번 글에서는 MSE를 중점적으로 다뤄보겠다.MSE ( Mean Squared Error ) 란?주로 회귀문제에서 사용하는 손실함수이다.먼저 수식을 적어 보겠다. 수식을 말로 설명해보자면 실제값 - 예측값의 제곱의 평균을 구한다 이다. MSE의 특징에 대해 알아보겠다. 모든 오차들이 긍정적 으로 저리되어 오차의 크기를 과장한다.쉽게 설명해보겠다.실제값예측값오차1012+2108-2 이런식으로 결과가 나왔다고 가정해보자아직..