LanguageData

- 본 글에서는 CV 분야에서 사용되는 Generative Adversarial Network 대해 간단히 소개합니다. 1. Concept 큰 틀에서 신경망을 구성할 때 볼 때 숫자를 줄이는 과정이 인코딩, 늘리는 과정이 디코딩이라고 피상적으로 이야기 할 수 있습니다. 조금 더 구체적으로 이야기하자면, 어떤 데이터(이미지나 텍스트)에서 의미있는 정보를 뽑아내는 과정을 인코딩, 이 반대로 생성하는 과정을 디코딩이라고 생각할 수 있습니다. GAN은 인코딩과 디코딩을 활용하여 적절한 Image를 생성해내는 모델입니다. 확률 분포는 GAN와 밀접한 연관이 있습니다. GAN는 데이터를 통해 내부적으로 데이터에 대한 확률 분포를 만들고, 이에 따라 데이터를 생성합니다. 예를 들어, 이미지 데이터를 통해 확률 분포를..

ML 2022. 12. 20. 23:58

하나의 이미지를 글로 표현하는 것을 Image Captioning이라고 합니다. One-to-many의 가장 일반적인 예시이며 널리 사용되고 있는 방식입니다. CNN과 RNN을 사용하여 Image를 설명하는 하나의 문장을 만들어 보고자 합니다. 먼저 H*W*3의 이미지가 Input data로 들어옵니다. 이미지는 VGGNet 등의 기법을 사용하여 Features dimension을 만듭니다. RNN층을 통과시켜 이미지를 설명하는 word로 값을 반환하게 됩니다. 하지만 Features dimension이 그림 전체를 설명하고 있기 때문에 그림 전체의 이미지를 한번만 학습하게 됩니다. 이제 CNN 층에서 FC층을 만들지 않고, 3*3*512의 Conv층에서 연산을 마무리 짓는다고 생각해보겠습니다. 3*3의..

ML 2022. 12. 19. 15:28

- 본 글에서는 NLP분야에 지대한 영향을 끼친 Recurrent Neural Network대해 간단히 소개합니다. 1.Concept RNN은 과거의 정보를 현재에 추가적인 입력 정보로 사용하는 것을 특징으로 하는 딥러닝 모델입니다. 이러한 특징 때문에 기본적으로 순서가 있는 데이터를 처리하며 대표적인 데이터로 자연어가 있습니다. 대표적인 사용 방법으로는 그림과 같은 사용 방법이 있습니다. many to one은 감정분석으로 많이 사용되는 모델인데, 하나의 순서가 있는 문자열이 들어오면 0, 1로 나타나는 부정, 긍정을 예측하는 모델입니다. one to many는 이미지를 입력으로 받아 이미지를 설명하는 문자열을 생성하는 모델이 대표적입니다. many to many의 모델은 크게 2가지로 나뉘는데, 입력..

ML 2022. 12. 16. 01:04

- 본 글에서는 CV에 지대한 영향을 끼친 Convolution Neural Network에 대해 간단히 소개합니다. 1. Concept ConvNet이라는 별칭을 가지고 있는 Convolution Neural Network의 등장 이전에는 사진의 특징을 추출하고 추출한 특징을 기반으로 알고리즘을 만들었습니다. 하지만 ConvNet의 등장 이후 사진의 특징을 알고리즘 내에서 자동으로 추출하여 사용하기 시작했습니다. 특히, 직접 특징을 찾아서 추출하는 방식보다 더 좋은 성능을 발휘했기 때문에 연구자들은 특징을 추출하기보다는 딥러닝 알고리즘이 알아서 하는 방식을 더 선호하기 시작했습니다. 2. How it works ConvNet의 작동방식은 위의 그림과 같습니다. 작은 Filter을 순환시켜 특징들을 추출..

ML 2022. 12. 14. 23:33

- 본 글에서는 딥러닝에 사용되는 몇 가지 하이퍼 파라미터에 대해 간단히 소개합니다. 1. Hyper Parameter 딥러닝을 위한 기반은 여러 가지 있겠지만, 그중 가장 중요하다고 생각하는 몇 가지 개념에 대해 설명하는 글입니다. Activation Function, Gradient Descent, Learing Rate 등 흔히 하이퍼 파라미터라고 말하는 개념들에 대한 것입니다. 하이퍼 파라메터는 모델 아키텍처와 같이 학습에 지대한 영향을 끼칩니다. 활성화함수를 어떤 함수로 설정하느냐, LR을 얼마로 설정하느냐 등과 같은 하이퍼 파라메터 설정은 학습 속도와 학습 결과에 영향을 끼칩니다. 2. Activation Function Activaiton Function, 활성화함수라고 하는 이것은 신경망에..

ML 2022. 12. 12. 18:41

- 본 글에서는 딥러닝에 기반이 되는 신경망에 대해 간단히 소개합니다. 1. Neural Netword 가장 왼쪽의 동그라미는 변수를 의미합니다. 어떤 연산에 의해 두 번째 레이어에 새로운 변수를 만들어냅니다. 유효한 정보를 뽑아내는 과정을 다단계로 반복하는 것이 신경망의 핵심 아이디어입니다. 6개의 독립변수로 1개의 종속변수를 예측하는 선형 모델의 파라미터는 몇 개일까요? 6개의 독립변수에 맞춰진 6개의 파라미터와 bias 하나를 더해 총 7개가 됩니다. 신경망에서 N개의 독립변수로 1개의 노드를 만들기 위해서는 N+1개의 파라미터가 필요합니다. 만약 노드의 개수가 8개라면 8*(N+1) 개의 파라미터가 필요합니다. 은닉층이 많아질수록 필요한 연산은 많아집니다. 이런 이유로 딥러닝에서 컴퓨터의 연산속도..

ML 2022. 12. 8. 14:48

- 본 글에서는 클러스터링에 대해 간단히 소개합니다. 1. Clustering Concept 클러스터링이란 세팅된 데이터에서 카테고리를 도출하는 방법입니다. 도출된 카테고리에 정해진 의미는 없고 단지 인덱스만 결정을 해줍니다. 인덱스는 같은 카테고리에 속하였다는 의미이며 이것을 해석하는 데는 데이터를 분석하는 사람의 역량에 따라 달라집니다. 2. K-means 클러스터링 방법 중 K-means 알고리즘의 직관적인 프로세스는 굉장히 간단합니다. 2차원의 데이터가 존재할 때 데이터를 K개의 군집으로 나누고자 합니다. 이때 K=2로 하겠습니다. 데이터를 2개의 군집으로 나누는 2개의 대표점을 찾아야 합니다. 2개의 대표점은 각 클러스터 내의 데이터와의 거리가 최솟값이 되는 점이 되어야 합니다. 거리가 최소가 ..

ML 2022. 12. 7. 14:28

- 본 글에서는 교차검증과 차원축소에 대해 간단히 소개합니다. 1. Cross-Validation 교차검증이란 하나의 데이터 셋에서 무작위로 검증용 데이터를 뽑아 세팅하여 학습하고, 학습된 모델을 비교하는 방법을 말합니다. 학습에 필요한 데이터가 많지 않은 경우 자주 사용하는 방법입니다. 일반적으로 학습 속도가 빠른 모델을 사용하는 경우 자주 사용하게 되며, 앙상블을 위해 사용하기도 합니다. 2. K-fold Cross Validation K-fold CV는 교차검증 방법 중 가장 대중적으로 사용되는 방법론입니다. 데이터셋을 k개로 나눕니다. 나누어진 각 데이터를 fold라고 하며 fold 내에서 Training set과 Validation set으로 나누어 학습을 진행합니다. K-fold CV는 k-1..

ML 2022. 12. 5. 13:25