조경현 교수님의 부스트코스 딥러닝을 이용한 자연어처리 강의를 들으며 Questions 부분에 대해 다시 한 번 정리해보았다. 꽤 얻어갈 것들이 많은 챕터인 것 같다. 1. 모델 아키텍쳐의 결정 방법 이론은 존재하나요? 어떻게 결정해야 할까요? theoroctical하게 봤을 때, 우리가 개런티를 알고 있는 경우가 별로 없다. 심지어 distribution이 명확히 주어졌다고 해도 어떤 아키텍쳐가 가장 Optimal 한지는 모른다. geometry를 보면서 하는 방법 등 approximate 할 방법이 조금은 있지만 실전에 활용한 만큼의 theory가 아직 없다. 만약 input이 NN 아키텍처로 output이 아키텍처의 성능이면 supurvised 위에 supervised learning을 할 수 있지 ..
본 포스팅은 조경현 교수님의 부스트코스 딥러닝을 이용한 자연어처리 강의를 듣고 주요 내용을 다시 한 번 정리하고자 하였다. 강의 내용이 꽤 어렵다고 느꼈지만, 그러면서도 뻔한 이야기보다 좀 더 다양한 시각에서의 접근법을 알아갈 수 있는 강의라고 생각이 들었다. [Overview] 알고리즘이란? - 어떤 문제를 푸는데 있어서 필요한 일련의 명령들이다. 알고리즘을 정의하자면 여러가지 Definition들이 있다. 하지만 가장 간단하게 정의하자면 instruction set을 어떻게 sequence로 나열해서, 그 나열된 sequence대로 instruction set이 실행되었을 때 우리가 원하는 대로 결과가 나올 것이냐의 문제라고 정의할 수 있다. 전통적인 알고리즘은 input, output, constr..
nn.Module을 상속받는 클래스에서의 forward() 함수 토치에서 모델을 만들 때, 다음과 같은 형태로 모델을 만든다. PyTorch 내장 모델과 사용자 정의 모델 모두 이 형태로 만들어야 한다. 1. torch.nn.Module을 상속받아야 한다. 2. __init__()과 forward()를 override 해줘야 한다. __init__()에서는 사용될 모듈, 활성화 함수 등을 정의한다. forward()에서는 모델에서 실행되어야 하는 계산을 정의한다. backward 계산은 backward()를 이용하면 알아서 해주기 때문에 forward()만 정의하면 된다. input을 넣고 어떤 과정을 거쳐 output이 나올지를 정의해 준다는 느낌이다. class GRU(nn.Module): def _..
