전체 글

Algorithm

[Programmers] 2022 KAKAO TECH INTERNSHIP - 성격 유형 검사하기 Python 풀이

문제 설명 https://school.programmers.co.kr/learn/courses/30/lessons/118666 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr (문제의 길이가 상당해 링크로 대체한다.) 풀이 & Comment 이 문제는 Level 1에 해당하는 문제로 난이도가 높은 문제는 아니다. 맨날 백준으로만 문제를 풀다가 프로그래머스에 적응해볼겸 기출문제도 풀어볼 겸 해봤다. 우선 문제를 보자마자 대충 구현 문제라는걸 떠올릴 수 있다. 문제의 길이가 상당한데, 여기서 대충 어림짐작해서 문제를 대충 읽었다간 삽질을 하게 될 수도 있다.(..

Deep Learning

BERT의 [CLS]토큰은 어떻게 sentence의 정보를 담고 있을까?

BERT와 이로부터 파생된 다양한 언어 모델에서는 가장 첫 위치에 문장 공통 토큰인 [CLS]를 두어 해당 위치의 임베딩 결과를 대표 임베딩으로 사용한다. 예컨대, BERT-base 모델은 토큰의 길이가 512이고 각 토큰 위치에서의 임베딩 output은 768차원 벡터이므로 sentence input 하나에 대한 output 텐서의 shape은 512*768이다. 이 중 가장 앞에 위치한 [CLS] 토큰의 768차원 벡터를 해당 sentence의 대표 임베딩 결과로 사용한다. batch 내 각 문장에 대한 768 차원의 대표 임베딩 결과가 추출된 것이므로 최종 shape은 batch_size * 768 이 된다. 모든 sentence의 첫 번째 token은 언제나 [CLS](special classif..

Algorithm/BaekJoon

[BaekJoon] 1003 피보나치 함수 - Python 풀이

문제 다음 소스는 N번째 피보나치 수를 구하는 C++ 함수이다. int fibonacci(int n) { if (n == 0) { printf("0"); return 0; } else if (n == 1) { printf("1"); return 1; } else { return fibonacci(n‐1) + fibonacci(n‐2); } } fibonacci(3)을 호출하면 다음과 같은 일이 일어난다. fibonacci(3)은 fibonacci(2)와 fibonacci(1) (첫 번째 호출)을 호출한다. fibonacci(2)는 fibonacci(1) (두 번째 호출)과 fibonacci(0)을 호출한다. 두 번째 호출한 fibonacci(1)은 1을 출력하고 1을 리턴한다. fibonacci(0)은 ..

Algorithm/BaekJoon

[BaekJoon] 2293 동전 1 - Python 풀이

문제 n가지 종류의 동전이 있다. 각각의 동전이 나타내는 가치는 다르다. 이 동전을 적당히 사용해서, 그 가치의 합이 k원이 되도록 하고 싶다. 그 경우의 수를 구하시오. 각각의 동전은 몇 개라도 사용할 수 있다. 사용한 동전의 구성이 같은데, 순서만 다른 것은 같은 경우이다. 난이도 Gold 5 입력 조건 첫째 줄에 n, k가 주어진다. (1 ≤ n ≤ 100, 1 ≤ k ≤ 10,000) 다음 n개의 줄에는 각각의 동전의 가치가 주어진다. 동전의 가치는 100,000보다 작거나 같은 자연수이다. 출력 조건 첫째 줄에 경우의 수를 출력한다. 경우의 수는 231보다 작다. 입력 예시 3 10 1 2 5 출력 예시 10 정답 코드 import sys n,k = map(int, input().split())..

Algorithm/BaekJoon

[BaekJoon] 2156 포도주 시식 - Python 풀이

문제 효주는 포도주 시식회에 갔다. 그 곳에 갔더니, 테이블 위에 다양한 포도주가 들어있는 포도주 잔이 일렬로 놓여 있었다. 효주는 포도주 시식을 하려고 하는데, 여기에는 다음과 같은 두 가지 규칙이 있다. 포도주 잔을 선택하면 그 잔에 들어있는 포도주는 모두 마셔야 하고, 마신 후에는 원래 위치에 다시 놓아야 한다. 연속으로 놓여 있는 3잔을 모두 마실 수는 없다. 효주는 될 수 있는 대로 많은 양의 포도주를 맛보기 위해서 어떤 포도주 잔을 선택해야 할지 고민하고 있다. 1부터 n까지의 번호가 붙어 있는 n개의 포도주 잔이 순서대로 테이블 위에 놓여 있고, 각 포도주 잔에 들어있는 포도주의 양이 주어졌을 때, 효주를 도와 가장 많은 양의 포도주를 마실 수 있도록 하는 프로그램을 작성하시오. 예를 들어 ..

Algorithm/BaekJoon

[BaekJoon] 2579 계단 오르기 - Python 풀이

문제 난이도 Silver 3 입력 조건 입력의 첫째 줄에 계단의 개수가 주어진다. 둘째 줄부터 한 줄에 하나씩 제일 아래에 놓인 계단부터 순서대로 각 계단에 쓰여 있는 점수가 주어진다. 계단의 개수는 300 이하의 자연수이고, 계단에 쓰여 있는 점수는 10,000 이하의 자연수이다. 출력 조건 첫째 줄에 계단 오르기 게임에서 얻을 수 있는 총 점수의 최댓값을 출력한다. 입력 예시 6 10 20 15 25 10 20 출력 예시 75 처음 짠 코드 import sys n = int(input()) scores = [int(sys.stdin.readline()) for _ in range(n)] d = [0] * (n+1) # index번째 계단까지에 오를 수 있는 최댓값을 담고 있는 DP 테이블 if n>=..

Algorithm/BaekJoon

[BaekJoon] 9095 1,2,3 더하기 - Python 풀이

문제 정수 4를 1, 2, 3의 합으로 나타내는 방법은 총 7가지가 있다. 합을 나타낼 때는 수를 1개 이상 사용해야 한다. 1+1+1+1 1+1+2 1+2+1 2+1+1 2+2 1+3 3+1 정수 n이 주어졌을 때, n을 1, 2, 3의 합으로 나타내는 방법의 수를 구하는 프로그램을 작성하시오. 난이도 Silver 3 입력 조건 첫째 줄에 테스트 케이스의 개수 T가 주어진다. 각 테스트 케이스는 한 줄로 이루어져 있고, 정수 n이 주어진다. n은 양수이며 11보다 작다. 출력 조건 각 테스트 케이스마다, n을 1, 2, 3의 합으로 나타내는 방법의 수를 출력한다. 입력 예시 3 4 7 10 출력 예시 7 44 274 처음 짠 코드 import sys t = int(input()) for _ in ran..

Deep Learning

Transformer의 Multi-head Attention 파헤치기

*본 포스팅은 자연어처리 스터디를 진행하던 중 생겼던 궁금증을 해결한 후 내용 정리를 하고자 작성하였습니다. 1. Multi-head Attention이란? 트랜스포머 원 논문(Attention is all you need)에서는 한 번의 어텐션을 하는 것보다 여러 번의 어텐션을 병렬로 사용하는 것이 더 효과적이라고 한다. 그래서 d_model의 차원을 num_heads개로 나누어 d_model/num_heads의 차원을 가지는 Q, K, V에 대해서 num_heads개의 병렬 어텐션을 수행한다. 논문에서는 하이퍼파라미터인 num_heads의 값을 8로 지정하였고, 8개의 병렬 어텐션이 이루어지게 된다. 다시 말해 위에서 설명한 어텐션이 8개로 병렬로 이루어지게 되는데, 이때 각각의 어텐션 값 행렬을 어..

seungseop
꾸준한 성장일기