conference : CVPR 2021 (Oral) 논문 링크 : https://arxiv.org/pdf/2104.13682.pdf Introduction Human-Object Interaction (HOI) detection은 이미지 내에서 set을 예측하는 task이다. 이전 work들은 object detection을 먼저 수행하고, 각각 pair를 만든 후 post-processing step을 거쳐 interaction을 파악하는 간접적인 방식을 사용했다. 특히, sequential HOI detector와 같은 초기 work들은 후처리 과정에서 neural network를 사용했기 때문에, 시간과 계산 비용이 많이 들었다. 이러한 sequential HOI detector의 문제점을 극복하..
Conference : ICLR 2023 논문 링크 : https://arxiv.org/pdf/2206.10550.pdf Abastract 본 논문에서는 off-the-shelf pre-trained model만을 활용해서 $l_2$-norm bounded perturbation에 대한 certified adversarial robustness SOTA를 달성했다. 이를 위해 pretrained DDPM(denoising diffusion probabilistic model)과 high-accuracy classifier를 결합하여 기존의 denoised smoothing approach를 인스턴스화했다. 이러한 방식은 모델의 파라미터를 fine tuning 하거나 retraining 할 필요 없다는 장..
Conference : ICML 2022 논문 링크 : https://arxiv.org/pdf/2205.07460.pdf Abstract Adversarial purification은 생성 모델을 사용하여 adversarial purturbation을 제거하는 defense 방법이다. 이러한 방법은 attack 형태와 classification model의 형태를 가정하지 않으므로, 보이지 않는 위협으로부터 기존의 classifier를 robust 하게 만들 수 있다. 그러나 현재 이러한 방법의 성능은 adversarial training 방법에 비해 뒤떨어진다. 이 논문에서는 adversarial purification을 위해 diffusion model을 사용하는 DiffPure 모델을 제안한다. a..
BERT는 Bidirectional Encoder Representations from Transformers 즉, Transformer의 Encoder 구조를 이용하여 문맥을 양방향으로 이해하는 모델이다. BERT가 나오게 된 배경은 2018년 OpenAI에서 Transformer의 Decoder 구조를 사용하여 GPT-1을 출시했는데, 얼마 지나지 않아 구글에서 “GPT-1은 문맥이 중요한 Task인 QA나 LNI 등에서 좋지 않아 !!”라면서 BERT를 출시했다. 최근 OpenAI의 ChatGPT가 큰 화제를 얻자 이에 맞서 구글에서 Bard를 출시하는 것처럼 두 기업은 뭔가 경쟁 관계를 이어나가고 있는 것 같다. (그래서 NLP가 빠르게 발전할 수 있지 않을까?) 다시 본론으로 돌아와서 BERT는..
