늘보의 서랍

논문 링크 : How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings Replacing static word embeddings with contextualized word representations has yielded significant improvements on many NLP tasks. However, just how contextual are the contextualized representations produced by models such as ELMo and BERT? Are there infini arxiv.org 그러나, ELM..

논문 링크 : Should We Rely on Entity Mentions for Relation Extraction? Debiasing Relation Extraction with Counterfactual Analysis Recent literature focuses on utilizing the entity information in the sentence-level relation extraction (RE), but this risks leaking superficial and spurious clues of relations. As a result, RE still suffers from unintended entity bias, i.e., the spurious arxiv.org Github..

아쉽게도 논문 정리를 마무리 못 지었다. 곳곳에 등장하는 개념들을 다시금 찾아보고 또 수식에 대한 정보들을 찾아보고 이해하는 데에 생각보다 많은 시간이 들었다. 이렇게까지 해야 하나? 라는 생각이 가끔 들지만 그래도 이런 시간들이 쌓이다보면 나중에는 시간도 덜 들게 될 것이고 이해하는 데도 더 수월해질 것이라 믿고 있다. 당장에 대회에 나가야겠다는 욕심은 없으니까 이번 달까지는 이렇게 학습 위주로 일과를 짜도 괜찮지 않을까 싶다. 오늘은 CNN에 대한 강의를 수강했는데 어제와 마찬가지로 조금 자세하게 마스터 님이 말씀하신 내용을 옮겨 적었다. 이런 게 옛날에 보았던 서울대 공부법인가!? 싶었는데 흐름을 차근차근 따라가며 개념을 이해할 수 있어서 좋은 것 같다. 오늘도 그냥 다 옮겨볼까 하다가 이거 다 옮..