쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Closed-book QA with T5 Closed-book Question Answering Current approaches of builiding QA system Idea of Closed-book Question Answering 모델이 이미 사전학습으로 대량의 지식을 학습했다면, 사전학습 언어모델 자체가 이미 하나의 knowledge storage라고 볼 수 있지 않을까? ⇒ 굳이 다른 곳에서 지식을 가져와야할 필요가 없지 않을까? 모델 안에 모든 정보가 포함되어 있어야 함 대량의 지식을 사전학습한 언어 모델이 하나의 knowledge storage인 것 Zero-shot QA performance of GPT-2 사전학습 시 전혀 본적 없는 Natur..