쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Sequential Model What makes sequential modeling a hard problem to handle? 중간에 어떤 단어가 빠지거나 순서가 뒤바뀌는 단어가 있으면 모델링하기 어렵게 됨 Transformer Transformer is the first sequence transduction model based entirely on attention. Transformer는 전적으로 attention에 기초한 최초의 시퀀스 변환 모델이다. From a bird’s-eye view, this is what the Transformer does for machine translation tasks. 대략적인 관점에서, 아래 그림은 Transf..