Attention Is All You Need

신경망의 누적은 과거의 망각을 가져온다. 

알파고의 경우 무조건 많이 쌓았지만 언어의 경우에는 이와 다르다.

언어는 과거의 정보 중 적정히 중요한 것은 다시 앞쪽으로 연결해 주는 역할이 필요하다. 

이것으로 어려운 언어를 이해하거나 무지막지한 시냅스의 연결을 구성하지 않고도 지능의 상승을 가져올 수 있다. 

여기는 마인크래프트 글피서버(geulpi.kr)입니다.