👀 어텐션 눈으로 보기
생성형 AI는 다음 말을 고를 때 앞에 나온 말을 모두 보고, 그중 어디를 얼마나 볼지 정합니다. 이것을 어텐션(attention)이라고 합니다.
① 주사위는 앞말을 보지 않는다, AI는 본다
'누가'를 하나 골라 보세요. 그다음 '언제'의 확률이 어떻게 달라질까요?
🎲 주사위 (앞말을 안 봄)
누구를 골랐든 표가 같습니다.
🤖 어텐션 (앞말을 봄)
앞에서 고른 사람을 보고 확률이 바뀝니다.
② '배'는 어느 말을 보고 뜻을 정할까?
문장을 바꾸고, 주황 테두리 단어를 눌러 보세요. 선이 굵을수록 그 말을 많이 봅니다. 다른 단어를 눌러도 됩니다.
③ 트랜스포머 = 어텐션을 여러 층 쌓은 것
한 번 보고 끝나지 않습니다. 층마다 앞말을 다시 보며 뜻을 조금씩 다듬고, 마지막 층에서 다음 말의 확률을 냅니다.
이 페이지의 숫자(선 굵기·확률)는 설명하려고 사람이 정한 예시입니다. 실제 모델은 이런 어텐션 수십~수백 개가 동시에 일하고, 확률은 학습으로 정해집니다.
실제 모델(GPT-2)이 돌아가는 모습은 Transformer Explainer(조지아공대, 영어)에서 볼 수 있습니다.