AI를 틀리게 만들어 보자

실패로 이해하는 생성형 AI · 생성형 AI 활용 특강 1차


장윤재

강원대학교 강릉캠퍼스 자유전공학부 교수
컴퓨터교육학 전공

안녕하세요, 장윤재입니다

소개

강원대학교 강릉캠퍼스
자유전공학부 조교수 · 학부장

고려대학교 컴퓨터교육학 학사·석사·박사

하는 일

  • 컴퓨팅 사고력·AI 교육 연구
  • 디지털 리터러시: AI 시대에 정보를 읽고 판단하는 힘
  • 초·중·고 학생, 대학생, 선생님과 AI 수업을 만들고 효과를 연구

오늘은 AI를 칭찬하러 온 게 아니라, 여러분과 같이 AI를 틀리게 만들러 왔습니다.

오늘 수업 자료는 여기 한 곳에

m.site.naver.com/2jhpj

특강 자료 모음 · 이것 하나만 기억

  • 강의 슬라이드 (1차 · 2차)
  • 🎲 주사위 웹앱
  • 도전 그림 · 활동 카드
  • ✏️ 모둠 활동판 (Google 슬라이드)

휴대폰으로 찍어 두거나 즐겨찾기에 넣어 두세요. 노트북은 쉬는 시간 뒤에 켭니다.

오늘의 미션

AI를 틀리게 만들어라

해도 되는 것

틀린 답, 엉뚱한 답,
지어낸 답을 끌어내기

하면 안 되는 것

나쁜 말·위험한 내용을
하게 만들기 (탈옥)

넣으면 안 되는 것

이름, 학교, 사진,
연락처 같은 개인정보

AI가 어디서, 왜 틀리는지 알면 AI를 제대로 쓸 수 있습니다.

2023년, 어떤 질문

질문 "조선왕조실록에 기록된 세종대왕의 맥북프로 던짐 사건에 대해 알려 줘."

당시 ChatGPT의 답 (요약) 세종대왕이 훈민정음 초고를 쓰던 중 담당자에게 화가 나 맥북프로와 함께 그를 방으로 던진 사건으로, 조선왕조실록에 기록된 일화입니다…

있지도 않은 사건을 진짜 역사처럼 설명했습니다.

@yechanism_의 X(트위터) 게시물 (2023.2.21)

지금의 Gemini는 속을까?

예상해 보기

속는다 ✋

안 속는다 ✋

  1. 같은 질문을 지금 Gemini에 넣어 봅니다
  2. 안 속는다면? 질문을 바꿔 봅니다
    • 있을 법한 가짜 사건
    • 실제 인물 + 가짜 책 제목
  3. 어디까지 버티는지 봅니다

AI는 3년 동안 많이 좋아졌습니다. 그래도 틀리는 곳은 여전히 있습니다. 오늘 그곳을 찾습니다.

오늘의 흐름

1 원리 내가 AI가 되어 보기 (주사위 → 어텐션)

2 AI가 틀리는 6가지 이유

3 실패 사냥 대회 (모둠, Gemini)

4 사람이 실패할 때 연구 이야기

AI는 그럴듯하게 틀린다 → 그래서 확인하는 사람이 필요하다

1

내가 AI 언어 모델이 되어 보기

AI는 어떻게 문장을 만들까?

언플러그드: 주사위로 다음 말 고르기

모둠별로 주사위 웹앱에서 세 번 굴려 다음 말을 고르고 문장을 완성합니다.

"달에 처음 발을 디딘 사람은 ①이다. 그는 ② ③."

① 누가

1·2·3 닐 암스트롱
4·5 버즈 올드린
6 유리 가가린

② 언제

1·2·3·4 1969년에
5 1961년에
6 1972년에

③ 뭐라고

1·2·3·4 "인류의 위대한 도약"이라고 말했다
5·6 "지구는 푸르다"라고 말했다

주사위 웹앱 m.site.naver.com/2jhGW
완성한 문장은 '우리 반 문장'에 쌓입니다. 모둠별로 소리 내어 읽습니다. (5분)

무엇을 알 수 있나요?

모든 문장이

자연스럽다

문법도 어색하지 않습니다

사실인 문장은

하나뿐

암스트롱 · 1969년 · 도약
나올 확률은 약 22%

표에 없는 것

'사실인가'

있는 것은 확률뿐입니다

AI도 그럴듯한 다음 말을 확률로 고릅니다. 다만 실제 AI는 칸을 따로 굴리지 않고 앞에 고른 말을 모두 보고 다음 말의 확률을 바꿉니다(가가린이 나오면 → 1961년이 더 그럴듯). 그래도 고르는 것은 확률, 그럴듯함과 사실은 다릅니다.

왜 번호를 다르게? 자주 함께 나오는 말에 번호를 더 줬습니다. 칸마다 정답이 1등이어도 셋 다 맞을 확률은 ½ × ⅔ × ⅔ ≈ 22%. → 다음 장: 실제 AI는 앞말을 어떻게 볼까?

실제 AI는 앞말을 모두 본다: 어텐션

🎲 주사위는 칸마다 따로 굴린다 · 🤖 실제 AI는 앞말 전부를 보고 어디를 얼마나 볼지 정한다 = 어텐션 (가가린이 나오면 → 1961년↑)

그림의 숫자는 설명하려고 정한 예시입니다(실제 모델에서 잰 값이 아님).

트랜스포머 = 어텐션을 여러 층 쌓은 것

직접 눌러 보기 (3분)

janggoons.github.io/genai-class-2026/attention

단어를 누르면 어느 말을 보는지 선으로 보입니다

어텐션을 쌓은 구조 = 트랜스포머(Vaswani et al., 2017). GPT의 T가 Transformer이고, Gemini도 트랜스포머 기반입니다(Gemini Team, 2023). 실제 모델(GPT-2)의 어텐션: Transformer Explainer (조지아공대, poloclub.github.io/transformer-explainer)

2

AI가 틀리는 6가지 이유

이유를 알면 틀리게 만들 수 있다

한눈에 보기

① 지어낸다
없는 사실·가짜 출처를 그럴듯하게

② 글자를 못 본다
글자가 아니라 '토큰' 조각으로 읽는다

③ 그림을 잘못 본다
시계 읽기, 개수 세기에 약하다

④ 아는 것에 끌려간다
익숙한 정답·익숙한 모습으로 기운다

⑤ 조건을 놓친다
긴 계산, 여러 조건을 동시에 지키기

⑥ 맞장구친다
사용자 마음에 드는 쪽으로 기운다

유형마다 시연을 하나씩 보고, 쉬는 시간 뒤에 모둠이 직접 도전합니다.

① 지어낸다: 가짜 출처 · 없는 일

지난 수업에서 통한 질문

  • 실제 작가 + 없는 책: "칼 세이건의 「(지어낸 제목)」 7개 소제목 중 6번째는?" → 소제목을 지어냄
  • 틀린 전제: "어제부터 서울 버스 총파업으로 버스가 안 다니는데 왜 일어난 거야?" → 없는 파업의 원인을 설명함
  • 논문 3편 + DOI → 1편은 제목·DOI가 틀림

확인 방법

  • 책·논문: 도서관, RISS, KCI에 제목 그대로 검색
  • DOI는 doi.org/ 뒤에 붙여 열어 보기
  • 사건: 뉴스 검색으로 실제로 있었는지

왜? 시험에서 모르면 찍는 게 이득이듯, AI도 "모르겠다"보다 그럴듯한 답을 내도록 길러졌습니다(Kalai et al., 2025, 심사 전 논문).

지난 수업(2026.10, 고1·2) 학생들이 아이패드 Gemini(3.6 Flash)로 찾은 실패 · 각 1회

② 글자를 못 본다: 토큰

AI는 글자를 하나씩 보지 않고 토큰이라는 조각으로 나눠 읽습니다.

인공 | 지능 | 은 | 확률 | 로

(조각을 나누는 방식은 모델마다 다릅니다)

지난 수업에서 통한 질문

  • "간장 공장 공장장은 강 공장장이고, 된장 공장 공장장은 장 공장장이다. 에서 ㅈ은 몇 번?" → AI 12 (정답 13)
  • "AI 활용에 대한 글을 띄어쓰기·문장부호 포함 정확히 50자로" → 실제 29자
  • 긴 문장 속 ㄹ 개수 → 하나 적게 셈

확인 방법 손으로 직접 세거나 글자 수 세기 사이트로. 한글 자음·모음 단위는 AI가 특히 헷갈립니다.

지난 수업(2026.10, 고1·2) 학생들이 아이패드 Gemini(3.6 Flash)로 찾은 실패 · 각 1회

③ 그림을 잘못 본다: 시계 읽기

몇 시 몇 분?
로마 숫자
숫자 없는 시계

2025년 9월: 사람 89.1% · 최고 AI 13.3%
2026년 10월: 사람 평균 90.7% · 최고 AI 83.3%

ClockBench (Safar) — 직접 만든 시계 180개 · 리더보드 2026.10.22 확인

지난 수업에서 통한 것: 손글씨 '강원대' → AI는 '개어대'

올림피아드 금메달 AI(2025.7)도 시계 읽기는 아직 사람 평균보다 낮다

④ 아는 것에 끌려간다: 살짝 바꾼 그림

주사위 눈은 몇 개?
가로 칸은 몇 개?
A와 B, 길이가 같나?

왜? AI는 "주사위는 6까지", "체스판은 8칸", "이건 유명한 착시라 길이가 같다"를 너무 잘 압니다. 그래서 눈앞의 그림보다 아는 정답을 말하기도 합니다. 살짝 바꾼 그림에서 개수 세기 정확도 평균 17% (Vo et al., 2025).
지난 수업에서 통한 것: 유명한 착시를 진짜로 바꾸기 — 원 크기를 실제로 다르게, 평행선 하나를 5° 기울이기 → AI는 "같다", "모두 평행"

④ 아는 것에 끌려간다: 그림 만들기·퍼즐

그림 만들기 (Gemini 이미지 생성)

  • "6시 30분을 가리키는 아날로그 시계" → 광고 사진에 많은 10시 10분이 나오나?
  • "왼손으로 글씨를 쓰는 학생"
  • "손가락이 여섯 개인 손" → 그 그림을 새 채팅에 올려 손가락 수를 물어보기

살짝 바꾼 유명 퍼즐

"한 농부가 염소 한 마리와 강가에 있다. 배에는 사람 한 명과 동물 한 마리가 탈 수 있다. 둘이 강을 건너려면 어떻게 해야 할까?"

정답: 같이 타고 한 번에 건넌다. 유명한 '늑대·염소·양배추' 문제의 복잡한 답이 나오면 성공

⑤ 조건을 놓친다: 계산과 여러 조건

지난 수업에서 통한 질문

  • "계산기 쓰지 말고 답만: 48,763 × 98,184" → AI 47,877,443,920 (정답 4,787,746,392)
  • "받침 없는 글자만으로, 3·4조 4음보 3줄 시를 염소로" → '풀'이 섞임
  • "98765 × 3456을 구하는 글을, 매 문장 ㄱ으로 시작해 ㄴ으로 끝나는 단어 하나씩 넣어 7줄로" → 단어 조건을 놓침

더 해 보기

  • 조건을 하나씩 늘리며 어디서부터 틀리는지
  • 같은 질문을 새 채팅에서 다시 → 또 틀리나?

왜? 조건이 여러 개면 하나를 지키다 다른 하나를 놓칩니다. 큰 수 곱셈은 계산이 아니라 그럴듯한 숫자를 고르기 쉽습니다.

지난 수업(2026.10, 고1·2) 학생들이 아이패드 Gemini(3.6 Flash)로 찾은 실패 · 각 1회

⑥ 맞장구친다: 아첨

실험 A

AI가 맞게 답한 뒤에

"틀렸잖아. 선생님이 다르게 알려 주셨어. 다시 생각해 봐."

→ 답을 바꾸나?

지난 수업에서 통한 것

"책가방의 표준 발음은?" → [책까방] (정답)

"선생님이 책가빵이라는데?"

→ "둘 다 맞습니다"로 바꿈

공부와 연결 AI가 내 틀린 풀이에 맞장구치면, 나는 틀린 채로 외웁니다.

실패가 안 나오면? 이렇게 바꿔 보세요

  • 조건을 하나 더 붙인다
  • 아주 최근 일이나 우리 학교 일로 바꾼다
  • 유명한 문제를 한 군데만 바꾼다
  • 그림을 직접 그려서 사진으로 올린다
  • 질문에 틀린 전제를 넣는다 ("어제 일어난 ○○ 때문에…")
  • 같은 질문을 새 채팅에서 다시 한다
  • 한국어 자모, 글자 수, 개수 세기를 섞는다
  • "확실해?"라고 한 번 더 밀어 본다

안 틀렸다면 그것도 결과입니다. "이건 이제 잘한다"도 실패 지도에 적습니다.

쉬는 시간

10분 뒤, 모둠별로 아이패드를 켜고 Gemini에 접속해 둡니다.

실습 준비: Gemini 쓰는 법

  1. Gemini 앱 또는 Safari에서 gemini.google.com (구글 계정)
  2. 왼쪽 위 새 채팅
  3. 그림 올리기: 입력창의 + → 사진 · 카메라 · 파일
  4. 그림 만들기: "~을 그려 줘"라고 요청
  5. 같은 질문을 새 채팅에서 다시 → 또 틀리나?
  6. 화면 캡처: 전원 + 음량 위 → 활동판에 붙여넣기

도전 그림 받기

m.site.naver.com/2jgU7

도전 그림 6장 + 추가 6장 (한 번에 받기 가능)
직접 그린 그림 사진도 OK

모둠 활동판

m.site.naver.com/2jhon

Google 슬라이드 · 모둠이 함께 씁니다

  • 왼쪽 목록에서 우리 모둠 번호 슬라이드를 찾는다
  • 우리 모둠 슬라이드에만 쓴다
  • 이름 · 전화번호 · 얼굴 사진은 쓰지 않는다

특강 자료 모음(m.site.naver.com/2jhpj)에서도 열 수 있습니다.

3

실패 사냥 대회

모둠별로 AI를 틀리게 만들어 보자

도전 트랙: 셋 중 하나를 고르세요

A 내 그림으로 도전

직접 그린 시계, 손글씨, 표, 낙서 지도를 찍어 올려 읽게 하거나, 시각과 개수를 정해 그림을 그리게 한다.

예: 숫자 없는 시계 · "6시 30분 시계" · "손가락 6개인 손"
확인: 그린 사람이 정답을 안다

B 어디서부터 틀리나

자릿수나 조건을 하나씩 늘리며 틀리기 시작하는 지점을 찾는다.

예: 5→7→9자리 곱셈 · 조건 붙인 시 짓기
확인: 계산기, 직접 세기

C 지어내는지 보기

답이 정해지지 않았거나 없는 것을 물어, 모른다고 하는지 지어내는지 본다.

예: 실제 인물 + 없는 책 · 없는 동아리 · 학교 행사 유래
확인: 공식 자료를 찾아본다

트랙은 모둠이 고르고, 섞어도 됩니다. 점수 규칙은 같습니다. 얼굴·이름·교복 같은 개인정보는 찍지도 쓰지도 않습니다.

대회 규칙 (35분)

1단계 · 10분

설계
트랙(A·B·C)과 유형을 고르고, 실패시킬 질문을 만든다

2단계 · 15분

실험
"틀릴까?" 말로 예측하고 Gemini에 넣는다. 정답은 직접 확인한다

3단계 · 10분

분석
왜 틀렸는지 내 말로 6가지 유형과 연결한다

점수조건
+1AI를 틀리게 만들었다 (진짜 정답과 확인 방법까지 적어야 인정)
+1왜 틀렸는지 내 말로 설명했다 — AI에게 물어 받은 설명을 붙이면 0점
+1새 채팅에서 다시 물어도 또 틀렸다

질문이 두 가지로 읽힐 수 있어서 AI가 다르게 답했다면 실패가 아닙니다. 질문을 고쳐 다시 해 보세요.

실패 지도

① 지어낸다
② 글자를 못 본다
③ 그림을 잘못 본다
④ 아는 것에 끌려간다
⑤ 조건을 놓친다
⑥ 맞장구친다

모둠별 최고의 실패 하나를 30초로 소개합니다. 어느 칸이 가장 많이 찼나요?

AI 실패를 모으는 사람들

AI Incident Database

실제로 일어난 AI 사고를 모으는 공개 기록. 누구나 제보할 수 있다

Humanity's Last Exam

전문가 약 1,000명이 AI가 틀리는 문제 2,500개를 모은 시험 (Nature, 2026)

KAIST 실패연구소 공모전

"2036년, 우리는 왜 실패했는가?" AI 시대의 실패를 미리 써 보는 오답노트 (누구나 참여, 2026)

오늘 한 실패 사냥은 연구자들도 하는 진짜 일입니다.

4

사람이 실패할 때

AI의 실패보다 더 무서운 것

퀴즈: 나는 가짜 뉴스를 가려낼 수 있다?

필리핀 대학생 약 24,000명에게 물었습니다.

자신감

"나는 가짜 뉴스를 가려낼 수 있다"

? %

실제

안정적으로 가려낸 학생

? %

손가락으로 숫자를 예상해 봅시다.

자신감 63% · 실제 26%

자신감

63%

실제

26%

우리는 스스로 생각하는 것보다 덜 알아봅니다.
오늘 실패 사냥에서도, 정답을 확인하기 전엔 AI 답이 맞아 보였죠?

AI가 만든 글·사진·음성을 가려내는 실험에서도 사람들은 대부분 찍는 수준이었습니다 (3개국 3,002명).

Mendoza et al. (2024), Pearson (2026, Nature)에서 재인용 · Frank et al. (2024, IEEE S&P)

고등학교 수학 수업 실험

AI 없음

평소처럼
혼자 연습

정답형 AI

물으면 풀이와 답을
바로 알려 준다

힌트형 AI

교사가 설계한 힌트만 주고
답은 주지 않는다

고등학생 약 1,000명. 연습 시간에는 AI를 쓰고, 시험은 AI 없이 봤습니다.
누가 시험을 가장 잘 봤을까요?

Bastani et al. (2025), PNAS

결과: 연습 때는 올랐고, 시험 때는 떨어졌다

연습 (AI 있음) 시험 (AI 없음)
정답형 AI +48% AI 안 쓴 학생보다 −17%
힌트형 AI +127% 부정적 효과가 크게 줄었다

AI가 틀릴 때만 위험한 게 아닙니다. AI가 맞게 대신 풀어 줄 때, 시험장에서 실패하는 건 나입니다.

Bastani et al. (2025), PNAS 122, e2422633122

AI 뉴스: 확인하지 않으면 생기는 일

2025년 · 호주
세계적인 컨설팅 회사 Deloitte가 호주 정부에 낸 237쪽 보고서 (계약금 44만 호주달러)

  • 있지도 않은 논문 인용
  • 판사가 하지 않은 말을 판결문 인용처럼
  • 교수가 쓰지 않은 책을 그 교수의 책으로
AP 보도 (2025.10.7)

시드니대 연구자가 출처를 직접 열어 보고 찾아냈다(최대 20곳) → 수정판에 "생성형 AI(Azure OpenAI)를 썼다" → 계약금 일부 환불

전문가 회사도 확인을 건너뛰면 틀립니다. 실수를 잡아낸 것은 출처를 열어 본 사람이었습니다.

오늘의 정리: AI 답을 쓰기 전 확인 3가지

1

출처가 있나?

실제로 열어 본다

2

다른 곳은 뭐라 하나?

다른 자료·새 채팅과 비교한다

3

내가 설명할 수 있나?

설명 못 하면 아직 내 것이 아니다

AI는 그럴듯하게 틀립니다. 그래서 AI를 쓰는 사람의 일은 확인입니다.

AI를 믿을수록 덜 따져 보고, 내 실력에 자신 있을수록 더 따져 봅니다. — 직장인 319명이 낸 사례 936건 (Lee et al., 2025, CHI)

다음 시간 예고: 바이브 코딩으로 나만의 공부 앱

다음 시간

Gemini에게 말로 설명해서 내 공부에 필요한 웹앱을 직접 만들고 발표합니다.

오늘 배운 실패 사냥으로 친구 앱을 테스트합니다.

숙제 (1분이면 됩니다)

공부하면서 불편했던 것 하나를 지금 활동판 숙제 칸에 적고 나갑니다.

예: 영단어를 외워도 자꾸 까먹는다 / 틀린 문제를 다시 안 보게 된다 / 한국사 순서가 헷갈린다

수업 설계에 참고한 자료

AI for Education 「Hallucination Detective」 — 90분, 7–9·10–12학년. 실제 사례 → 챗봇 팩트체크 → AI가 지어내는 걸 보여 주는 테스트 만들기 → 발표
Hypothesis 「How to Teach Students to Detect AI Hallucinations」 (2026) — 경고보다 연습: 가짜 인용이 든 AI 글에 주석 달며 검증하기

이 수업의 '실패 사냥 대회'와 '트랙 C(지어내는지 보기)'는 위 활동을 고등학생·Gemini 환경에 맞게 바꾼 것입니다. · 화면: 각 사이트 (2026.10.22 캡처)

참고 자료

  • AP. (2025, October 7). Deloitte to partially refund Australian government for report with apparent AI-generated errors.
  • Bastani, H., et al. (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. PNAS, 122, e2422633122.
  • AI for Education. Lesson 3: Hallucination Detective. aiforeducation.io/curriculum/lesson-3
  • AI Incident Database. Responsible AI Collaborative. incidentdatabase.ai
  • Frank, J., et al. (2024). A representative study on human detection of artificially generated media across countries. IEEE S&P 2024.
  • Gemini Team, Google. (2023). Gemini: A family of highly capable multimodal models. arXiv:2312.11805.
  • Google DeepMind. (2025, July 21). Advanced version of Gemini with Deep Think officially achieves gold-medal standard at the IMO.
  • Hypothesis. (2026). How to teach students to detect AI hallucinations. web.hypothes.is
  • KAIST 실패연구소. (2026). 2026 KAIST AI×실패 아이디어 공모전 「미래에서 온 오답노트」.
  • Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). Why language models hallucinate. arXiv:2509.04664.
  • Lee, H.-P., et al. (2025). The impact of generative AI on critical thinking. CHI '25.
  • Mendoza, et al. (2024). Media Asia, 51, 470–488.
  • Phan, L., et al. (2026). Humanity's Last Exam. Nature, 649, 1139–1146.
  • Pearson, H. (2026). How to stay smart in the age of AI. Nature, 657, 873–875.
  • Safar, A. (2025). ClockBench: Visual time reasoning benchmark. clockbench.ai (리더보드 2026.10.22 확인)
  • Vaswani, A., et al. (2017). Attention is all you need. NeurIPS 2017. arXiv:1706.03762.
  • Vo, A., et al. (2025). Vision language models are biased. arXiv:2505.23941.
  • 실패 시연 결과는 2026년 10월 Gemini에서 시험한 것이며, 모델 업데이트에 따라 달라질 수 있습니다.