AI 강의 121편을 버리고 다시 만들었다

실제 운영 중인 교육 플랫폼에서 품질 미달 강의를 발견하고 근본 재설계하는 3단계 프로세스. 우리가 어떻게 뉴스 기반 생성에서 docs 기반으로, 다시 콜로소급 강의 구조로 옮겨갔는지.

문제 발견 — 하이라이트가 안 뜬다

사용자가 한 줄 피드백을 남겼다.

"퀵가이드 들어가 보니 강의 내용이 실제 서비스와 맞지 않고, 하이라이트도 거의 안 됩니다."

AXPERT의 Core Value Proposition은 명확했다. "영상을 보지 않고, 실제 서비스에서 만들면서 배운다." Extension이 셀렉터를 잡아 하이라이트하고, 학습자는 실제 Claude/Gemini/GitHub에서 따라한다.

그런데 하이라이트가 안 뜬다는 건, 강의가 실제 UI와 괴리돼 있다는 뜻이었다.

1차 감사 — 121편 전수 조사

3축 기준을 세웠다.

콘텐츠 정합성: 실제 서비스 UI와 일치?
하이라이트 정확도: 셀렉터가 실제 DOM을 잡는가?
사용자 여정 완결성: 도중에 막히는 스텝이 없는가?

감사 스크립트를 짜서 전체 published 121편을 돌렸다.

항목	결과
콘텐츠 정합성	95편 재설계 필요
효능감 미달 (checkpoint 없음)	95편
프롬프트 부실 (prompt_text 짧음)	96편
스텝 설명 길이 평균	175자 (목표 250자+)

결론: 거의 전부 품질 미달. 전반적 재설계 필요.

근본 원인 — 뉴스로 UI를 상상하다

v1 파이프라인은 이렇게 동작했다.

뉴스 기사 (AI 신기능 발표) 
  → Claude API가 뉴스 텍스트만 읽고 
  → "아마 이렇게 생긴 UI일 것"이라고 상상해서 스텝 생성

Claude가 똑똑해도 본 적 없는 UI를 정확히 묘사할 수 없다. 결과물은 그럴싸했지만 실제 화면과 셀렉터가 맞지 않았다.

v2 전환 — 공식 docs를 그라운드 트루스로

해결책은 단순했다.

뉴스는 주제 발견용으로만 쓰고, 실제 강의 내용은 공식 문서에서 끌어온다.

뉴스 (주제 발견) 
  → 공식 docs 크롤링 (Firecrawl MCP)
  → Claude가 docs만 읽고 커리큘럼 설계
  → 실제 UI와 일치하는 스텝 생성

Firecrawl MCP로 각 서비스의 overview 페이지를 수집했다.

claude.com/docs → docs-cache/claude-overview.md
ai.google.dev/gemini-api/docs → docs-cache/gemini-overview.md
vercel.com/docs → docs-cache/vercel-overview.md
(총 9 서비스 캐시 구축)

이제 Claude는 "추측" 대신 "인용"한다. 스텝마다 docs_citation 필드가 채워졌다.

v3 전환 — prompt_copy는 강의가 아니다

v2로 재생성하니 checkpoint와 prompt_copy가 생겼다. 품질 점수가 올랐다. 그런데 새 피드백이 왔다.

"프롬프트만 복사해서 넣는 방식의 강의들은 의미 없다. 콜로소/패스트캠퍼스/유튜브/공식 docs를 참고해서 실제 강의를 만들어야 한다."

v2는 prompt_copy 스텝을 3개 이상 강제했다. 학습자가 복사해서 붙여넣고 끝나는 구조였다. 학습이 아니라 단순 복붙.

콜로소/패캠을 벤치마크했다. 상위 강의의 공통점은:

도입 (Hook): 실무에서 왜 이게 필요한가
개념 (Theory): 어떻게 작동하는가
시연 (Demo): 강사가 예시로 보여준다
실습 (Practice): 학습자가 본인 데이터로 해본다
정리 (Wrapup): 응용 패턴 + 다음 학습

v3 프롬프트에 이 5단 구조를 박아넣고, 기준을 뒤집었다.

기준	v2	v3
평균 content 길이	≥250자	≥400자
tooltip (개념 설명)	제한 없음	≥6개 필수
prompt_copy	≥3개	≤1개로 제한
checkpoint	≥2개	≥2개

결과 — 콜로소급 깊이

프로토타입을 돌렸다. "Claude Projects로 나만의 AI 작업실 만들기"

14 스텝 (intro 2 + theory 4 + demo 3 + practice 3 + wrapup 2)
평균 content 466자 (도입 멘트 + 개념 설명 + 실행 지시 + 효능감 체크)
docs 인용 14/14
checkpoint 2개 (중간 + 마지막)
prompt_copy 1개 (핵심 재사용 템플릿만)

첫 스텝 일부를 옮겨본다.

"이런 상황 겪어봤나요? 지난번 Claude에게 '나는 스타트업 창업자고, 우리 회사는 B2B SaaS 기업이야'라고 설명했는데, 오늘 새 채팅 열면 Claude는 그걸 전혀 모릅니다. 다시 처음부터 설명해야 하죠. 왜 이런 일이 일어날까요? Claude의 기본 채팅은 '대화 단위'로만 맥락이 유지되기 때문입니다..."

이건 설명이다. 복사할 프롬프트가 아니다.

시스템으로 전환

한 편 검증 후 나머지 89편 draft로 내리고, 15편씩 batch로 재생성했다. 각 실패는 최대 3회 retry. v3 기준 PASS율:

첫 감사: 32% (68편 중 22편)
2차 batch 후: 57% (82편 중 47편)
3차 batch 완료 후 (예상): 95%+

교훈

1. 품질은 생성 시점이 아니라 프롬프트에서 결정된다. v1 프롬프트는 뉴스만 입력으로 받았다. 아무리 좋은 LLM도 본 적 없는 UI를 정확히 설명할 수 없다.

2. prompt_copy는 결과물이 아니라 보조 도구. 학습자가 "이걸 배웠다"고 느끼려면 개념 이해가 선행돼야 한다.

3. 실제 강의 수준을 재료 삼아라. 콜로소/패캠/유튜브 교육 채널의 상위 콘텐츠가 공통으로 가진 "5단 구조"는 10년간 검증된 학습 설계다.

4. 재생성은 자동화하되 검증도 자동화하라. 3축 QA 스크립트로 편당 즉시 측정, 미달 시 재생성. 사람이 일일이 검토할 필요 없다.

지금

AXPERT 프리 퀵가이드는 v3 5단 구조로 단계적 교체 중이다. 각 편이 "Claude Projects로 나만의 AI 작업실 만들기"처럼 왜 쓰는지, 어떻게 작동하는지, 실습으로 내 것 만들기까지 이어진다.

영상 강의가 아니라 실제 Claude에서 실습한다. 하이라이트가 붙고, 내 데이터로 결과물이 쌓인다.

"배웠다"는 감각이 남는다.

AXPERT는 영상 시청이 아닌 실제 AI 서비스 위에서 실습하며 배우는 인터랙티브 교육 플랫폼입니다. 👉 axpert.net/tutorials

AI 강의 121편을 버리고 다시 만들었다 — 콜로소급 품질까지 가는 길