AI가 매일 아침저녁 기술 뉴스레터를 써주는 시스템을 운영하고 있다. Gemini가 수집된 콘텐츠를 읽고 "오늘의 픽"을 골라 심층 분석하고, 나머지는 "더 보기"로 정리해서 이메일로 보내주는 구조다.
2주 정도 운영하면서 패턴이 보이기 시작했다. AI가 쓴 다이제스트가 나쁘진 않은데, 뭔가 아쉬웠다. 오늘 그 아쉬움의 정체를 분석하고 프롬프트를 개선한 기록이다.
문제 진단: 5가지 아쉬운 점
1. 오늘의 픽이 "댓글 많은 순"으로 선택됨
댓글 148개짜리 "Anthropic 구독 인증 금지" 뉴스가 오늘의 픽 1번이었다. 정책 뉴스니까 알면 좋지만, 내가 내일 뭘 할 수 있는 건 아니다. 반면 "Claude Code 실전 활용 팁 7가지" 같은 바로 써먹을 수 있는 글이 더 보기에 한 줄로 묻혀 있었다.
핵심: 댓글 수 ≠ 독자 가치. 실행 가능성이 더 중요하다.
2. So What이 교과서 같음
"신기술 도입은 신중한 검토와 충분한 준비가 필요합니다."
이건 누가 몰라서 안 하나. 매일 아침 이런 결론을 읽으면 스킵하게 된다.
3. 에디터 노트가 매일 비슷함
"AI의 확산이 정책, 윤리, 개발 워크플로우를 바꾸고 있습니다." 이 문장은 거의 매일 쓸 수 있다. 오늘만의 관점이 없다.
4. 더 보기 요약이 제목 반복
"Electrobun v1이 소개되었습니다"는 제목을 읽으면 이미 아는 내용이다. 한 줄 요약의 가치가 없다.
5. 가십이 픽을 차지함
"MS가 해리포터 불법복제 가이드를 올렸다가 삭제했다"는 이미 페이지가 없는 가십이다. 이런 게 오늘의 픽 4개 중 하나를 차지하고 있었다.
개선: 프롬프트에 뭘 바꿨나
오늘의 픽 선별 기준 추가
기존에는 "이게 왜 중요한지를 내 언어로"만 있었다. 여기에 명시적 기준을 넣었다:
선별 기준 (우선순위):
1. 실행 가능성: 독자가 내일 업무에 적용할 수 있는가?
2. 신선한 관점: 기존에 알려진 사실의 반복이 아닌가?
3. 구체성: 추상적 논의가 아니라 구체적 사례/데이터가 있는가?
❌ 제외: 삭제된 페이지, 단순 가십, 니치 프로젝트 뉴스
So What에 금지 패턴 + 좋은 예시 추가
LLM은 "이렇게 하지 마"보다 "이렇게 해"가 더 잘 먹힌다. 둘 다 넣었다:
❌ "보안에 신경 써야 합니다" (뻔한 조언)
❌ "여전히 해결해야 할 숙제입니다" (상투적)
✅ "Claude Code로 서비스를 만들고 있다면, 이용약관 Section 4.2를 확인하세요"
✅ "팀에서 새 언어 도입을 검토 중이라면, 실패 원인 3가지를 먼저 체크해보세요"
에디터 노트를 "질문"으로 시작하도록 변경
1. 오늘 콘텐츠들을 관통하는 하나의 질문으로 시작
예: "AI 에이전트에게 코드를 맡기려면, 우리가 먼저 바꿔야 하는 건 뭘까요?"
2. 그 질문에 대한 오늘 콘텐츠의 답변 또는 힌트 제시
금지: 질문 없이 "A도 있고 B도 있고 C도 있습니다" 나열
더 보기 요약에 "제목에 없는 정보" 원칙
❌ "Electrobun v1이 소개되었습니다" (제목 반복)
✅ "Electron 대비 번들 크기 1/10, 콜드 스타트 3배 빠르다고 주장"
핵심 숫자, 비교 대상, 차별점 중 하나는 반드시 포함
system_instruction에 독자 가치 우선 명시
오늘의 픽 선별: 댓글 수보다 독자 가치가 우선입니다.
- 실무 활용도 높은 콘텐츠(튜토리얼, 팁, 도구, 방법론) 우선 선택
- 삭제된 페이지, 단순 가십, 니치 프로젝트 뉴스는 제외
결과 비교
같은 콘텐츠 풀로 다이제스트를 다시 생성했다. 변화가 확실했다.
| 항목 | Before | After |
|---|---|---|
| SUBJECT | "AI 정책 변화와 개발 생산성" (나열형) | "AI 시대, 우리 개발자들 어떻게 일해야 할까?" (질문형) |
| 에디터 노트 | "AI 확산이 바꾸고 있다" (나열) | "우리 개발 방식은 이 변화에 얼마나 빠르게 적응할 수 있을까요?" (질문) |
| 픽 구성 | MS 해리포터 가십 + Ladybird 뉴스 | Electrobun 도구 + Stoolap 벤치마크 |
| So What | "신중한 검토가 필요합니다" | "CLAUDE.md로 팀의 학습 내용을 공유하며, 검증 루프를 만들어 보세요" |
배운 것
LLM 프롬프트 튜닝의 핵심은 "좋은 예시 + 금지 패턴"
추상적 지시("좋은 글을 골라라")보다 구체적 기준("실행 가능성 > 댓글 수") + 예시가 훨씬 효과적이다. 특히 금지 패턴을 구체적으로 보여주는 것이 LLM의 기본 행동(안전하고 일반적인 답변)을 깨는 데 효과가 있었다.
프롬프트도 코드처럼 리팩토링해야 한다
2주 운영하면서 "이건 좀 아쉽다" 싶은 게 쌓이면, 그때가 프롬프트 리팩토링 타이밍이다. 처음부터 완벽한 프롬프트를 쓸 수는 없고, 운영하면서 데이터 기반으로 개선해야 한다.
선별 기준은 명시적일수록 좋다
AI에게 "좋은 콘텐츠를 골라라"고 하면 댓글 수 같은 단순 지표에 의존한다. "실행 가능성 > 신선함 > 구체성" 순으로 우선순위를 명시하면 결과가 달라진다. 사람이 큐레이션할 때의 암묵적 기준을 글로 풀어쓰는 작업이 핵심이다.