직접 코딩 0% — CLAUDE CODE로 진짜 서비스 만들고 배포·운영까지

6장. 왜 “고삐”가 필요한가

AI는 잘 달립니다 — 하지만 고삐 없이 달리는 말은 위험합니다

6장 · 도입

사용자가 한 명일 때와 공개 서비스는 다릅니다

욕설 · 도배 · 거짓 답변 · 서버 장애 · 비용 폭발
여러 사람이 쓰는 순간, 통제의 문제가 시작됩니다.

6장 · 학습 목표

오늘 이해할 네 가지

오작동 사례

다섯 위험 유형

하네스

통제 시스템

다섯 고삐

규칙부터 모니터링

성숙도

현재 수준 진단

6장 · 전체 흐름

사고에서 시작해 통제 구조로

6.1

사고

무엇이 잘못됐나

6.2

개념

하네스란 무엇인가

6.3

장치

다섯 고삐

6.4

진단

현재와 다음 단계

6.1 · 오작동 사례

① 파일 삭제

“불필요한 파일을 정리해줘”

핵심 설정 파일까지 삭제

지시

기준이 모호함

AI가 스스로 판단

권한

범위가 넓음

실제 행동 가능

장치

통제가 부족함

막기·확인·복구 실패

6.1 · 필요한 대응

① 파일 삭제를 막는 것은 한 문장이 아닙니다

삭제 전 승인

폴더·권한 제한

세이브 포인트

중요 행동은 사람 승인

6.1 · 오작동 사례

② 가짜 답변

존재하지 않는 법 조항

자신 있게 인용

지시

기준이 모호함

AI가 스스로 판단

권한

범위가 넓음

실제 행동 가능

장치

통제가 부족함

막기·확인·복구 실패

6.1 · 필요한 대응

② 가짜 답변를 막는 것은 한 문장이 아닙니다

공식 근거

출처 검증

사람의 원문 대조

중요 행동은 사람 승인

6.1 · 오작동 사례

③ 무한 수정

수정→새 오류→재수정

끝나지 않는 반복

지시

기준이 모호함

AI가 스스로 판단

권한

범위가 넓음

실제 행동 가능

장치

통제가 부족함

막기·확인·복구 실패

6.1 · 필요한 대응

③ 무한 수정를 막는 것은 한 문장이 아닙니다

반복 횟수 제한

Esc 중단

정상 상태 복귀

중요 행동은 사람 승인

6.1 · 오작동 사례

④ 비용 폭발

반복 API 호출·대량 요청

지출이 빠르게 증가

지시

기준이 모호함

AI가 스스로 판단

권한

범위가 넓음

실제 행동 가능

장치

통제가 부족함

막기·확인·복구 실패

6.1 · 오작동 사례

⑤ 정보 노출

인사 데이터에 넓은 접근

실제 연봉을 답변

지시

기준이 모호함

AI가 스스로 판단

권한

범위가 넓음

실제 행동 가능

장치

통제가 부족함

막기·확인·복구 실패

6.1 · 필요한 대응

⑤ 정보 노출를 막는 것은 한 문장이 아닙니다

데이터 최소화

역할별 접근 제한

접근 로그

중요 행동은 사람 승인

6.1 · 비용의 구분

구독 사용량과 API 비용은 다릅니다

/usage

Claude Code 구독

사용량 확인

API Console

종량제 API

비용·크레딧 확인

서비스 울타리

횟수·길이·지출

초과 시 차단

6.1 · 공통 교훈

AI의 나쁜 의도가 원인이 아닙니다

모호한 지시 + 지나치게 넓은 권한
+ 부족한 검증·종료 조건 = 사고

문제는 잘못했을 때 막고·확인하고·되돌릴 장치가 없었던 것입니다.

6.1 · ACTIVITY

사고마다 빠진 장치를 골라보세요

파일 삭제

가짜 법률 조항

무한 수정

비용 폭발

민감정보 노출

정답은 하나가 아닙니다. 여러 장치가 함께 작동합니다.

6.2 · 해결책

빠진 장치들을 묶어 하네스라고 부릅니다

삭제규칙·울타리승인·복구

무한 반복종료 울타리복귀 지점

정보 노출접근 경계최소 권한

6.2 · 하네스

말의 힘은 그대로, 기수의 통제가 더해집니다

말

강력하지만 예측하기 어려움

마구로 방향·속도·정지를 통제합니다.

강력하지만 비결정적

규칙·검증·복구로 신뢰 가능하게 사용합니다.

6.2 · 본질

하네스 엔지니어링이 묻는 네 문장

허용

무엇을 해도 되는가

방향

금지

무엇을 하면 안 되는가

경계

정지

언제 멈춰야 하는가

종료

보고

무엇을 알려야 하는가

관측

6.2 · 이미 배운 조각

우리는 백지에서 시작하지 않습니다

CLAUDE.md 추측 금지규칙 쓰기기초

빈 입력 거부울타리 치기기초

복구·모니터링아직 없음Part 3

6.2 · 비교

프롬프트는 목적지, 하네스는 차량의 시스템

PROMPT

“이것을 해줘”

택시 기사에게 목적지를 잘 말하기

HARNESS

“막고·복구하고·보여줘”

내비·속도제한·블랙박스·에어백

6.2 · 두 적용 대상

같은 다섯 고삐를 두 곳에 채웁니다

7장

내가 만든 서비스

욕설·도배·장애 통제

8장

서비스를 만드는 AI

Claude Code 작업 통제

6.3 · 전체 지도

하네스 엔지니어링의 다섯 고삐

규칙 쓰기

방향

울타리 치기

경계

시험 보기

검증

안전벨트

복구

CCTV

관측

6.3 · 다섯 고삐

① 규칙 쓰기

Instructions / Rules

하는 일

해도 되는 것과 하면 안 되는 것을 미리 알립니다.

예시

현장에서

CLAUDE.md·Skill.md

6.3 · 다섯 고삐

② 울타리 치기

Guardrails

하는 일

범위·길이·횟수·권한을 실제로 제한합니다.

예시

현장에서

500자·1분 3회·폴더 제한

6.3 · 다섯 고삐

③ 시험 보기

Testing / Evals

하는 일

합격 기준을 정하고 결과와 근거를 검사합니다.

예시

현장에서

계산·버튼·출처 확인

6.3 · 다섯 고삐

④ 안전벨트

Rollback / Recovery

하는 일

문제 뒤 다시 시작하거나 정상 상태로 돌아갑니다.

예시

현장에서

자동 재시작·Git·이전 배포

6.3 · 다섯 고삐

⑤ CCTV

Monitoring / Observability

하는 일

요청·오류·응답 시간·사용량을 기록합니다.

예시

현장에서

대시보드·로그·지표

6.3 · 중요한 구분

규칙은 “하지 마”, 울타리는 실제로 못 하게

규칙

자연어 지침

삭제하지 마 · 추측하지 마

울타리

프로그램·권한

삭제 권한 없음 · 500자 초과 차단

울타리도 제대로 작동하는지 반드시 시험합니다.

6.3 · 시험 보기

약한 요청을 합격 기준으로 바꿉니다

약한 프롬프트

가계부 앱을 만들어줘

완료 여부를 판단할 기준이 없습니다.

강한 프롬프트

잔액 70,000원을 시험해

새로고침·삭제 후 재계산까지 증거를 요구합니다.

6.3 · 사람의 검증

AI의 ✅도 AI가 채점한 결과입니다

수입 50,000 + 40,000 − 지출 20,000
= 잔액 70,000원

핵심 항목 하나는 사람이 직접 입력해 화면과 보고를 맞춥니다.

6.3 · 복구의 차이

자동 재시작과 롤백은 다른 복구입니다

재시작

멈춘 서버

다시 작동

롤백

망가진 코드

이전 정상 상태

울타리

반복 횟수

먼저 멈춤

6.3 · 관측의 차이

AI의 자기 보고와 시스템 기록을 함께 봅니다

진행 보고

📌 작업 단계

도움은 되지만 자기 보고

로그

오류·시간·요청

시스템이 남긴 기록

대시보드

상태·사용량

전체 상황 관측

6.3 · 협력

고삐는 루프를 막지 않습니다

일해 보기

결과 확인

부족하면 수정

규칙=지침울타리=한도검증=출구안전벨트=복귀CCTV=관측

6.3 · ACTIVITY

사고에 맞는 고삐 조합을 고르세요

욕설 입력

도배

가짜 법률 답변

서버 장애

파일 삭제

비용 폭발

한 사고에 여러 고삐가 협력합니다.

6.3 · 사람의 자리

되돌리기 어려운 일에는 고리 안의 사람

파일 삭제

최종 승인

Yes / No

결제

금액 확인

사람 승인

운영 배포

변경 확인

승인 후 실행

Human-in-the-loop — 자동화 고리의 한 지점에 사람이 들어갑니다.

6.4 · 성숙도

이 책의 학습용 진단표

Lv.0무방비

Lv.1규칙

Lv.2울타리

Lv.3검증·복구

Lv.4모니터링

Lv.5역할 분리

업계 표준 인증이 아니라, 지금 갖춘 통제 장치를 확인하는 학습용 표입니다.

6.4 · 현재 위치

지금 우리는 Level 1

CLAUDE.md 규칙 작성 ☑

Skill.md 전문 지식 분리 ☑

방어 조건 ◐

자동 검증 ◐

자동 복구 ☐

실시간 모니터링 ☐

역할 분리 ☐

6.4 · ACTIVITY

나의 하네스 자가진단

규칙을 문서로 남긴다

입출력 경계를 둔다

자동 테스트가 있다

복구 지점이 있다

상태를 실시간 확인한다

만드는 AI와 검사 AI가 다르다

6.4 · 규모의 문제

눈으로 확인은 사용자가 늘면 무너집니다

1명

직접 확인 가능

개인 실습

10명

확인 부담 증가

운영 장치 필요

100명

눈으로 불가능

자동 통제 필수

6장 · 다음 장

같은 서비스가 다섯 번 진화합니다

욕설규칙입력 통제

엉뚱한 답검증근거 확인

상태 불명모니터링대시보드

6장 · 마무리

AI의 힘은 그대로, 통제는 더 강하게

규칙 · 울타리 · 검증 · 안전벨트 · 모니터링

NEXT · 7장 — 익명 Q&A 게시판에 고삐 채우기