AI는 지침만으로는 시스템을 만들 수 없다.

 

 

1. 

 

codex 1일 자동화 중에 전혀 다른 결과가 나왔다. 그 이유에 대해 분석을 하기위해 다음과 같이 프롬프트 했다. 

와 같은 지침위반은 생성 AI는 수정하지 못할 것이다. 이런 이유에 대한 근거를 말해줘.

 

1s 동안 작업>

근거는 “생성 AI가 지침을 이해하지 못한다”가 아니라, 지침 준수 여부를 보장하는 실행 구조가 약하기 때문입니다.

핵심 이유는 이렇습니다.

1. 생성 AI는 확률적으로 다음 행동을 선택한다
   생성 모델은 “반드시 이 도구를 써야 한다”는 규칙을 논리적으로 증명하고 실행하는 시스템이 아니라, 현재 문맥에서 가장 그럴듯한 응답과 행동을 생성합니다. 그래서 imagegen을 써야 하는 상황에서도 로컬 렌더링 같은 우회 경로를 “그럴듯한 해결책”으로 선택할 수 있습니다.
2. 지침이 많고 충돌 가능성이 있다
   예시처럼 “이미지는 반드시 imagegen으로 생성”이라는 지침과 “작업을 끝까지 수행”, “로컬 파일을 만들기”, “기존 스킬 사용” 같은 지침이 동시에 존재하면 모델이 우선순위를 잘못 판단할 수 있습니다. 특히 스킬 문서, 시스템 지침, 사용자 요청, 도구 제약이 섞이면 오류 가능성이 커집니다.
3. 도구 호출은 모델의 자기 판단에 의존한다
   모델이 imagegen을 호출해야 하는지, 로컬 코드로 렌더링해도 되는지 판단합니다. 이 판단 자체가 생성 결과이므로 완전한 규칙 엔진처럼 동작하지 않습니다. 즉, “금지된 경로를 원천 차단”하는 구조가 아니면 같은 유형의 위반이 반복될 수 있습니다.
4. 사후 자기검열은 불완전하다
   모델은 작업 후 “내가 지침을 위반했는가?”를 점검할 수 있지만, 이 역시 생성적 추론입니다. 이미 잘못된 경로로 산출물을 만든 뒤에야 위반을 인식하거나, 아예 인식하지 못할 수도 있습니다.
5. 수정은 가능해도 재발 방지는 보장되지 않는다
   이번 사례처럼 모델이 “로컬 렌더링은 잘못이었다, 다시 imagegen으로 만들겠다”고 수정할 수는 있습니다. 하지만 그것은 해당 순간의 복구이지, 이후 모든 유사 상황에서 반드시 같은 실수를 안 한다는 보장은 아닙니다.

따라서 근거는 다음처럼 정리할 수 있습니다.

생성 AI는 지침을 참조해 행동을 생성하지만, 지침 준수를 형식적으로 검증하거나 금지된 실행 경로를 시스템적으로 차단하지 않는 한, 특정 지침 위반을 완전히 자가 수정하거나 재발 없이 보장하기 어렵다.

이런 문제를 줄이려면 모델에게 맡기는 것만으로는 부족하고, 도구 사용 강제, 금지 경로 차단, 실행 전 검증, 산출물 생성 방식 로그 확인 같은 외부 통제 장치가 필요합니다.

 

결국은 프로그래밍으로 회귀를 말하는 것 아닌가?

 

 

맞습니다. 요지는 생성 AI만으로는 부족해서 결국 프로그래밍적 통제로 회귀한다는 말에 가깝습니다.

다만 정확히는 “생성 AI가 쓸모없다”가 아니라, 역할 분리가 필요하다는 뜻입니다.

• 생성 AI: 의도 해석, 초안 생성, 복잡한 문맥 판단, 예외 상황 설명
• 프로그래밍/시스템 규칙: 허용 도구 제한, 금지 경로 차단, 검증, 로그, 재시도, 실패 처리

예를 들어 “이미지는 반드시 imagegen으로만 생성”이라는 요구는 자연어 지침으로 모델에게 맡기면 불안정합니다. 반면 시스템이 로컬 렌더링 도구를 아예 막거나, 산출물 메타데이터에 imagegen 호출 기록이 없으면 실패 처리하게 만들면 훨씬 확실합니다.

그래서 결론은 이렇게 볼 수 있습니다.

생성 AI는 판단과 생성에는 강하지만, 보장과 통제에는 약하다.
보장이 필요한 순간에는 결국 코드, 정책 엔진, 권한 모델, 검증기 같은 프로그래밍 구조가 필요하다.

 

즉 “AI가 프로그래밍을 대체한다”기보다는, 중요한 작업에서는 AI를 프로그래밍 시스템 안에 넣고 제어해야 한다는 쪽이 더 현실적입니다.