🏠︎ | #️⃣ 💾 📃 🔗 | ✏️ 🗑

(번역) 프롬프트 앤 프레이 그 이상

요약

상상해 보세요: 대화형 AI의 현재 상태는 마치 히에로니무스 보쉬의 ' 지상의 기쁨의 정원'의 한 장면과 같습니다. 언뜻 보기에는 잠재력의 천국처럼 매혹적입니다. AI 시스템은 원활한 대화, 지능적인 에이전트, 손쉬운 통합을 약속합니다. 하지만 자세히 들여다보면 혼돈, 즉 거짓 낙원이 드러납니다.

회사의 AI 어시스턴트가 고객에게 긴급 출금 요청을 처리했다고 자신 있게 말하지만, 실제로는 API 문서를 잘못 해석하여 출금 요청이 처리되지 않은 경우가 있습니다. 또는 민감한 이사회 문서를 완전히 엉뚱한 폴더에 보관했다고 CEO에게 유쾌하게 알려줄 수도 있습니다. 이러한 상황은 가상의 시나리오가 아니라, AI 구현에 대한 즉각적이고 기도하는 접근 방식에 운영을 걸고 있는 조직의 일상적인 현실입니다.

더 빠르게 학습하세요. 더 깊이 파헤치세요. 더 멀리 보세요.

기대치의 진화

수년 동안 AI 세계는 모델과 데이터 세트가 클수록 성능이 비례적으로 향상된다는 경험적 관찰, 즉 스케일링 법칙에 따라 움직였습니다. 이는 단순히 모델을 더 크게 만들면 정확도, 이해도, 추론과 같은 더 깊은 문제를 해결할 수 있을 것이라는 믿음을 불러일으켰습니다. 그러나 확장 법칙의 시대가 끝나가고 있다는 공감대가 확산되고 있습니다. 점진적인 이익은 더 이상 달성하기 어렵고, 점점 더 강력한 LLM에 투자하는 조직은 수익이 감소하기 시작했습니다.

이러한 배경에서 대화형 AI에 대한 기대치가 치솟고 있습니다. 예전의 단순한 챗봇을 기억하시나요? 미리 프로그래밍된 답변으로 기본적인 FAQ를 처리했었죠. 오늘날의 기업은 다음과 같은 기능을 갖춘 AI 시스템을 원합니다:

하지만 이러한 시스템의 장점과 단점을 명확히 구분하는 것이 중요합니다. 대화형 AI란 대화를 나누고, 워크플로를 조율하고, 실시간으로 의사 결정을 내리도록 설계된 시스템을 말합니다. 이러한 시스템은 대화에 참여하고 API와 통합되지만 이메일, 프레젠테이션 또는 문서와 같은 독립형 콘텐츠를 만들지 않는 시스템입니다. "이 이메일 작성" 및 "나를 위한 자료 만들기"와 같은 사용 사례는 이 범위 밖에 있는 콘텐츠 생성에 속합니다. 대화형 AI의 과제와 솔루션은 대화형 실시간 환경에서 작동하는 시스템에 고유하기 때문에 이러한 구분은 매우 중요합니다.

2025년이 에이전트의 해가 될 것이라는 이야기도 있지만, 동시에 복잡한 워크플로우에는 단순히 모든 것을 알아낼 수 있는 LLM을 신뢰하는 것보다 더 많은 제어가 필요하다는 Anthropic, Hugging Face 및 기타 주요 인사들의 공감대가 형성되고 있습니다.

프롬프트 앤 프레이 문제

오늘날 많은 대화형 AI 구현의 표준 플레이북은 다음과 같습니다:

  1. 관련 컨텍스트 및 문서 수집
  2. 작업을 설명하는 프롬프트 작성
  3. LLM에게 계획 또는 응답을 생성하도록 요청합니다.
  4. 의도한 대로 작동하는지 신뢰하기

프롬프트 앤 프라이어라고 부르는 이 접근 방식은 처음에는 매력적으로 보입니다. 구현이 빠르고 데모도 잘 되기 때문입니다. 하지만 규모에 따라 심각한 문제가 발생할 수 있습니다:

신뢰성 저하

모든 상호작용은 새로운 오류의 기회가 됩니다. 같은 쿼리라도 모델이 그날의 컨텍스트를 어떻게 해석하느냐에 따라 다른 결과가 나올 수 있습니다. 엔터프라이즈 워크플로우를 다룰 때 이러한 가변성은 용납할 수 없습니다.

프롬프트 앤 프레이 방식이 얼마나 신뢰할 수 없는 접근 방식인지 이해하려면 Hugging Face의 함수 호출 정확도가 90% 미만이라는 점을 고려하세요. 소프트웨어의 경우 90%의 정확도는 종종 딜 브레이커가 되기도 하지만 에이전트의 약속은 에이전트를 서로 연결할 수 있는 능력에 달려 있습니다: 5개를 연속으로 호출해도 40% 이상 실패합니다!

비효율성

응답과 계획을 동적으로 생성하는 것은 계산 비용이 많이 듭니다. 각 상호 작용에는 여러 번의 API 호출, 토큰 처리, 런타임 의사 결정이 필요합니다. 이는 곧 더 많은 비용과 느린 응답 시간으로 이어집니다.

복잡성

이러한 시스템을 디버깅하는 것은 악몽과도 같습니다. LLM이 원하는 대로 작동하지 않을 때 주로 사용하는 방법은 입력을 변경하는 것입니다. 하지만 변경이 어떤 영향을 미칠지 알 수 있는 유일한 방법은 시행착오뿐입니다. 애플리케이션이 여러 단계로 구성되어 있고 각 단계가 한 LLM 호출의 출력을 다른 단계의 입력으로 사용하는 경우, 모델이 특정 결정을 내린 이유를 이해하기 위해 일련의 LLM 추론 과정을 거쳐야 합니다. 개발 속도가 느려집니다.

보안

비즈니스 로직에 대한 런타임 결정을 LLM에 맡기면 불필요한 위험이 발생합니다. OWASP AI 보안 및 개인정보 보호 가이드는 특히AI 시스템에 지나치게 많은 자율적 의사 결정 권한을 부여하는 "과도한 대행사"에 대해 경고하고있습니다. 그러나 현재 많은 구현이 정확히 그렇게 하고 있어 조직은 잠재적인 침해와 의도하지 않은 결과에 노출되어 있습니다.

더 나은 방법: 구조화된 자동화

대안은 AI의 기능을 포기하는 것이 아니라 구조화된 자동화를 통해 보다 지능적으로 활용하는 것입니다. 구조화된 자동화는 대화형 AI의 자연어 이해와 결정론적 워크플로 실행을 분리하는 개발 접근 방식입니다. 즉, LLM을 사용하여 사용자 입력을 해석하고 사용자가 원하는 것을 명확히 하는 동시에 중요한 작업에는 사전 정의되고 테스트 가능한 워크플로우를 사용합니다. 이러한 문제를 분리함으로써 구조화된 자동화는 AI 기반 시스템이 안정적이고 효율적이며 유지 관리가 가능하도록 보장합니다.

이러한 접근 방식은 즉시 처리 시스템에서 종종 혼동되는 문제를 분리합니다:

핵심 원칙은 간단합니다: 한 번 생성하면 영원히 안정적으로 실행하세요. 비즈니스 로직에 대한 런타임 결정을 LLM이 내리는 대신, 기존 소프트웨어처럼 테스트, 버전 관리 및 유지 관리가 가능한 강력하고 재사용 가능한 워크플로우를 만드는 데 LLM을 활용하세요.

비즈니스 로직을 대화 기능과 분리함으로써 구조화된 자동화를 통해 시스템의 안정성과 효율성, 보안을 유지할 수 있습니다. 또한 이러한 접근 방식은 LLM이 잘 작동하는 생성형 대화형 작업과 결정론적, 소프트웨어형 프로세스가 가장 잘 처리하는 운영 의사 결정 사이의 경계를 강화합니다.

'사전 정의되고 테스트된 워크플로'란 디자인 단계에서 AI를 사용하여 아이디어와 패턴을 지원하는 워크플로를 만드는 것을 의미합니다. 그런 다음 이러한 워크플로는 테스트, 버전 관리 및 유지 관리가 가능한 기존 소프트웨어로 구현됩니다. 이러한 접근 방식은 소프트웨어 엔지니어링 분야에서 잘 알려져 있으며, 본질적으로 신뢰성이 낮고 유지 관리가 어려운 런타임 결정에 의존하는 에이전트 구축 모델과는 뚜렷한 대조를 이룹니다.

알렉스 스트릭 반 린쇼텐과 ZenML 팀은 최근 기업 내 400개 이상의(그리고 계속 늘어나고 있는!) LLM 배포 데이터베이스를 수집했습니다. 놀랍게도 이들은 구조화된 자동화가 즉각적이고 기도하는 접근 방식보다 전반적으로 훨씬 더 많은 가치를 제공한다는 사실을 발견했습니다:

완전 자율 에이전트에 대한 약속과 고객 대면 배포에서의 존재감 사이에는 현저한 차이가 있습니다. 이러한 격차는 관련된 복잡성을 살펴보면 놀라운 일이 아닙니다. 실제로 성공적인 배포는 보다 제한적인 접근 방식을 선호하는 경향이 있으며, 그 이유는 다음과 같습니다.....

린디닷에이아이의 여정을 살펴보면, 처음에는 완전 자율 에이전트를 꿈꾸며 개방형 프롬프트로 시작했습니다. 하지만 구조화된 워크플로로 전환하면서 안정성이 크게 향상되었음을 발견했습니다. 마찬가지로 렉세라는 품질 관리를 위해 의사 결정 트리를 구현하여 상담원의 의사 결정 공간을 효과적으로 제한함으로써 예측 가능성과 신뢰성을 개선하여 성공을 거두었습니다.

즉각적이고 기도하는 접근 방식은 데모가 잘되고 빠르다는 점에서 매력적입니다. 하지만 그 이면에는 불안정한 즉흥성과 폭주하는 비용으로 가득 차 있습니다. 이에 대한 해독제는 AI의 가능성을 포기하는 것이 아니라, LLM이 처리하는 대화 유창성, 구조화된 워크플로에 기반한 비즈니스 로직 등 두 가지 문제를 명확하게 분리하여 시스템을 설계하는 것입니다.

실제로 구조화된 자동화는 어떤 모습일까요?

일반적인 고객 지원 시나리오를 생각해 봅시다: 고객이 AI 어시스턴트에게 "제 주문을 망쳤어요!"라고 메시지를 보냅니다.

여기서 LLM은 인간의 언어와 대화의 복잡성을 탐색하는 데 탁월한 능력을 발휘합니다. 그러나 데이터베이스 쿼리, 재고 확인, 해결 방법 결정과 같은 중요한 비즈니스 로직은 사전 정의된 워크플로우에 있습니다.

이 접근 방식은 다음과 같이 보장합니다:

구조화된 자동화는 LLM이 제공하는 대화형 유창성과 워크플로우가 처리하는 안정적인 실행이라는 두 가지 장점을 결합합니다.

롱테일은 어떨까요?

구조화된 자동화에 대한 일반적인 반대 의견은 '롱테일' 작업, 즉 사전 정의가 불가능해 보이는 드물고 예측하기 어려운 시나리오를 처리할 수 있도록 확장되지 않는다는 것입니다. 하지만 사실 구조화된 자동화는 LLM 즉흥 작업을 안전하고 측정 가능하게 만들어 에지 케이스 관리를 간소화합니다.

작동 방식은 다음과 같습니다: 위험도가 낮거나 드문 작업은 단기간에 LLM이 유연하게 처리할 수 있습니다. 각 상호작용이 기록되고, 패턴이 분석되며, 빈번하거나 중요한 작업에 대한 워크플로우가 만들어집니다. 오늘날의 LLM은 성공적인 대화의 사례를 바탕으로 구조화된 워크플로우를 위한 코드를 생성할 수 있는 능력이 매우 뛰어납니다. 이러한 반복적인 접근 방식은 롱테일 작업을 관리 가능한 새로운 기능의 파이프라인으로 전환하며, 이러한 작업을 구조화된 워크플로로 승격함으로써 신뢰성, 설명 가능성 및 효율성을 확보할 수 있습니다.

런타임에서 디자인 시간까지

앞의 예를 다시 살펴봅시다: 고객이 AI 어시스턴트에게 "내 주문을 망쳤어요!"라고 메시지를 보냅니다.

프롬프트 앤 프레이 접근 방식

  1. 메시지를 동적으로 해석하고 응답을 생성합니다.
  2. 실시간 API 호출을 통해 작업 실행
  3. 문제 해결을 위해 즉흥적인 방식에 의존

이러한 접근 방식은 예측할 수 없는 결과, 보안 위험, 높은 디버깅 비용으로 이어집니다.

구조화된 자동화 접근 방식

  1. LLM을 사용하여 사용자 입력을 해석하고 세부 정보를 수집합니다.
  2. 테스트되고 버전이 지정된 워크플로를 통해 중요한 작업을 실행합니다.
  3. 일관된 결과를 위해 구조화된 시스템 사용

이점은 상당합니다:

사람의 역할

엣지 케이스의 경우 시스템은 전체 컨텍스트를 가진 사람에게 에스컬레이션하여 민감한 시나리오가 신중하게 처리되도록 합니다. 이 휴먼 인 더 루프 모델은 AI의 효율성과 사람의 감독을 결합하여 안정적이고 협업적인 경험을 제공합니다.

이 방법론은 경비 보고서를 넘어 고객 지원, IT 티켓팅, 내부 HR 워크플로우 등 대화형 AI가 백엔드 시스템과 안정적으로 통합되어야 하는 모든 영역으로 확장할 수 있습니다.

확장성을 위한 구축

엔터프라이즈 대화형 AI의 미래는 모델에 더 많은 런타임 자율성을 부여하는 것이 아니라 모델의 기능을 더욱 지능적으로 사용하여 안정적이고 유지 관리가 가능한 시스템을 만드는 데 있습니다. 즉

문제는 모든 것을 한 번에 자동화하는 방법이 아니라 확장 가능하고 안정적으로 작동하며 일관된 가치를 제공하는 방식으로 자동화하는 방법입니다.

행동으로 옮기기

기술 리더와 의사 결정권자에게는 앞으로 나아갈 길이 명확합니다:

  1. 현재 구현을 감사하세요:

프롬프트와 기도의 시대는 이제 막 시작되었을지 모르지만 더 나은 방법을 찾을 수 있습니다. 기업의 AI 구현이 성숙해짐에 따라 인상적인 데모에서 안정적이고 확장 가능한 시스템으로 초점을 전환해야 합니다. 구조화된 자동화는 이러한 전환을 위한 프레임워크를 제공하며, AI의 강력한 성능과 기존 소프트웨어 엔지니어링의 안정성을 결합합니다.

엔터프라이즈 AI의 미래는 단순히 최신 모델을 보유하는 것이 아니라, 이를 현명하게 사용하여 일관되게 작동하고 효과적으로 확장하며 실질적인 가치를 제공하는 시스템을 구축하는 것입니다. 지금이 바로 이러한 전환의 시기입니다.

https://www.oreilly.com/radar/beyond-prompt-and-pray/