Designer-RSI: 사용자 트래픽으로 절차적 기억을 진화시키는 디자인 에이전트

arXiv에 게재된 신규 논문 "Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design"(arXiv:2609.22086, 저자 Hongyang Du, Lan Yan, Christian Flores, Asim Kadav)는 230개 이상의 도구를 다루며 디자인 소프트웨어를 조작하는 언어모델 에이전트가 실제 사용자 요청을 처리하면서 재사용 가능한 디자인 절차 라이브러리, 즉 절차적 기억을 지속적으로 구축하고 다듬어가는 프레임워크를 제시한다.

왜 대화 기억이 아니라 절차적 기억인가

오늘날 대부분의 에이전트 시스템은 일화적 기억이나 대화 맥락에 의존한다. 이번 세션에서 무엇을 말했는지, 방금 무엇을 했는지를 기억하는 방식이다. 이는 짧은 맥락에는 유효하지만, 비슷하지만 완전히 같지는 않은 수백 건의 요청에 걸쳐 같은 디자인 도구를 반복해서 다뤄야 하는 에이전트에게는 큰 도움이 되지 않는다. 대화가 끝나면 그 작업을 해결하기 위해 즉흥적으로 만든 도구 호출 순서는 보통 대화와 함께 사라진다. Designer-RSI의 핵심 발상은 남겨야 할 것이 '무슨 일이 있었는지'가 아니라 '어떻게 해결했는지'라는 점이다. 곧 추상화되고 이름이 붙고 재사용 가능한 절차다. 이는 실제 전문가가 일하는 방식과 더 가깝다. 숙련된 디자이너는 프로젝트마다 소프트웨어 기능을 처음부터 다시 익히지 않고, 내면화된 작업 흐름을 상황에 맞게 조정해 사용한다.

스스로를 다시 쓰는 스킬 라이브러리를 위한 퇴행 방지 장치

주목할 만한 설계 선택은 기존 절차를 개선할 때 퇴행을 일으키지 않도록 하는 메커니즘을 도입했다는 점이다. 새로운 수정이 이미 잘 작동하던 부분을 조용히 망가뜨리지 않도록 보장한다. 이는 시간이 지나면서 자신의 스킬 라이브러리를 계속 다시 쓰는 시스템에서 매우 중요하다. 이런 안전장치가 없다면 '개선'의 매 단계가 이미 확보한 능력을 은밀히 갉아먹을 위험을 안게 되고, 커지는 스킬 뱅크가 능력만큼이나 위험도 쌓아갈 수 있다. 이 접근은 소프트웨어 공학에서 회귀 테스트가 코드 변경이 기존 동작을 망가뜨리지 않도록 막는 방식과 정신적으로 닮았다. 다만 여기서는 소스 코드가 아니라 에이전트 자신의 절차 라이브러리에 적용된다.

디자인이 자기 개선에 특히 어려운 시험대인 이유

저자들은 피드백이 잡음이 많고 검증하기 어려운 상황에서 절차적 기억이 에이전트를 적응시키는 실용적인 경로를 제공한다고 주장한다. 이 프레임이 바로 그래픽 디자인이 왜 이토록 까다로운 시험 무대인지를 설명한다. 수학 문제는 유일한 정답이 있고, 코드는 작동하거나 작동하지 않거나 둘 중 하나다. 반면 디자인 결과물은 취향, 주관적 선호, 맥락에 크게 좌우되며, 곧바로 대조할 수 있는 정답 점수가 없다. 즉 이 영역에서 자기 개선하는 시스템은 깔끔한 이진 신호를 한 번도 얻지 못한 채 진짜 진전과 잡음을 구별해야 한다. 이런 조건에서 효과적인 자기 개선을 이뤄내는 것은, 정확성을 명확히 검증할 수 있는 영역에서 같은 일을 해내는 것보다 오히려 더 어려운 문제일 수 있다.

수치가 시사하는 것

1,406건의 실제 사용자 디자인 요청과 1,869건의 자동화된 궤적에 걸쳐, 스킬 뱅크는 76개에서 139개 절차로 거의 두 배 늘었고, 보고된 한 지표는 72.7%에서 99.3%로 올랐으며, 기준 모델 대비 승률은 61.8%에서 67.6% 사이였다. 분석 결과 새로운 과제를 다루는 법을 배우는 스킬 습득과 기존 절차를 개선하는 정교화 둘 다 성과에 실질적으로 기여했으며, 어느 한쪽만이 결과를 이끈 것은 아니었다. 이 수치들을 종합하면 더 큰 공백이 드러난다. 오늘날 배포된 도구 사용 에이전트 대부분은 반복에서 배우는 내장 수단이 아예 없다. 모든 호출이 처음인 것처럼 취급되며, 이 결핍으로 남겨진 성장 여지는 흔히 짐작하는 것보다 훨씬 클 수 있다.

이 결과가 에이전트 설계에 시사하는 것

논문이 제시한 두 가지 성장 경로, 곧 스킬 습득과 절차 정교화는 서로 다른 축을 이룬다. 스킬 습득은 '폭'을 넓히는 일로, 이전에 다루지 못한 과제를 만날 때마다 새 절차를 하나씩 스킬 뱅크에 추가해 76개에서 139개로 늘리는 방식이다. 절차 정교화는 '깊이'를 다지는 일로, 이미 존재하는 절차를 성공과 실패 사례에 비추어 계속 다듬는 방식이다. 폭만 넓히고 깊이를 다지지 않는 시스템은 스킬 뱅크가 비대해지기만 할 뿐 개별 절차의 신뢰도는 크게 오르지 않을 것이고, 반대로 깊이만 다지고 폭을 넓히지 않는 시스템은 새로운 유형의 과제 앞에서 속수무책일 것이다. 논문이 두 요인 모두 결과에 실질적으로 기여했다고 강조한 것은, 이 프레임워크가 어느 한쪽에 치우치지 않았다는 뜻이며, 이는 61.8%에서 67.6%에 이르는 승률 상승이 특정 과제 유형에 국한되지 않고 비교적 고르게 나타난 이유이기도 하다. 반복적인 요청을 대량으로 처리해야 하는 도구 사용 에이전트를 오래 운영할 계획이라면, 이 결과는 참고할 만한 설계 원칙을 제시한다. 새로운 경험을 흡수하는 능력과 기존 경험을 안전하게 고치는 능력 둘 다 있어야 하며, 어느 하나만으로는 충분하지 않다는 점이다.