[완결] Series: Agents에게 Honcho 메모리를 붙여주려다가
Hermes와 Claude Code에 Honcho 메모리 시스템을 붙여주는 기록. self-host부터 시작해서, 모델별 반복 횟수 문제, 판단 기준을 만들다가 찾은 장애, 환각(지어내기), 틀리는 이유의 종류, deriver 큐 문제, 타임아웃, 끄려다 절반만 꺼진 버그까지.
-
Hermes한테 메모리를 붙여주려다가 — GitHub 리포 하나에서 self-host까지
GitHub에서 본 메모리 시스템 하나가 지금 쓰는 Hermes에 이미 있는 것과 비교해서 쓸 만한지 확인하려고 시작한 일이, 8개 프로바이더를 비교하고 Honcho를 self-host로 직접 붙이는 데까지 이어졌다.
-
Claude Code한테도 메모리를 붙여주려다가 — 답을 짐작하는 대신 실험부터 해봤다
Honcho를 Hermes에 붙이고 나서 든 생각 — 그럼 Claude Code한테도 붙일 수 있나? 답을 짐작하는 대신 격리된 테스트 공간을 만들어서 직접 실험해봤다.
-
Claude Code한테도 메모리를 붙여주려다가 2편 — 모델이 아니라 반복 횟수였다
Honcho dialectic 응답에서 low 정확도가 왜 가끔 틀리는지 알아내려고 모델과 반복 횟수를 분리해서 테스트해봤다. 그리고 이게 실제로 언제, 어떻게 쓰이는지도 코드로 파봤다.
-
Claude Code한테도 메모리를 붙여주려다가 3편 — 판단 기준을 만들다가 장애부터 찾았다
Claude Code에도 Honcho를 붙일지 판단하려고 세 가지 실험을 설계했는데, 첫 번째 실험을 돌리기도 전에 메모리 시스템이 조용히 멈춰 있는 걸 먼저 발견했다.
-
Claude Code한테도 메모리를 붙여주려다가 4편 — 틀리는 게 아니라 지어내고 있었다, 그래서 답변 모델만 되돌렸다
Honcho를 붙이고 사흘째 실사용 중 발견한 건 '가끔 이름을 헷갈리는' 정도가 아니라, 없는 사실을 그럴듯하게 지어내는 AI 환각(hallucination) 패턴이었다. 저장 쪽은 그대로 두고, 문제가 나온 답변 합성 모델만 검증된 걸로 되돌렸다.
-
Claude Code한테도 메모리를 붙여주려다가 5편 — 틀린 이유가 다 같지 않았다
Honcho 답변 합성 모델을 되돌린 지 하루 됐다. 아직 결론 낼 시점은 아니지만, 답이 틀렸을 때 그게 저장 문제인지 답변 문제인지 구분하는 방법을 하나 찾았다. 같은 세션에서도 어떤 주제는 완벽했고 어떤 주제는 세 개 다 틀렸다.
-
Claude Code한테도 메모리를 붙여주려다가 6편 — 모델이 아니라 서랍이 문제였다, 스위치 하나 켰더니 세 개 다 맞았다
Honcho를 일주일 관찰하기로 해놓고 하루 만에 발견했다 — Claude Code가 한 말은 Honcho의 다른 peer(서랍)에 들어가 있었고, 훅은 그 서랍을 연 적이 한 번도 없었다. 실제로 고치고 나서 같은 질문을 다시 던져보니 세 개 다 맞았다.
-
Claude Code한테도 메모리를 붙여주려다가 7편 — 4초는 대답이 오기엔 너무 짧았다
Honcho dialectic 응답을 지켜보기로 한 일주일이 지났는데, 검증할 답변 자체가 거의 없었다. 무시하고 있었던 걸까, 아니면 애초에 아무것도 안 온 걸까 — 직접 로그를 뽑아보니 4초 타임아웃이 원인이었다.
-
Claude Code한테도 메모리를 붙여주려다가 8편 — 껐는데, 절반만 껐다
타임아웃을 고치고 나서 '이제부터 진짜로 Honcho를 관찰하면 된다'고 했다. 원래 계획은 일주일이었는데, 그 전에 결론이 나서 dialectic(답변 합성)만 껐다.