Posts
All the articles I've posted.
-
식은 IP도 순식간에 막혔다, 고쳤더니 이번엔 너무 느렸다
3일 식힌 IP로 다시 돌려봤다. 완전 실패는 아니었지만 극초반 몇 건만 통과하고 곧바로 거의 다 막혔다. 알고 보니 이 코드엔 요청 딜레이도 재시도도 전혀 없었다 — 둘 다 추가했더니 정말로 5초만 쉬면 거의 항상 뚫렸다. 문제는 47분 동안 첫 키워드 하나도 못 끝낼 만큼 느렸다는 것이었다.
-
차단됐다는 증거부터 없었다
동시성 10만 재현해보면 될 줄 알았다. 그런데 질문 하나가 먼저 나왔다 — 우리가 겪은 게 정확히 뭐였지? 파헤쳐보니 '403이었다'는 전제 자체가 원본 증거로 확인된 적이 없었다. 실제 파이프라인으로 처음 재현했더니 진짜 막혔는데, 몇 분 뒤 완전히 같은 조건을 손으로 재현하니 멀쩡했다.
-
고친 김에, Honcho 원본에 PR로 돌려주기로 했다
우리 배포에서만 조용히 고쳐두고 끝낼 수도 있었던 버그를, 오픈소스 원본 프로젝트에 PR로 돌려주기로 했다. 그 과정에서 저장소 생성 때 겪었던 것과 똑같은 GitHub 권한 문제를 다시 만났다.
-
Honcho의 조용히 죽어있던 재조정 로직을 찾았다
Honcho의 LLM/임베딩 스택을 Gemini에서 GPT-5.6 Luna로 전부 옮기다가, 툴콜과 reasoning_effort 조합이 거부되는 문제를 만났다. 그리고 그 과정에서, 벡터 재조정 로직이 documents 테이블을 한 번도 처리한 적이 없었다는 걸 발견했다.
-
AI 에이전트가 순서를 말한 걸, 허락으로 알아들었다
AI 에이전트가 리포트를 만들고 나서 대규모로 돌려보자는 한 문장을, 세 단계를 전부 실행해도 된다는 허락으로 읽었다. 그 사이에 내가 추론한 걸 규칙으로 저장하기까지 했다. 둘 다 사용자가 직접 확인해줘야 알 수 있는 것들이었다.
-
정규식 테스트는 다 통과했는데, 첫 실행에서 바로 틀렸다
8개 태스크 전부 리뷰까지 통과했고 테스트도 전부 초록불이었다. 실제 페이지에 처음 돌려보자마자 데이터의 절반이 비어 나왔다. 정규식이 실제 HTML 구조와 어긋나 있었는데, 손으로 만든 테스트 픽스처는 그 차이를 재현하지 못했던 것뿐이었다.
-
여덟 번의 AI 코드 리뷰 중 여섯 번에서 버그가 나왔다
8개 태스크짜리 계획을 TDD로 구현하면서, 태스크마다 리뷰를 붙였다. 여덟 개 중 여섯 개에서 진짜 문제가 나왔다 — 그중 하나는 내가 계획 문서를 쓸 때 이미 심어둔 모순이었다.
-
네이버 뉴스 검색 403, 3개월치를 순차로 돌렸는데 한 번도 안 막혔다
네이버 뉴스 검색을 돌리다가 실전 규모에서 결과가 55,366건에서 100건으로 붕괴했다. 원인이 요청량인지, 속도인지, 동시성인지조차 알 수 없어서 하나씩 지워나가는 실험을 시작했다. 그런데 세 번을 조심스럽게 재현해봐도 단 한 번도 막히지 않았다.
-
확신을 실측 앞에 세워봤다 9편 — 답은 두 문서 안이 아니라, 밖에 있었다
Obsidian 플러그인 `/refactor`에서 병합(merge) 시점에 개입하는 것도, 판단을 생성 대신 검증으로 바꾸는 것도 안 됐다. 본문 전체를 줘도 모델은 계속 확신에 차서 틀렸다. 문제는 판단력 부족이 아니라 근거 부족 — 그 판단에 필요한 증거가 애초에 그 두 문서 안에 없었다는 것이었다.
-
확신을 실측 앞에 세워봤다 8편 — 격리할수록 좋아진다는 것도 절반만 맞았다
Obsidian 플러그인 `/refactor`에서, 노트 하나만 있는 카탈로그에서는 92% 성공, 오탐은 0건이었다. 그대로 실전 규모(노트 145개)에 넣었더니 25%로 주저앉았다. reasoning effort(추론 강도)를 올리면 나아질 줄 알았는데, 시도하는 족족 더 나빠졌다.