Posts
All the articles I've posted.
-
실험을 다시 준비하던 중에 git 충돌 마커가 그대로 커밋됐다
청크 사이즈 실험을 집 노트북에서 이어 가려던 밤, 두 노트북으로 같은 git 저장소를 번갈아 쓰다 충돌 마커가 파일 77개에 커밋됐다. 수습 직후 reasoning effort를 의심했다.
-
LLM 청크 크기를 낮추기만 했는데 fidelity 문제가 사라졌다
원본을 LLM에 몇 개씩 묶어 보낼지 정하는 청크 크기만 바꿔 같은 원본 30개를 비교했다. 인물·기관·인용이 빠지는 요약 오류가 40%에서 0%로 줄었다.
-
LLM이 정리한 노트 189개가 어느 날 63개가 됐다
같은 원본 30개를 LLM으로 Obsidian 노트로 정리했는데, 기기만 바꾸자 노트가 189개에서 63개로 줄었다. 원인은 청크 크기 하나가 아니라 설정값 두 개였다.
-
LLM 프롬프트 규칙을 두 번 고쳤는데, 정작 노트를 나누지 말았어야 했다
LLM이 만든 형제 노트가 링크만 남기고 텅 비는 버그를 프롬프트 규칙으로 두 번 고쳤다. 원문을 다시 보니 두 강좌의 설명이 같았고, 노트를 나누지 말고 합쳐야 했다.
-
OpenCode를 리뷰하다가 구독 세 개 중 하나만 그대로 쓸 수 있다는 걸 알았다
오픈소스 AI 코딩 에이전트 OpenCode를 설치 전에 정리했다. ChatGPT 구독은 그대로 쓸 수 있지만 Claude 구독은 약관상 막혀 있고 Gemini는 개인 구독 접근이 끊겨, 결국 도구를 바꾸지 않았다.
-
임베딩 필터를 걷어내니, 중복이 오히려 더 많이 잡혔다
LLM이 만든 형제 노트의 중복을 잡던 임베딩 후보 필터를 걷어내고 노트 전체를 한 번에 LLM에 맡겼다. 허브 노트 예외 조항 하나로 정밀도가 55%에서 100%가 됐고, 깨끗하다던 묶음에서도 중복이 나왔다.
-
ACP가 뭔지 물었더니, 같은 약자의 프로토콜이 두 개였다
MCP 옆에 자주 보이는 ACP는 편집기와 AI 코딩 에이전트를 잇는 Agent Client Protocol이다. 같은 약자를 쓰던 IBM의 프로토콜은 A2A로 합쳐졌고, ACP는 v2 초안까지 나왔다.
-
임베딩 모델을 바꾸니 순서가 뒤집혔다
OpenAI 임베딩 모델을 text-embedding-3-small에서 large로 바꾸자, 코사인 유사도 0.72~0.80에 뒤섞여 있던 진짜 중복 문단과 우연히 비슷한 문장의 순서가 뒤집혔다.
-
LLM이 만든 형제 노트끼리 같은 문단을 그대로 베끼고 있었다
Obsidian 플러그인 테스트를 실제 기사로 바꾸자, LLM이 기사 한 편으로 만든 형제 노트끼리 같은 문단을 그대로 복사하는 버그가 드러났다. 임베딩 기반 중복 탐지도 이 중복은 못 잡았다.
-
검증은 다른 쌍으로 했는데, 원래 그 사례는 다시 안 봤다
Obsidian 플러그인의 LLM 병합 판단 프롬프트에서 오탐을 고치고 GitHub 이슈까지 닫았는데, 정작 오탐을 일으켰던 원래 사례는 그 사이 한 번도 다시 테스트하지 않았다. 며칠 뒤 실제 vault 전체 조건으로 돌려보니 판단이 뒤집혔고, 실제로 병합해보니 원래 판단 자체가 틀렸을 가능성이 높았던 기록.