Tag: Empirical
All the articles with the tag "Empirical".
-
확신을 실측 앞에 세워봤다 5편 — 왜 관련있다고 생각했냐고 물으니, 답을 못했다
Obsidian 플러그인의 RAG(검색 증강 생성) 컨텍스트 조회가 놓친 노트 두 개를 찾아서, 이게 새 기능의 근거라고 보고했다. '왜 관련있다고 생각하냐'는 한 줄 질문에 실제 노트를 열어보고서야, 하나는 근거 없는 추측이었다는 걸 알았다.
-
Headroom과 OmniRoute를 리뷰하다가 — 검색 요약만으로는 둘 다 판단할 수 없었다
토큰/비용을 아껴준다는 Claude 관련 스킬 두 개(컨텍스트 압축 프록시 Headroom, AI 게이트웨이 OmniRoute)를 훑어봤다. Headroom은 검색 요약에 붙어있던 CVE 번호들이 전부 다른 프로젝트(OpenClaw, NLTK) 걸 잘못 갖다 붙인 것이었고, OmniRoute는 여러 계정에 올라온 동일한 저장소가 진짜 fork인지부터 GitHub API로 확인해야 했다. Headroom의 텔레메트리 beacon 기본 켜짐과 OmniRoute의 기본 JWT 시크릿 노출 우려는 소스코드와 독립 리뷰를 직접 뒤진 뒤에야 알았다. 개인 의견이라 틀렸을 수 있다는 전제로, 결론은 둘 다 안 쓰기로 했다.
-
확신을 실측 앞에 세워봤다 4편 — 끊어진 링크는 잡아주는데, 안 끊어진 채 엉뚱한 곳을 가리키는 링크는 못 잡았다
Obsidian 플러그인 `/ingest`가 같은 배치 안에서 파일명이 충돌해 리네임되는 경우와, 다른 노트가 원래 이름으로 링크를 거는 경우가 겹치면 어떻게 되는지 오래 미뤄뒀던 이슈였다. 코드를 읽고 '이미 잡아준다'고 확신했는데, 실제로 테스트를 돌려보니 걱정했던 것보다 훨씬 조용한 버그가 있었다.
-
확신을 실측 앞에 세워봤다 3편 — 닫은 지 몇 시간 만에, 내가 다시 열었다
Obsidian 플러그인 지침을 고치고, 합성 마커로 재검증하고, 배포하고, 이슈를 닫았다. 그날이 끝나기 전에 그 이슈를 내가 다시 열었다. 그리고 며칠 뒤 실사용 규모를 훨씬 키워 다시 돌려보니, 좋아진 것과 그대로인 것이 섞여 나왔다.
-
확신을 실측 앞에 세워봤다 2편 — 하나만 보고 두 번 틀렸다
Obsidian 플러그인 `/ingest`가 만든 요약 노트 몇 개를 봐달라는 부탁을 받고 가설을 세웠다. 세 번째 예시가 그 가설을 확인해주는 것 같았고, 네 번째 예시는 또 다른 가설을 하나 더 만들게 했다. 여섯 번씩 반복해보니 둘 다 틀렸다.