Tag: Empirical
All the articles with the tag "Empirical".
-
여섯 개를 다 보고 나서 — 지금 만드는 것과 비교해보니
옵시디안 LLM Wiki 플러그인 비교 시리즈 마지막 편. 여섯 개를 소스까지 다 본 뒤, 지금 만드는 플러그인과 종합적으로 비교했다. 실질적으로 남은 건 시크릿 저장(API 키가 동기화되는 data.json에 평문으로 있다는 것) 하나뿐이었다 — 처음 남은 차별점이라고 생각했던 두 가지(관리자 시점 사람 추적, RAG 오탐 대응)는 더 파보니 둘 다 근거가 없었다.
-
GenWiki를 파보니 — 1099줄짜리 파일 하나가 전부였다
옵시디안 LLM Wiki 플러그인 비교 6편, 마지막 개별 리뷰. GenWiki는 스타 1개, 6월 이후 멈춘 가장 작은 프로젝트다. main.ts 1099줄 안에 인제스트·쿼리·린트·임베딩·설정 탭까지 다 들어있는 구조를 보고 나서야, 다른 다섯 개가 왜 파일을 나눴는지 거꾸로 이해가 됐다.
-
Ziran LLM Wiki를 파보니 — 말로 설명하면 평가해주는 파인만 학습법
옵시디안 LLM Wiki 플러그인 비교 5편. Ziran LLM Wiki는 스타 1개짜리 작은 프로젝트지만, 소스를 열어보니 음성 녹음·전사부터 에이전트 툴 호출 루프까지 갖춘 예상 밖으로 정교한 구조였다. 핵심은 파인만 학습법 — 개념을 말로 설명하면 그 설명이 실제 노트에 근거하는지 AI가 평가해준다.
-
순서를 뒤집자, 패턴도 정확히 뒤집혔다
9시간을 쉬고 처음으로 21개 타깃을 끝까지 완주했다. 그런데 그룹마다 클린율 격차가 뚜렷했고, 그 격차가 처리 순서와 겹쳐 보였다. 순서를 통째로 뒤집어 확인해보니, 실패 패턴도 정확히 그 순서를 따라 뒤집혔다.
-
Auto LLM Wiki를 파보니 — 바꾸기 전에 미리 보여주는 게 핵심이었다
옵시디안 LLM Wiki 플러그인 비교 4편. Auto LLM Wiki는 이 시리즈에서 obsidian-llm-wiki 다음으로 스타가 많다(13개). 차별점은 검색이나 프롬프트가 아니라 Office 문서 파싱(xlsx·docx·pptx)과, AI가 파일을 고치기 전에 변경 계획을 미리 보여주는 previewModal이었다.
-
고쳤는데도 안 됐다, 진짜 이유는 따로 있었다
실측으로 순간 최대 14개까지 몰리는 걸 직접 세어 확인하고, IP당 동시 요청을 2개로 강제 제한했다. 그런데 다시 돌리자 실패율은 전혀 줄지 않았다 — 오히려 분당 실패 건수는 더 나빴다. 열두 번째로 다시 찾은 진짜 이유는 코드 안에 없었다.
-
AI RAG + LLM Wiki를 파보니 — 서비스 파일 30개짜리 설계가 하루 만에 버려졌다
옵시디안 LLM Wiki 플러그인 비교 3편. yep49의 AI RAG + LLM Wiki는 리랭킹·하이브리드 검색·피드백 튜닝까지 갖춘 서비스 파일 30개짜리 RAG 파이프라인이었지만, GitHub 생성일과 마지막 커밋일이 하루 차이였다.
-
두 배 빨라졌다, 그리고 다시 막혔다
직접 IP와 프록시 IP가 서로 독립된 요청 예산을 갖는다는 걸 알고 있었으니, 둘을 동시에 쓰면 두 배는 빨라질 거라는 제안이 나왔다. 실제로 완벽하게 통했다 — 진단 규모에서는. 실전 스케일로 그대로 옮기자, 며칠 전 잡았던 문제가 훨씬 큰 형태로 되돌아왔다.
-
AI Wiki(ikeniborn)를 파보니 — API 키를 data.json에서 뺀 이유
옵시디안 LLM Wiki 플러그인 비교 2편. AI Wiki(ikeniborn)는 스타 4개짜리 작은 프로젝트지만 조사 당일(9월 2일)까지도 커밋될 만큼 활발하고, docs/superpowers 폴더가 그대로 있어서 지금 만드는 플러그인과 같은 Claude Code 워크플로로 만들어졌다는 걸 알 수 있었다. 가장 중요한 발견은 API 키를 동기화되는 data.json이 아니라 별도 local.json에 저장한다는 것이었다.
-
obsidian-llm-wiki(karpathywiki)를 파보니 — 임베딩 없이 그래프로 검색하는 이유
지금 만드는 플러그인과 같은 컨셉(Karpathy의 LLM Wiki)을 구현한 옵시디안 플러그인 중 가장 크고 활발한 obsidian-llm-wiki(플러그인 id: karpathywiki, 551스타)를 소스까지 받아서 파봤다. 임베딩·벡터DB 없이 그래프 위 Personalized PageRank로 검색하는 이유, 믹스인 패턴으로 쪼갠 main.ts, API 키를 OS 키체인에 저장하는 2단계 마이그레이션까지.