Tag: Benchmark

All the articles with the tag "Benchmark".

• Decisions API와 Jev로 끊긴 문장을 판정하자, 오탐이 네 배였다

  28 Oct, 2026

  LLM이 고친 노트에 끊긴 문장이 생겼는지를 OpenAI Decisions API와 Jev로 판정해 봤다. 정상 노트를 gpt-6-luna보다 네 배쯤 더 걸었고, 질문 나누기는 이번엔 역효과였다.

• Decisions API는 질문을 셋으로 나누자 Luna만큼 맞혔다

  18 Oct, 2026

  OpenAI Decisions API와 Jev 프롬프트를 문서 권고대로 고쳐봤다. 판단을 참·거짓 질문 셋으로 나누자 Decisions API가 37쌍 중 36쌍을 맞혔고, 입력 줄이기는 오히려 나빠졌다.

• OpenAI Decisions API는 빨랐지만, 내 병합 기준에는 맞지 않았다

  17 Oct, 2026

  OpenAI Decisions API, Jev, gpt-6-luna로 중복 노트 병합 판단을 비교했다. Decisions API는 0.13초로 가장 빨랐지만, 조건이 여러 개인 기준에선 틀린 답에도 확신이 높았다.

• 틀렸는데, 확신은 0.9였다

  29 Sep, 2026

  TypeSafe Jev의 오픈소스 재현판 Laya를 Obsidian 플러그인의 중복 노트 판단에 붙여봤다(Jev는 계정이 열리지 않아 문서로만 비교). CPU 속도와 정확도 78%, 파인튜닝 가능성까지 실측해 보니, 진짜 문제는 틀린 답에 0.9 confidence를 붙이는 캘리브레이션 붕괴였다.

• 디폴트값으로 돌리고 있었다 — GPT-5.6 Luna 추론 옵션을 medium과 high로 나눠서 비교해본 결과

  5 Sep, 2026

  GPT-5.6 Luna의 reasoning_effort 기본값을 발견하고 medium/high를 프롬프트 보강과 엮어 벤치마크를 돌렸다. 결과표는 그럴듯했다. 그런데 그 표를 만든 도구를 다시 열어보니, 표에 있는 숫자 중 상당수는 애초에 그 코드가 잴 수 없는 값이었다 — 그리고 그걸 고친 정정 문서에도, 또 다른 정정이 필요했다.