본문으로 건너뛰기
DATAFOODINGRESEARCH / BENCHMARK RIGOR

벤치마크 현장 노트 /

41.4%와 0점은 같은 숫자가 아니다.

다섯 에이전트 벤치마크의 순위를 매기지 않는다. 각 점수가 어떤 계약에서 나왔고, 무엇을 증명하며, 어디서부터는 말할 수 없는지 따져 본다.

DATAFOODING RESEARCH다섯 벤치마크 계보 · 버전을 고정한 1차 자료 검토

확인OpenAI와 Zapier는 GPT-6 Astra의 AutomationBench 점수를 41.4로 표시한다. 여기서 살펴본 Terminal-Bench v3 태스크는 57개 사례를 모두 통과했을 때만 1점을 주고, 그렇지 않으면 0점을 준다.Introducing GPT-6 AstraZapier AutomationBench leaderboardrs-archive-clone verifier

추론따라서 57개 중 56개를 통과한 구현과 아무것도 하지 않은 제출물이 같은 0점을 받을 수 있다. 두 대표 숫자는 모델 능력을 말하기 전에 서로 다른 질문에 답한다.rs-archive-clone verifierZapier AutomationBench leaderboardAutomationBench rubric implementation

추론벤치마크의 엄밀성은 하나의 점수가 아니다. 가치 있는 일을 골랐는가, 실행 가능한 계약으로 만들었는가, 정답과 편법과 불공정을 구별하는가, 다시 실행하고 권리까지 확인할 수 있는가를 각각 증명해야 한다.Terminal-Bench v3 review automationGDPval paperAPEX-Agents paperTerminal-Bench-Science proposal rubricAutomationBench paper

01 / 비교 틀

네 가지 약속은 따로 감사해야 한다

01

가치 있는 일을 고른다

태스크의 출처, 작성자 자격, 검토와 탈락, 너무 쉬워진 일을 거르는 기준을 남긴다.

02

실행 가능한 계약을 만든다

관찰 범위, 도구, 권한, 상태 변화, 제한, 종료, 초기화와 산출물을 고정한다.

03

정답, 편법과 불공정을 구별한다

검증기가 무엇을 증명하는지 밝히고 Oracle, Nop, 사람과 LLM의 역할을 나눈 뒤 잘못된 통과와 잘못된 탈락을 고친다.

04

재실행 조건과 권리 증빙을 남긴다

태스크, 자산, 실행기, 모델 설정과 점수 모집단을 고정하고 비공개 평가 세트(holdout), 오염 방어, 라이선스와 출처를 공개한다.

02 / 근거 비교표

종합 1등은 없다. 닫히는 약속이 서로 다르다.

확인제보추론미확인

작은 화면에서는 표를 좌우로 움직여 읽으세요. 비교 축이 적힌 첫 열은 화면에 고정됩니다.

2026-09-05에 확인한 비교 기록이다. 각 칸은 숫자 점수가 아니라 설계의 근거와 공개 범위의 한계를 요약한다.
엄밀성의 약속Terminal-BenchGDPval-AA v2APEX-AgentsTerminal-Bench-ScienceAutomationBench
가치 있는 일의 선별확인공개 제안과 수정 이력은 풍부하다. 다만 릴리스 74개 전체에 같은 형식의 작성자 자격 증빙이 있지는 않다.rs-archive-clone proposal #842Terminal-Bench v3.0.0확인전문가 선발과 반복 검토 절차는 비교적 충실하다. 태스크별 채택 과정과 검토자 이력은 공개되지 않았다.GDPval paper확인256명의 전문가가 적대적 반복 검토를 거쳤다. 독립 재실행은 480개 중 96개 표본이며 채택 과정의 분모가 아니다.APEX-Agents paper확인과학적 제안 심사와 분야 검토가 있다. 사전 승인은 구현 시작을 허용할 뿐 릴리스를 보장하지 않는다.Terminal-Bench-Science proposal rubricTerminal-Bench-Science review guide미확인업무 형태는 고객의 집계된 패턴을 참고했다. 그러나 항목별 작성자와 검토자, 탈락 기록은 공개되지 않았다.AutomationBench paper
실행 가능한 계약확인버전이 붙은 컨테이너, 파일, 제한, 모범 풀이와 별도 검증기를 묶는다. 다만 참조 프로그램의 배치가 에이전트가 접근하면 안 되는 능력을 열었다.rs-archive-clone task contractrs-archive-clone hardening PR #1278미확인프롬프트, 참고 자료와 다수의 모범 산출물(gold) 파일은 공개됐다. AA 전용 250단계 실행기와 파일 복구 이미지는 공개되지 않았다.GDPval v2 datasetArtificial Analysis intelligence methodologyStirrup v0.2.0확인33개 작업 세계(world), 9개 앱, 63개 도구의 풍부한 맥락이 있다. 고정된 핵심 태스크와 모범 산출물 파일을 받으려면 접근 승인이 필요하다.APEX-Agents paperAPEX-Agents dataset tree확인과학 태스크별 산출물과 숨긴 검증 기준을 쓴다. 출시판과 미출시 검토 정책은 분리해야 한다.Terminal-Bench-Science v0.1.0Terminal-Bench-Science unreleased mainQSM reconstruction verifier확인자료형으로 정의한 모의 상태, 제한된 서비스, Search/Execute 방식의 API 동작과 최대 50단계라는 평가 설정을 쓴다. 실제 SaaS 화면에서 하는 업무는 범위 밖이다.AutomationBench runnerAutomationBench paper
채점과 편법 방어확인정확하고 결정적인 동작 검사와 공개된 편법 수리 이력이 있다. 더 강한 별도 격리 서비스(sidecar)는 아직 병합되지 않았다.rs-archive-clone verifierrs-archive-clone cheat trialrs-archive-clone successor PR #1612미확인LLM의 쌍별 선호도 비교로 다양한 산출물을 채점한다. 전체 프롬프트, 파서, 비교 관계도와 원 판정값은 공개되지 않았다.Artificial Analysis intelligence methodology확인결과와 변경 근거로 이진 기준을 판정한다. 공개 예시는 방법이나 전문 타당성보다 정확한 값을 주로 증명한다.APEX-Agents paperAPEX-Agents investment banking sample확인과학 지표와 분야 검토가 명시돼 있다. 공개 수리 이력은 비결정성, 정보 노출과 공정성이 서로 다른 실패 지점임을 보여준다.Terminal-Bench-Science review guideXRD reproducibility repair PR #1539Symbolic regression repair PR #1537확인모든 assertion을 요구하는 최종 상태 계약은 읽기 쉽다. 그러나 값을 맞추는 코드와 학습용 세부 보상의 의미는 실제 수리가 필요했다.AutomationBench rubric implementationAutomationBench assertion registryAutomationBench v1.0.6 finance matcher repair
재실행, holdout과 권리미확인불변 공개 릴리스는 감사를 돕는다. 반면 공개 검사는 오염 경로를 만들고, v3 자산의 권리 범위는 뒤늦은 라이선스만으로 확정되지 않는다.Terminal-Bench v3.0.0Terminal-Bench Apache-2.0 addition미확인공개 모범 산출물은 살펴볼 수 있지만 영구 비공개 평가 세트는 아니다. 데이터셋 라이선스와 항목별 권리 증빙은 보이지 않았다.GDPval v2 datasetGDPval v2 dataset card미확인논문 설정은 고정돼 있다. 그러나 접근 승인이 필요한 자산과 공개·비공개 설명의 충돌 때문에 인증 없는 전체 재실행은 막힌다.APEX-Agents paperAPEX-Agents dataset tree미확인태그가 붙은 소스, Zenodo DOI, 고정 미러와 검사합이 재실행을 돕는다. Apache-2.0이 모든 상위 과학 자산의 권리를 해결하지는 않는다.Terminal-Bench-Science v0.1.0Terminal-Bench-Science license미확인고정된 공개 검증 데이터로 로컬 상태를 복원할 수 있다. 비공개 태스크, 제공자 실행 기록과 Astra의 정확한 실행 명세는 공개되지 않았다.AutomationBench repositoryZapier AutomationBench leaderboardAutomationBench runner

03 / 벤치마크

Terminal-Bench

v3.0.0 · 릴리스 태스크 74개 · 커밋 2b0442c3 · 2026-09-05 확인Terminal-Bench v3.0.0

추론Terminal-Bench는 공개된 수정 이력까지 측정의 일부로 읽을 때 구조가 가장 잘 드러난다. 같은 기록은 릴리스 수록이 검증기 개발의 끝이 아님도 보여준다.rs-archive-clone PR #1028Terminal-Bench v3 review automationrs-archive-clone successor PR #1612

03

그 점수가 증명하지 않는 것은 무엇인가?

사례 분석

한 태스크의 네 수정판: #842 → #1028 → #1278 → #1612

확인알려진 Reed-Solomon 복호 문제는 최상위 모델에 너무 쉬워졌다. 그래서 내부를 보지 않고 동작을 복제하는 문제로 바뀌었다. 난도는 높아졌지만 reference 프로그램 자체가 에이전트의 손이 닿는 곳에 있다는 다른 문제가 드러났다.rs-archive-clone proposal #842rs-archive-clone PR #1028

  1. 01

    확인#1028은 57개 사례, 같은 컨테이너의 참조 실행 파일과 휴리스틱 래퍼 방지 검사로 v3에 수록됐다.rs-archive-clone PR #1028rs-archive-clone verifier

  2. 02

    확인후속 보강 분기에서는 사례를 170개에서 190개로 늘렸고 전문가 예상 시간도 32시간으로 높였다. 이 값은 v3가 아니라 뒤이은 수정판에 속한다.rs-archive-clone hardening PR #1278

  3. 03

    확인sidecar 격리 전에는 적대적 래퍼 세 번 중 두 번이 참조 프로그램을 숨겨 재사용하며 190개 사례를 모두 통과했다. 이는 세 번짜리 스트레스 테스트이며 편법의 발생률 추정치가 아니다.rs-archive-clone cheat trial

  4. 04

    확인대응은 참조 프로그램을 별도 격리 서비스로 옮기고 검증할 때 제거하는 구조 변경이었다. #1278은 저장소 정리 과정에서 닫혔고, #1612는 호스팅 검증 문제가 풀리지 않은 채 열려 있었다.rs-archive-clone hardening PR #1278rs-archive-clone successor PR #1612

제작·출처 증빙

04 / 벤치마크

GDPval / GDPval-AA v2

GDPval v2 · 공개 태스크 220개 · AA 표의 반복 횟수 1 · 데이터셋 11e7900 · 실시간 v4.2 · 2026-09-05 확인GDPval v2 datasetArtificial Analysis intelligence methodology

추론GDPval은 넓은 직업 범위와 비교적 자세한 전문가 선발 설명을 함께 제공한다. GDPval-AA는 최종 산출물을 둘씩 비교해 확장 가능한 순위를 만든다. 다만 점수 파이프라인은 공개 데이터셋만큼 독립적으로 재현하기 어렵다.GDPval paperGDPval v2 datasetArtificial Analysis intelligence methodology

02

무엇을 성공으로 쳤나?

  • 확인AA 표에는 태스크 220개와 repeat 1이 적혀 있다. 각 비교에서는 GPT-5.5 medium, Gemini 3.1 Pro Preview high, Claude Opus 4.8 high 가운데 판정 모델 한 개를 표집한다. 이 모델은 A/B 중 어느 제출물이 업무에 더 잘 답했는지 고르고, Bradley-Terry 최우추정법이 비교 결과를 Elo와 sandwich 방식의 95% 신뢰구간으로 집계한다.Artificial Analysis intelligence methodology
03

그 점수가 증명하지 않는 것은 무엇인가?

  • 확인전문가가 만든 산출물에 대한 선호가 객관적 정답, 실제 직업 성과, 치명적 실수의 부재를 증명하지는 않는다.GDPval paper
  • 미확인전체 판정 프롬프트, 파서, 비교 관계도, 난수 생성 방식, 원 비교 결과, 파일 복구 이미지와 GDPval 전용 실행기는 공개되지 않았다. Stirrup v0.2.0은 기본 30단계인 범용 하네스이며 AA가 문서화한 250단계 실행의 재현 기록이 아니다.Artificial Analysis intelligence methodologyStirrup v0.2.0
사례 분석

기억해야 할 사례는 공개 모범 산출물 자체다

확인v2 데이터셋은 직접 부모의 220개 태스크 ID와 프롬프트를 유지하며 채점 기준과 산출물 위치를 더했다. 그러나 32개 태스크의 참고 자료 목록도 바뀌었으므로 단순한 스키마 추가만은 아니었다.GDPval pre-v2 datasetGDPval v2 dataset

  1. 01

    확인전체 벤치마크는 1,320개이며 공개 부분집합은 220개다. 전문가는 최소 4년, 평균 14년 경력이었고 지원자의 10% 미만이 선발됐다.GDPval paper

  2. 02

    확인태스크는 평균 5회, 최소 3회의 사람 검토를 받았다. 다만 항목별 작성자·검토자 신원, 검토 의견과 탈락 이력은 공개되지 않았다.GDPval paper

  3. 03

    확인220개 행 모두 사람이 작성한 채점 기준을 갖고 있으며 세부 기준은 10,453개, 태스크 중앙값은 47개다. 공개 산출물 위치는 185개 행에 있고 35개에는 없다.GDPval v2 dataset

  4. 04

    확인데이터셋 카나리아는 공개돼 있다.GDPval v2 dataset card

  5. 05

    추론공개된 카나리아는 비밀 평가 세트도, 모델 오염을 측정했다는 증거도 아니다.GDPval v2 dataset card

제작·출처 증빙

05 / 벤치마크

AI Productivity Index (APEX) family / APEX-Agents

APEX-Agents 논문 v3 · 태스크 480개 · 작업 세계 33개 · 직군 3개 · HF 92c868 · Archipelago 6419e09 · 2026-09-05 확인APEX-Agents paperAPEX-Agents dataset treeArchipelago harness

추론APEX-Agents는 파일, 앱, 도구와 상태를 아우르는 장기 전문 업무 세계를 만든다. 반면 고정 자산에 접근 승인이 필요하고 공개 채점표가 일부 결과만 확인하는 지점에서는 독립 감사가 어려워진다.APEX-Agents paperAPEX-Agents dataset treeAPEX-Agents investment banking sampleAPEX-Agents consulting sampleAPEX-Agents law sample

01

무엇을 시켰나?

  • 확인작업 세계는 투자은행, 컨설팅, 법률 직군에서 약 5~10일 동안 쌓일 전문 업무 맥락을 담는다. 33개 world에는 평균 166개 파일과 9개 앱, 63개 도구가 있다.APEX-Agents paper
02

무엇을 성공으로 쳤나?

  • 확인태스크마다 이진 판정 기준이 1~10개 있다. Thinking=Low로 설정한 Gemini 3 Flash 판정 모델은 프롬프트, 최종 결과, 행동·변경 기록과 판정 기준을 받아 평가하며 전부 통과해야 한다. 논문은 태스크마다 실행 궤적 8개를 만든 뒤 태스크별 통과율을 동일한 비중으로 평균해 Pass@1을 계산한다.APEX-Agents paper
03

그 점수가 증명하지 않는 것은 무엇인가?

사례 분석

태스크 221: 셀 여덟 개는 정확하지만 업무 전체는 아니다

확인공개된 투자은행 예시는 인수합병 모델 통합 문서를 수정하게 한다. 이진 기준 여덟 개가 BBDC와 TVPG 민감도 결과를 정확히 확인한다. 산출물 계약은 선명하지만 수식을 어떻게 만들었는지는 검사하지 않는다.APEX-Agents investment banking sample

  1. 01

    확인논문은 33개 작업 세계와 전문가 256명이 만든 태스크 480개를 보고한다. 투자은행, 컨설팅, 법률 태스크가 각각 160개이며 콘솔 태스크 422개와 파일 산출물 태스크 58개로 나뉜다.APEX-Agents paper

  2. 02

    확인작성자와 검토자가 아닌 독립 전문가가 480개 중 96개를 실행했다. 그 표본의 약 10%에서 사소한 문제가 발견돼 연관 항목도 고쳤다. 이는 품질 확인 표본이며 탈락률이 아니다.APEX-Agents paper

  3. 03

    확인논문은 이진 판정값 747개로 판정 모델을 검증해 정확도 98.5%를 보고한다.APEX-Agents paper

  4. 04

    추론이 검증은 세부 기준을 분류하는 능력의 근거이며 사람의 전문 업무 전체를 맞혔다는 뜻은 아니다.APEX-Agents paper

  5. 05

    확인고정된 코드에는 확장자가 .png인 JPEG 바이트가 있고 MIME은 확장자로 고른다. 파일 시스템 가로채기 코드는 외부 통신 프록시를 유지하며 소켓 차단을 직접 강제하지 않는다.Archipelago issue #205Archipelago issue #143Archipelago harness

  6. 06

    제보이슈 제보자는 이 경로에서 제공자 오류, 특정 실행의 메타 도구 형식 오류와 실제 네트워크 접근 성공이 있었다고 말한다. 횟수와 결과는 제보이며 벤치마크 전체의 발생률이 아니다.Archipelago issue #205Archipelago issue #193Archipelago issue #143

제작·출처 증빙
  • 미확인APEX-Agents는 전체 제안 수, 작성자 보상과 사람의 전체 업무 통과 기준을 공개하지 않았다. 96개 감사 표본으로 이 빈칸을 채울 수 없다.APEX-Agents paper
  • 확인APEX-v1은 prompt 300개로 시작해 최종 200개를 수록했다. 나머지 100개는 원안 그대로 승인되지 않았지만 영구 탈락과 수정 후 채택의 구분은 공개되지 않았다.APEX-v1.0 paper
  • 확인APEX-v1-extended에는 벤치마크에 포함되지 않는 별도 개발 세트 100개와 비공개 평가 항목 400개가 있다. v6 논문은 기여자 137명과 Gemini 2.5 Flash를 쓰지만 고정된 HF 카드에는 전문가 76명과 Gemini 2.5 Pro가 남아 있다. 오래된 정보의 충돌을 임의로 합치지 않는다.APEX-v1-extended paperAPEX-v1-extended dataset card
  • 미확인APEX-Agents는 메타데이터가 공개돼 있지만 자산에는 접근 승인이 필요하다. ‘전체 벤치마크 공개’라는 문구, 현재 FAQ, CC BY 메타데이터와 평가 전용·학습 금지·수집 금지 조건 사이에는 해결되지 않은 접근·권리 긴장이 있다. 아무것도 공개되지 않았다는 뜻은 아니다.APEX-Agents paperAPEX-Agents dataset treeAPEX-Agents dataset card
  • 추론논문 평가는 에이전트와 태스크의 조합마다 8회 실행해 실행 궤적 30,720개를 만들었다. 장기 업무를 반복 측정하는 근거는 강해지지만 모델 실행, 판정 모델과 작업 세계의 유지 비용도 커진다. 작성자 보상, 채택된 태스크의 수율과 구매 가능한 자산 권리는 미확인이다.APEX-Agents paperAPEX-Agents dataset card

06 / 벤치마크

Terminal-Bench-Science

v0.1.0 · 릴리스 태스크 70개 · f81afac4 · DOI 10.5281/zenodo.22110254 · 2026-09-05 확인Terminal-Bench-Science v0.1.0

추론Terminal-Bench-Science는 검증기의 실행 여부와 별도로 태스크의 과학적 근거성을 검토한다. 공개 수리 이력은 과학적 흥미, 수치 재현성, 편법 방어와 인프라 실행 가능성을 각각 따져야 함을 보여준다.Terminal-Bench-Science proposal rubricTerminal-Bench-Science review guideXRD reproducibility repair PR #1539Symbolic regression repair PR #1537

02

무엇을 성공으로 쳤나?

  • 확인QSM 검증기는 숨겨 둔 합성 정답 기준에 NRMSE, 추세 제거, 조직, 혈액, DGM과 기울기의 강제 임곗값을 적용한다. 다른 과학 태스크는 산출물에 맞춘 별도 계약을 쓴다.QSM reconstruction verifier
03

그 점수가 증명하지 않는 것은 무엇인가?

  • 확인그 지표를 통과하면 선택한 수치 계약은 증명되지만 임상 타당성까지 증명되지는 않는다. 숨겼다는 사실도 근거의 독립성을 보장하지 않는다. 약물작용기 자세 여섯 개 중 다섯 개는 Oracle에서 파생됐고 하나만 독립 PDB 1YET에서 왔다.QSM reconstruction verifierPharmacophore provenance
  • 확인구현을 보는 39개 항목의 채점표는 권고용이다. 변경된 디렉터리만 보는 정적 검사, 통과 조건이 아닌 일일 전체 검사, JSON 정답 파일을 덮지 못하는 카나리아의 빈틈이 있다. 따라서 병합된 모든 태스크가 과학·보안 기준을 전부 통과했다고 말할 수 없다.Terminal-Bench-Science review automation
사례 분석

Bolzano는 실행 검사를 통과하고도 과학적 논증에서 멈췄다

확인PR #1664는 유사도 검사, Docker, Oracle, Nop을 통과했고 에이전트 시행 한 번은 100%였다. 그러나 채점표는 학부 수준의 유한 매칭 문제와 코드에 직접 넣은 16개 정답 대응표가 연구 수준에 부족하다고 지적했다. 작성자는 #1666으로 이를 대체했다.Bolzano task PR #1664

  1. 01

    확인제안 채점표는 LLM의 첫 검토, 사람의 사전 승인, 구현 단계의 두 번째 사람 검토를 쓴다. 사전 승인은 수록을 보장하지 않는다.Terminal-Bench-Science proposal rubric

  2. 02

    확인최상위 모델의 성공률 10~20%는 설계 목표이며 IRT나 릴리스 분포의 실측 근거가 아니다. ‘lite’ 표지도 사람이 붙이며 통과 여부를 결정하지 않는다.Terminal-Bench-Science proposal rubricTerminal-Bench-Science review guide

  3. 03

    확인XRD 태스크는 같은 Oracle 바이트를 재실행하고도 OpenBLAS 비결정성과 화학적 경곗값 때문에 1, 1, 0을 냈다. 스레드 수 고정과 화학적 거부 조건으로 v0.1.0 전에 3회 모두 통과하도록 고쳤다.XRD reproducibility repair PR #1539

  4. 04

    확인기호 회귀 태스크는 n_train=1000에서 너무 쉬워져 300과 구조적 완성 조건으로 바뀌었다. 이후 별도 수리에서는 숨긴 키 근처에서 에이전트가 제어하는 의존성을 root 권한으로 설치하던 경로를 제거했다.Symbolic regression repair PR #1537

제작·출처 증빙

07 / 벤치마크

Zapier AutomationBench

패키지 1.0.6 · main 4a8e106 · 공개 600 / 비공개 600개 이상 · 릴리스 태그 없음 · 2026-09-05 확인AutomationBench repositoryAutomationBench README

추론AutomationBench는 자료형을 고정한 최종 상태 계약을 직접 살펴볼 수 있게 공개한다. 동시에 코드와 수리 이력은 결정적인 구조와 올바른 검증 의미가 서로 다른 주장임을 보여준다.AutomationBench runnerAutomationBench rubric implementationAutomationBench v1.0.6 finance matcher repair

03

그 점수가 증명하지 않는 것은 무엇인가?

사례 분석

Finance 4001: 50센트를 보지 못한 금지 조건

확인이 태스크는 송장 이메일과 뒤이은 Slack 수정을 대조하고 거래 금지 업체와 정책 우선순위를 적용한 뒤 시트와 메시지를 정확히 바꾸게 한다. 긍정·부정 assertion은 필요한 변경뿐 아니라 해서는 안 되는 부작용도 명시한다.AutomationBench finance task 4001

  1. 01

    확인v1.0.6 전에는 금지 문자열 12,340이 잘못된 값 12,340.50을 잡지 못했다. 숫자 경계가 소수점 뒤를 거절했기 때문에 Slack 수정을 무시해도 그 방어 조건을 통과할 수 있었다.AutomationBench v1.0.6 finance matcher repair

  2. 02

    확인커밋 6d21054는 금지 값을 12,340.5로 바꾸고 허용 값도 고쳤다. 이는 유지관리자가 남긴 잘못된 통과 수리이며 순위표 영향에 대한 추측이 아니다.AutomationBench v1.0.6 finance matcher repair

  3. 03

    확인registry 문서는 긍정 조건이 전부 통과한 뒤에만 부정 assertion에 점수를 준다고 설명한다. 그러나 부분 점수 코드는 부정 표지를 호출하지 않는다. 학습용 세부 보상의 불일치는 코드로 확인됐다.AutomationBench assertion registryAutomationBench rubric implementation

  4. 04

    미확인strict headline 점수에 미친 직접 영향은 확인되지 않았다.AutomationBench assertion registryAutomationBench rubric implementation

  5. 05

    제보이슈에는 null 충돌과 스키마·라우터의 빈틈도 제보돼 있다. 구조는 코드에서 확인되지만 이슈의 횟수와 실행별 빈도는 제보자 측정치이며 하나의 결함률로 합칠 수 없다.AutomationBench issue #12AutomationBench issue #14

제작·출처 증빙

08 / 설계 이동

서로 무엇을 배워야 하는가

  1. 01

    추론선별: Terminal-Bench와 AutomationBench는 GDPval의 명시적인 전문가 선발과 APEX 또는 Science의 직무 맥락을 배울 수 있다. 동시에 항목별 작성자, 검토자, 수정 이력과 탈락 수령증을 공개해야 한다.GDPval paperAPEX-Agents paperTerminal-Bench-Science proposal rubricTerminal-Bench v3 review automationAutomationBench paper

  2. 02

    추론계약: GDPval-AA는 전용 실행기를 공개하고 Terminal-Bench의 환경·검증기 묶음을 배울 수 있다. APEX는 고정된 재실행 package를 열어야 한다. Science는 측정 대상에 맞는 범위에서 AutomationBench의 typed state와 금지 행동을 명시하는 assertion을 가져올 수 있다.Stirrup v0.2.0rs-archive-clone task contractAPEX-Agents dataset treeAutomationBench rubric implementation

  3. 03

    추론채점: 선호도나 LLM 기준으로 채점하는 벤치마크에는 hard invariant와 A/B 위치를 바꾼 보정 수령증이 필요하다. 결정적 검증기를 쓰는 벤치마크에는 공격적 오통과, 정상 답안의 오탈락, merge 결과를 보는 test가 필요하다. 양쪽 모두 수리 전후 점수가 이어지지 않을 수 있음을 새 버전으로 밝혀야 한다.Artificial Analysis intelligence methodologyAPEX-Agents paperrs-archive-clone cheat trialXRD reproducibility repair PR #1539AutomationBench v1.0.6 finance matcher repair

  4. 04

    추론재실행과 권리: 모든 벤치마크는 태스크·자산 manifest, 실행기·dependency digest, 모델 설정, 원 판정값, reset 수령증과 자산별 권리 범위를 남겨야 한다. 오염 정책을 감사할 수 있는 순환형 비공개 평가 세트도 필요하다.Terminal-Bench v3.0.0GDPval v2 datasetAPEX-Agents dataset treeTerminal-Bench-Science v0.1.0AutomationBench repository

09 / 점수를 읽기 전에

점수에는 재현 조건표가 필요하다

  1. 01

    태스크 모집단: 공개, hidden, gated 또는 private 여부와 정확한 item hash·분모.

  2. 02

    실행: runner, container·dependency, 관찰 범위, tool, network, 권한, reset, step·time cap.

  3. 03

    모델 실행: model·provider snapshot, reasoning effort, prompt wrapper, seed, rollout, retry, abort와 infra failure.

  4. 04

    채점: verifier·judge version, 정확한 prompt·parser, raw criterion outcome, hard failure, uncertainty와 human calibration.

  5. 05

    출처: author·reviewer 수령증, source·gold 계보, asset license, consent, 재배포 범위와 삭제 이력.

  6. 06

    lifecycle: release tag, correction log, 과거 score의 무효화·재계산 여부와 contamination을 고려한 rotating holdout 정책.

10 / 출처 목록

1차 자료와 고정 버전

순위표와 실시간 페이지는 에 저장한 상태다. 커밋이나 태그가 있는 자료는 고정 버전을 사용했고, 이슈에 적힌 실행 결과는 제보로 표시했다.

  1. 74개 태스크가 담긴 불변 릴리스 기준점.

    릴리스 · v3.0.0 · 2b0442c3c583b710ca8da14c8e601b99f2f1f244 · 접근일

  2. 최초 Reed-Solomon 목록 복호기 제안.

    검토 · Discussion #842 · 접근일

  3. 피벗, 리뷰, 시행과 v3 수록 이력.

    검토 · merged into v3.0.0 · 접근일

  4. 시간, 환경과 검증기 계약을 고정한 파일.

    태스크 · v3.0.0 · 접근일

  5. 초기 57개 사례 검증기.

    코드 · v3.0.0 · 접근일

  6. 170개에서 190개로 늘린 검증과 sidecar 전환.

    검토 · closed, unmerged · 접근일

  7. sidecar 이전 편법 시행 세 번 중 두 번이 190개 검사를 통과함.

    검토 · pre-sidecar revision · 접근일

  8. 호스팅 검증 문제가 남은 sidecar 후속 PR.

    검토 · open at 2026-09-05 · 접근일

  9. Oracle, Nop, rubric, 정상·편법 시행의 역할.

    방법론 · v3.0.0 · 접근일

  10. 496개에서 74개로 이어지는 릴리스 수록 비율을 계산한 공개 PR 집단.

    검토 · mutable cohort snapshot 2026-09-03T01:48:45Z · 접근일

  11. 첫 association comment까지 61.07시간이라는 지연 proxy를 계산한 공개 discussion 집단.

    검토 · mutable cohort snapshot 2026-09-03T01:38:14Z · 접근일

  12. 저장소 라이선스가 v3 태그 뒤에 추가된 이력.

    라이선스 · 6dac399a3ebd34efbc675c03eb9f88ccf5dae047 · after v3.0.0 · 접근일

  13. 전문가 선발, 검토, 사람 채점과 한계.

    논문 · arXiv 2510.04374v1 · 접근일

  14. 44개 직업과 업무 산출물이라는 공식 설명.

    방법론 · published 2025-09-25 · 접근일

  15. v2의 직접 부모이자 구 스키마 기준점.

    릴리스 · a3848a2a812d5d4d0f08003fac3c8eac40805962 · 접근일

  16. 공개 프롬프트, 참고 자료, rubric과 산출물 위치를 고정한 버전.

    릴리스 · 11e7900cdcac61bc4daf59e65feb238acda98fbf · 접근일

  17. 공개 데이터셋 canary와 카드 메타데이터.

    방법론 · 11e7900cdcac61bc4daf59e65feb238acda98fbf · 접근일

  18. GDPval-AA v2 실행, 표집 judge, BT/Elo와 지수 가중치 10%.

    방법론 · live v4.2 snapshot · 접근일

  19. GDPval-AA v2 도입 당시 가중치 20% 기록.

    방법론 · v4.1 · 2026-06-15 · 접근일

  20. 공개된 범용 에이전트 하네스이며 AA의 전체 평가 파이프라인을 담고 있지는 않다.

    릴리스 · v0.2.0 · 247f24d56b2108235880ed2a2baea5d35b5a67ee · 접근일

  21. 300개로 시작해 200개를 수록한 최초 계보와 그 버전의 judge 한계.

    논문 · arXiv 2509.25721v1 · 접근일

  22. 공개 개발 세트 100개와 비공개 heldout 400개의 별도 계보.

    논문 · arXiv 2509.25721v6 · 접근일

  23. stale 76-expert와 Gemini 2.5 Pro metadata가 남은 다운로드 가능 카드.

    릴리스 · e0db9513115f8d0449591fac3d77d4bdc1a98fef · 접근일

  24. 480개 태스크, 33개 world, 에이전트 프로토콜, judge와 검증.

    논문 · arXiv 2601.14242v3 · 접근일

  25. 메타데이터는 보이지만 핵심 자산은 gated인 revision.

    릴리스 · 92c86856cf1b11f9833a8a076b3a45a63afa3929 · 접근일

  26. CC BY metadata와 evaluation-only, no-training, no-crawl 조건.

    라이선스 · 92c86856cf1b11f9833a8a076b3a45a63afa3929 · 접근일

  27. 태스크 221과 정확한 workbook 값 여덟 개 기준.

    태스크 · mutable live sample checked 2026-09-05 · 접근일

  28. 태스크 132와 정확한 console 값 세 개.

    태스크 · mutable live sample checked 2026-09-05 · 접근일

  29. 태스크 431과 정확한 책임 금액 기준.

    태스크 · mutable live sample checked 2026-09-05 · 접근일

  30. APEX-Agents 공개 하네스의 고정 snapshot.

    코드 · main · 6419e0929f1f0299601fc2055a1f2b58d6a30d95 · 접근일

  31. PNG 확장자의 JPEG bytes 때문에 provider가 실패했다는 제보.

    이슈 · reporter-authored, checked 2026-09-05 · 접근일

  32. 특정 실행에서 발생한 meta-tool envelope 오류 제보.

    이슈 · reporter-authored, checked 2026-09-05 · 접근일

  33. source 수준 egress 허용과 실제 network 재현 제보.

    이슈 · reporter-authored, checked 2026-09-05 · 접근일

  34. 70개 태스크가 포함된 출시 기준점.

    릴리스 · f81afac4f11048e77a15dfc8fb1dbfb897fea0ce · DOI 10.5281/zenodo.22110254 · 접근일

  35. 공식 포지셔닝, 제작 funnel, 70개 릴리스와 모델 실행 snapshot.

    방법론 · published 2026-08-26 · 접근일
  36. tbs-parent-paperTerminal-Bench paper

    공개된 parent benchmark 논문이며 별도의 Science preprint는 아니다.

    논문 · arXiv 2601.11868 · 접근일

  37. 3단계 제안 절차, 7개 기준과 10~20% 설계 목표.

    방법론 · v0.1.0 · f81afac4 · 접근일

  38. domain, technical, final review의 역할.

    방법론 · v0.1.0 · f81afac4 · 접근일

  39. v0.1.0보다 20개 commit 앞선 미출시 개발 snapshot.

    릴리스 · unreleased main · 6bad49aa572146dc28f5144d6b08cdfaa4ad554c · 접근일

  40. 권고용 rubric, 변경 directory 검사, 비차단 daily sweep과 canary 한계.

    방법론 · unreleased main · 6bad49aa · 접근일

  41. 기계적 통과가 과학적 흥미와 난도를 확정하지 못한 사례.

    검토 · author-closed, superseded by #1666 · 접근일

  42. 출시 전 OpenBLAS 비결정성과 화학적 veto를 고친 이력.

    검토 · merged as 3e9331c7ee3a3e848279b07a14417116ee440a47 · 접근일

  43. 난도 재조정과 root 설치 leakage 수리.

    검토 · merged as 4c7bd2269122fcf8acb186a09b8dab2cee961d4c · 접근일

  44. 숨긴 합성 ground truth 지표와 hard threshold.

    태스크 · v0.1.0 · f81afac4 · 접근일

  45. Oracle에서 파생한 pose 다섯 개와 독립 PDB pose 한 개.

    태스크 · v0.1.0 · f81afac4 · 접근일

  46. Apache-2.0 저장소 소프트웨어 라이선스.

    라이선스 · v0.1.0 · f81afac4 · 접근일

  47. 태스크 발상, 모의 API world, assertions, split과 초기 결과.

    논문 · arXiv 2604.18934v1 · 접근일

  48. 현재 공개 코드와 태스크의 고정 snapshot.

    릴리스 · package 1.0.6 · 4a8e1061254004d9dac807054eed33fad7d1ff14 · no tag · 접근일

  49. 공개 600개, 제외된 단순 200개, 비공개 600개 이상과 metric 정의.

    방법론 · package 1.0.6 · 4a8e106 · 접근일

  50. OpenAI 전문 업무 표에 표시된 AutomationBench 41.4.

    순위표 · mutable launch page checked 2026-09-05 · 접근일

  51. GPT-6 Astra Max 41.4를 표시한 비공개 leaderboard.

    순위표 · mutable v1.0.6 snapshot captured 2026-09-05 · 접근일

  52. fresh state 구성, 도구와 episode 실행.

    코드 · 4a8e106 · 접근일

  53. 50단계 설정을 전달하는 공식 평가 호출.

    코드 · 4a8e106 · configuration assembled at L194-L218 · 접근일

  54. 모든 assertion을 요구하는 strict success와 진단용 partial credit.

    코드 · 4a8e106 · 접근일

  55. 문서에 적힌 negative assertion credit 조건.

    코드 · 4a8e106 · 접근일

  56. 송장 수정, 정책 우선순위, positive·negative assertion.

    태스크 · 4a8e106 · 접근일

  57. 12,340이 12,340.50을 막지 못한 false positive 수리.

    코드 · 6d210543b7a046f0f451c828cd2dadef774276eb · 접근일

  58. JSON null crash 구조와 제보자가 측정한 빈도.

    이슈 · reporter-authored, checked 2026-09-05 · 접근일

  59. Search schema와 Fetch router 불일치 제보.

    이슈 · reporter-authored, checked 2026-09-05 · 접근일

  60. MIT 범위와 제3자 API schema 예외.

    라이선스 · 4a8e106 · 접근일
좋은 벤치마크는 높은 점수를 만드는 장치가 아니라, 낮은 점수가 무엇을 뜻하는지 설명하는 측정 장치다.