📡 Eval 지금 흐름
LLM 애플리케이션의 평가가 단순한 성능 측정에서 벗어나, 실제 운영 환경에서의 추적 및 관측 가능성(Observability) 확보로 확장되고 있다. 다양한 플랫폼들이 모델 평가, 에이전트 테스트, 그리고 프로덕션 환경에서의 모니터링 기능을 통합하여 제공하는 방향으로 발전하고 있다.
llm-evaluationevaluationobservabilitybenchmarkllmopslarge-language-models
comet-ml/opik
97
LLM 애플리케이션과 RAG 시스템의 추적 및 평가를 지원하는 도구입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 22841
★ 22,8412026-10-23이슈 187
confident-ai/deepeval
96
대규모 언어 모델 평가를 위한 프레임워크와 지표를 제공한다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 19047
★ 19,0472026-10-19이슈 775
open-compass/opencompass
94
다양한 모델과 데이터셋으로 대규모 언어 모델을 평가하는 플랫폼입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7537
★ 7,5372026-10-21이슈 372
traceloop/openllmetry
94
오픈텔레메트리를 기반으로 생성형 AI나 LLM 애플리케이션의 관측 가능성을 제공합니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7500
★ 7,5002026-10-19이슈 804
apache/hertzbeat
94
AI 기반의 실시간 관측 시스템을 제공하는 오픈소스 에이전트입니다.
EvalJavaApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7436
★ 7,4362026-10-22이슈 246
pixie-io/pixie
94
쿠버네티스 환경의 애플리케이션 가시성을 제공하는 도구입니다.
EvalC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 6551
★ 6,5512026-10-19이슈 395
Helicone/helicone
94
오픈 소스 LLM 관측 플랫폼으로 모델 모니터링과 평가를 지원합니다.
EvalTypeScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 6233
★ 6,2332026-10-20이슈 169
coze-dev/coze-loop
94
AI 에이전트 개발부터 모니터링까지 전 주기를 관리하는 플랫폼입니다.
EvalGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 5784
★ 5,7842026-10-23이슈 96
langwatch/langwatch
93
LLM 평가와 AI 에이전트 테스트를 위한 플랫폼입니다.
EvalTypeScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 4988
★ 4,9882026-10-23이슈 356
pydantic/logfire
93
프로덕션 환경의 LLM 및 에이전트 시스템을 위한 AI 관측성 플랫폼입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 4519
★ 4,5192026-10-22이슈 233
ianarawjo/ChainForge
92
LLM 프롬프트를 시각적으로 테스트하고 검증하는 오픈소스 환경입니다.
EvalTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 3038
★ 3,0382026-10-22이슈 70
openlit/openlit
92
AI 에이전트와 코딩 에이전트를 위한 관측 및 평가 플랫폼입니다.
EvalTypeScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2871
★ 2,8712026-10-22이슈 166
huggingface/evaluate
92
머신러닝 모델과 데이터셋을 쉽게 평가할 수 있는 라이브러리입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2493
★ 2,4932026-10-06이슈 325
decisionintelligence/TFB
91
[PVLDB 2024 Best Paper Nomination] TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods
EvalShellMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1758
★ 1,7582026-10-08이슈 18
huggingface/aisheets
91
AI 모델을 활용하여 코딩 없이 데이터셋을 구축하고 변환하는 도구입니다.
EvalTypeScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1653
★ 1,6532026-09-23이슈 12
sepandhaghighi/pycm
91
파이썬으로 다중 클래스 혼동 행렬을 계산하는 라이브러리입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1509
★ 1,5092026-10-05이슈 17
sintel-dev/Orion
91
비지도 학습 기반의 시계열 데이터 이상 탐지 라이브러리입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1373
★ 1,3732026-10-19이슈 62
microsoft/prompty
91
AI 애플리케이션을 위한 프롬프트 생성, 관리, 디버깅 및 평가를 용이하게 합니다.
EvalRustMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1284
★ 1,2842026-10-21이슈 23
ENTERPILOT/GoModel
91
다양한 AI 모델을 위한 경량의 통합 API 게이트웨이를 Go 언어로 구현했다.
EvalGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1268
★ 1,2682026-10-22이슈 93
opencv/opencv_zoo
90
Model Zoo For OpenCV DNN and Benchmarks.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1100
★ 1,1002026-10-20이슈 32
mlcommons/ck
89
다양한 환경에서 AI 및 머신러닝 워크로드를 효율적으로 실행하는 방법을 제공합니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 649
★ 6492026-10-21이슈 12
sb-ai-lab/RePlay
88
최신 모델을 활용하여 추천 시스템 전체를 구축하는 포괄적인 프레임워크입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 416
★ 4162026-10-22이슈 13
PetroIvaniuk/llms-tools
88
A list of LLMs Tools & Projects
EvalApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 329
★ 3292026-10-19이슈 4
aaron-for-value/VeriRun
88
Evidence-first infrastructure for reproducible, isolated executable evaluation and online rewards.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 321
★ 3212026-10-07이슈 9
🆕ktwu01/benchmark-radar
87
AI 벤치마크, 평가 데이터셋 및 데이터 품질에 대한 일일 증거 기반 정보 제공.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 303
★ 3032026-10-22이슈 145
🆕liyupi/ai-model-world
87
다양한 AI 모델들을 시각화하고 성능 및 정보를 한눈에 비교하는 웹사이트입니다.
EvalTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 249
★ 2492026-10-23이슈 3
BichengWang/ai-decision-system
87
Replayable, offline-verifiable records for AI-assisted go/no-go decisions: typed model answers, policy-gated approvals, A/B ship gates, release gates.
EvalJupyter NotebookMIT
최근 30일 내 활발 · 라이선스 MIT · stars 237
★ 2372026-10-22이슈 0
traceopt-ai/traceml
86
PyTorch 학습 실행에 대한 오픈소스 관측 가능성을 제공합니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 189
★ 1892026-10-22이슈 38
🆕suncityldp/zx-bench
86
버전 관리 데이터셋과 보고서로 로컬 LLM 성능을 측정하는 플랫폼입니다.
EvalTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 174
★ 1742026-10-12이슈 9
zhangxjohn/LLM-Agent-Benchmark-List
86
A banchmark list for evaluation of large language models.
EvalApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 172
★ 1722026-10-22이슈 5
loganrjmurphy/LeanEuclid
86
유클리드 기하학 분야의 자동 형식화 벤치마크를 제공한다.
EvalLeanMIT
최근 30일 내 활발 · 라이선스 MIT · stars 145
★ 1452026-10-13이슈 2
🆕Blackwellboy/model-serving-minefield
86
LLM 서빙 과정에서 발생하는 잘못된 측정 오류의 템플릿과 검사 방법을 모은 저장소입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 140
★ 1402026-10-15이슈 18
evaleval/every_eval_ever
86
다양한 AI 평가 결과를 표준화된 형식으로 저장하고 비교하는 공유 데이터베이스입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 137
★ 1372026-10-12이슈 36
lyy1994/awesome-data-contamination
85
대규모 언어 모델 평가를 위한 데이터 오염 관련 논문 목록을 제공합니다.
EvalMIT
최근 30일 내 활발 · 라이선스 MIT · stars 118
★ 1182026-09-28이슈 1
georgeguimaraes/tribunal
85
LLM evaluation framework for Elixir: evaluate and test LLM outputs, detect hallucinations, measure response quality
EvalElixirMIT
최근 30일 내 활발 · 라이선스 MIT · stars 118
★ 1182026-10-20이슈 1
🆕StartLuxLabs/DecisionPivot
85
DecisionPivot: a diagnostic benchmark for decision models in LLM systems. Contrast pairs that differ in one decisive detail, generators with independent solvers, scorer and runners.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 111
★ 1112026-10-21이슈 0
wink-run/tokenbank
85
AI 에이전트와 다양한 모델 제공자 사이의 토큰 관리 게이트웨이 역할을 합니다.
EvalJavaScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 109
★ 1092026-10-01이슈 4
🆕azrtydxb/Fastllm-proxy
85
다양한 LLM 제공업체 앞에 OpenAI 호환 단일 엔드포인트를 제공하는 경량 라우터입니다.
EvalRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 106
★ 1062026-10-19이슈 6
Netis/heron
85
네트워크 패킷 분석으로 에이전트 및 LLM API 성능을 모니터링합니다.
EvalRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 103
★ 1032026-10-12이슈 4
FedericoTs/quantprobe
85
Run a 110B on a 2016 PC with 16 GB RAM. Know your tok/s before you download. Placement beats budget: predicts speed + memory fit for any GGUF on your exact hardware, self-calibrates, emits the exact llama.cpp command — or 'quantprobe auto' does it all. Falsification-tested laws; misses published at full size. pip install quantprobe
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 90
★ 902026-10-07이슈 20
🆕OpenMOSS/SWE-bench-Science
85
과학 소프트웨어의 공학적 과제 해결 능력을 테스트하는 벤치마크입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 86
★ 862026-10-01이슈 2
Calibre-Labs/reforge-ai-evals
85
Open-source AI evals toolkit: skills that guide AI coding agents to write eval rubrics, eval datasets (User Input Grid), trace codes, code evaluators and LLM-as-a-judge prompts. From the Reforge AI Evals course by Calibre.
EvalHTMLMIT
최근 30일 내 활발 · 라이선스 MIT · stars 84
★ 842026-10-22이슈 0
AQ-MedAI/MedMemoryBench
85
[NeurIPS 2026] MedMemoryBench: Benchmarking Agent Memory in Personalized Healthcare.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 83
★ 832026-10-08이슈 2
🆕thetahealth/mirobody-env
85
HAEnv — synthetic longitudinal patients with code-derived gold, for evaluating health agents over time
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 81
★ 812026-10-22이슈 0
llm-d/llm-d-benchmark
84
llm-d benchmark scripts and tooling
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 74
★ 742026-10-22이슈 54
The-FinAI/CALM
84
A LLM training and evaluation benchmark for credit scoring
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 68
★ 682026-10-08이슈 3
DeepTempo/socbench
84
An Open Harness and Benchmark for AI in Cybersecurity Operations.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 67
★ 672026-10-22이슈 24
evalaiqa/Eval-ai-library
84
다양한 평가 지표로 AI 모델을 종합적으로 평가하는 프레임워크를 제공한다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 60
★ 602026-10-22이슈 0
hugalafutro/model-hotel
84
다양한 AI 모델에 접근하고 안정적으로 사용할 수 있게 돕는 게이트웨이입니다.
EvalGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 57
★ 572026-10-23이슈 0
🆕0xBakeer/Qwen3.8-27B-4-bit-on-a-single-DGX-Spark
84
단일 DGX Spark 환경에서 Qwen3.8-27B 모델의 추론 성능을 비교 측정합니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 51
★ 512026-09-29이슈 1
langfuse/langfuse
78
LLM 평가, 관측성, 프롬프트 관리 등을 위한 오픈소스 AI 엔지니어링 플랫폼입니다.
EvalTypeScriptNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 36214
★ 36,2142026-10-23이슈 1,105
MLGroupJLU/LLM-eval-survey
71
The official GitHub page for the survey paper "A Survey on Evaluation of Large Language Models".
Eval
최근 30일 내 활발 · 라이선스 불명확 · stars 1615
★ 1,6152026-10-21이슈 7
🆕v-modal/awesome-jev-tools
69
Jev 모델을 위한 타입 안전한 의사결정 도구 모음 목록입니다.
Eval
최근 30일 내 활발 · 라이선스 불명확 · stars 755
★ 7552026-10-22이슈 3
🆕OmniJev/awesome-jev-gallery
68
시스템 원 모델과 Jev에 대한 논문, 재현 자료, 독립적 평가를 모아놓은 목록입니다.
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 473
★ 4732026-10-22이슈 0
verifywise-ai/verifywise
68
다양한 AI 규제 및 프레임워크를 지원하는 종합적인 AI 거버넌스 평가 플랫폼입니다.
EvalTypeScriptNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 366
★ 3662026-10-23이슈 61
sdv-dev/SDGym
67
합성 데이터 생성 방법을 벤치마킹하는 도구입니다.
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 312
★ 3122026-10-22이슈 30
alopatenko/LLMEvaluation
67
다양한 사용 사례에 맞는 LLM 평가 방법을 안내하고 최적의 평가 기법을 제시합니다.
EvalHTML
최근 30일 내 활발 · 라이선스 불명확 · stars 207
★ 2072026-10-20이슈 0
ianarawjo/evalstats
66
LLM 평가 시 프롬프트와 모델 성능을 비교하는 통계 분석 방법 제공.
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 130
★ 1302026-09-30이슈 4
🆕Omni-Scientist/Awesome-AI-Scientist
65
AI 과학 관련 논문, 시스템, 벤치마크, 데이터셋 등을 모아놓은 목록입니다.
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 99
★ 992026-10-20이슈 1
ChenJiangxi/BaziQA
64
555 real questions from 17 years (2010–2026) of the Global Fortune-Teller Contest, with BaZi & Zi Wei charts, scoring tools and human-champion scores. Paper: arXiv:2602.12889
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 61
★ 612026-10-22이슈 2