📡 Eval 지금 흐름
LLM 애플리케이션과 에이전트의 평가 및 관측에 초점이 맞춰지며, 이를 위한 전용 프레임워크와 플랫폼들이 등장하고 있습니다. 또한, 단순한 모델 성능 측정을 넘어 운영 환경에서의 추적(Observability) 및 모니터링 기능까지 통합하는 방향으로 발전하고 있습니다.
observabilityevaluationllmopsllm-evaluationopen-sourcellm-observability
comet-ml/opik
97
LLM 애플리케이션과 RAG 시스템을 추적하고 평가하는 도구입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 20664
★ 20,6642026-07-17이슈 154
confident-ai/deepeval
96
대규모 언어 모델 평가를 위한 프레임워크와 지표를 제공합니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 16926
★ 16,9262026-07-16이슈 370
apache/hertzbeat
94
AI 기반의 실시간 관측 시스템을 제공하는 오픈소스 에이전트입니다.
EvalJavaApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7317
★ 7,3172026-07-17이슈 315
traceloop/openllmetry
94
오픈텔레메트리를 기반으로 생성형 AI 또는 LLM 애플리케이션의 관측 가능성을 제공한다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7306
★ 7,3062026-07-13이슈 597
open-compass/opencompass
94
다양한 모델과 데이터셋으로 대규모 언어 모델을 평가하는 플랫폼입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7205
★ 7,2052026-07-17이슈 393
pixie-io/pixie
94
쿠버네티스 환경의 애플리케이션 가시성을 제공하는 도구입니다.
EvalC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 6490
★ 6,4902026-07-13이슈 392
Helicone/helicone
94
오픈소스 LLM 관측 플랫폼으로 모델 모니터링과 평가를 지원합니다.
EvalTypeScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 5964
★ 5,9642026-07-05이슈 129
coze-dev/coze-loop
94
AI 에이전트 개발부터 모니터링까지 전 주기를 관리하는 플랫폼이다.
EvalGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 5614
★ 5,6142026-07-17이슈 66
pydantic/logfire
93
운영 중인 대규모 언어 모델 및 에이전트 시스템을 위한 AI 관측 플랫폼입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 4380
★ 4,3802026-07-18이슈 242
langwatch/langwatch
93
LLM 평가와 AI 에이전트 테스트를 위한 플랫폼입니다.
EvalTypeScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 3370
★ 3,3702026-07-17이슈 664
huggingface/evaluate
92
머신러닝 모델과 데이터셋을 쉽게 평가할 수 있는 라이브러리입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2465
★ 2,4652026-07-06이슈 292
sepandhaghighi/pycm
91
파이썬으로 다중 클래스 혼동 행렬을 계산하는 라이브러리입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1505
★ 1,5052026-07-13이슈 14
sintel-dev/Orion
91
비지도 학습 기반의 시계열 데이터 이상 탐지 라이브러리입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1360
★ 1,3602026-07-13이슈 60
microsoft/prompty
90
AI 애플리케이션을 위한 프롬프트 생성, 관리, 디버깅 및 평가를 용이하게 합니다.
EvalTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1230
★ 1,2302026-07-17이슈 15
ENTERPILOT/GoModel
90
다양한 AI 모델을 위한 경량의 통합 API 게이트웨이입니다.
EvalGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1007
★ 1,0072026-07-17이슈 27
mlcommons/ck
89
다양한 환경에서 AI 및 머신러닝 워크로드를 효율적으로 실행하기 위한 공동 연구 프로젝트입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 649
★ 6492026-06-24이슈 11
sb-ai-lab/RePlay
88
최신 모델을 활용한 엔드투엔드 추천 시스템 구축 프레임워크입니다.
EvalPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 407
★ 4072026-06-22이슈 13
traceloop/openllmetry-js
88
타입스크립트로 작성된 오픈소스 LLM 애플리케이션 관측성 도구입니다.
EvalTypeScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 406
★ 4062026-06-18이슈 117
traceloop/hub
87
러스트로 작성된 대규모 LLM 게이트웨이이며 오픈텔레메트리 기반 관측 기능을 제공한다.
EvalRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 220
★ 2202026-07-16이슈 13
taichuy/1flowbase
87
로컬 에이전트 클라이언트를 위한 오픈소스 AI 게이트웨이를 제공합니다.
EvalRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 200
★ 2002026-07-18이슈 84
zhangxjohn/LLM-Agent-Benchmark-List
86
대규모 언어 모델 평가를 위한 벤치마크 목록입니다.
EvalApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 166
★ 1662026-07-10이슈 4
🆕weavebench/WeaveBench
86
컴퓨터 사용 에이전트를 위한 장기적이고 실제적인 평가 벤치마크를 제공한다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 153
★ 1532026-07-08이슈 3
greynewell/infermux
85
다양한 제공자 간의 추론 경로를 라우팅하는 기능을 제공합니다.
EvalGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 95
★ 952026-07-03이슈 0
evaleval/every_eval_ever
85
다양한 AI 평가 결과를 표준화된 형식으로 저장하고 비교하는 공유 데이터베이스입니다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 93
★ 932026-07-04이슈 48
THUIR/MemoryBench
85
LLM 시스템의 메모리 및 지속적 학습을 위한 벤치마크 코드를 제공한다.
EvalPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 84
★ 842026-06-27이슈 1
langfuse/langfuse-java
84
Langfuse API를 위한 자동 생성된 자바 클라이언트 라이브러리입니다.
EvalJavaMIT
최근 30일 내 활발 · 라이선스 MIT · stars 69
★ 692026-07-17이슈 7
Netis/heron
84
네트워크 패킷 탐지를 이용해 에이전트와 LLM API의 성능을 모니터링합니다.
EvalRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 67
★ 672026-06-23이슈 2
🆕hugalafutro/model-hotel
84
다양한 AI 모델을 연결하고 안정적으로 사용할 수 있게 돕는 게이트웨이입니다.
EvalGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 50
★ 502026-07-18이슈 0
langfuse/langfuse
77
LLM 평가, 관측성, 프롬프트 관리 등을 위한 오픈소스 AI 엔지니어링 플랫폼입니다.
EvalTypeScriptNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 31362
★ 31,3622026-07-18이슈 706
kubesphere/kubesphere
76
쿠버네티스 기반의 멀티 클라우드 및 엣지 환경 관리를 위한 플랫폼입니다.
EvalGoNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 17003
★ 17,0032026-07-15이슈 351
MAC-AutoML/MindPipe
70
LLM 및 LVLM을 위한 강력한 모델 압축 프레임워크를 제공한다.
EvalPython
최근 30일 내 활발 · 라이선스 불명확 · stars 1013
★ 1,0132026-07-02이슈 0
google-deepmind/long-form-factuality
69
대규모 언어 모델의 장문 사실성 평가를 위한 벤치마크 코드입니다.
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 692
★ 6922026-06-18이슈 25
rhesis-ai/rhesis
68
AI 팀을 위한 테스트 플랫폼으로 테스트 생성 및 대화 시뮬레이션을 지원합니다.
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 381
★ 3812026-07-17이슈 109
verifywise-ai/verifywise
68
다양한 AI 규제 및 프레임워크를 지원하는 종합적인 AI 거버넌스 평가 플랫폼입니다.
EvalTypeScriptNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 321
★ 3212026-07-17이슈 70
sdv-dev/SDGym
67
합성 데이터 생성 방법을 벤치마킹하는 도구입니다.
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 309
★ 3092026-07-17이슈 26
alopatenko/LLMEvaluation
66
다양한 사용 사례에 맞는 LLM 평가 방법을 안내하고 모범 사례를 제시합니다.
EvalHTML
최근 30일 내 활발 · 라이선스 불명확 · stars 197
★ 1972026-07-06이슈 2
🆕ahammadmejbah/Awesome-Datasets-Hub
66
대규모 언어 모델 학습 및 평가를 위한 데이터셋 모음집입니다.
Eval
최근 30일 내 활발 · 라이선스 불명확 · stars 146
★ 1462026-06-20이슈 0
ianarawjo/evalstats
65
LLM 평가 시 프롬프트와 모델 성능을 비교하는 통계 분석 방법 제공.
EvalPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 108
★ 1082026-07-17이슈 0