Eval 모델 평가

LLM 애플리케이션과 RAG 시스템을 추적하고 평가하는 도구입니다.

대규모 언어 모델 평가를 위한 프레임워크와 지표를 제공합니다.

오픈텔레메트리를 기반으로 생성형 AI 또는 LLM 애플리케이션의 관측 가능성을 제공한다.

AI 기반의 실시간 관측 시스템을 제공하는 오픈소스 에이전트입니다.

다양한 모델과 데이터셋으로 대규모 언어 모델을 평가하는 플랫폼입니다.

오픈소스 LLM 관측 플랫폼으로 모델 모니터링과 평가를 지원합니다.

AI 에이전트 개발부터 모니터링까지 전 주기를 관리하는 플랫폼이다.

운영 중인 대규모 언어 모델 및 에이전트 시스템을 위한 AI 관측 플랫폼입니다.

LLM 평가와 AI 에이전트 테스트를 위한 플랫폼입니다.

🕹️ Open-source, developer-first LLMOps platform designed to streamline prompt design, version management, instant delivery, collaboration, troubleshooting, observability and more.

비지도 학습 기반의 시계열 데이터 이상 탐지 라이브러리입니다.

AI 애플리케이션을 위한 프롬프트 생성, 관리, 디버깅 및 평가를 용이하게 합니다.

다양한 AI 모델을 위한 경량의 통합 API 게이트웨이입니다.

다양한 환경에서 AI 및 머신러닝 워크로드를 효율적으로 실행하기 위한 공동 연구 프로젝트입니다.

A Comprehensive Framework for Building End-to-End Recommendation Systems with State-of-the-Art Models

PyTorch 학습 실행에 대한 오픈소스 관측 가능성 도구입니다.

A banchmark list for evaluation of large language models.

컴퓨터 사용 에이전트를 위한 장기적이고 실제적인 평가 벤치마크를 제공한다.

LeanEuclid is a benchmark for autoformalization in the domain of Euclidean geometry, targeting the proof assistant Lean.

Daily evidence-first radar for AI benchmarks, evaluations, datasets, and data quality.

[ACM MM 2026 Oral] Code for paper "Omni-SafetyBench: A Benchmark for Safety Evaluation of Audio-Visual Large Language Models".

다양한 AI 평가 결과를 표준화된 형식으로 저장하고 비교하는 공유 데이터베이스입니다.

The lowest-overhead LLM router. Production-ready, highly available, one OpenAI-compatible endpoint in front of 80 providers and your own vLLM/SGLang — 0.76 µs per request, no I/O on the request path, cache-affinity routing, RBAC, budgets and a 13-screen UI in the binary.

Agent and LLM API performance monitoring via network packet probe. Measures performance of OpenClaw, Claude, Codex, DeepAgents and more — deployed on the provider side, no SDK changes required.

Run a 110B on a 2016 PC with 16 GB RAM. Know your tok/s before you download. Placement beats budget: predicts speed + memory fit for any GGUF on your exact hardware, self-calibrates, emits the exact llama.cpp command — or 'quantprobe auto' does it all. Falsification-tested laws; misses published at full size. pip install quantprobe

Token Bank — the local LLM gateway that sits between your AI agents and every provider. Know where tokens go · Spend less with smart routing to Ollama, Groq, GitHub Models · Earn by sharing idle quota on a community P2P network. One-click onboarding for Cursor, Claude Code, Codex CLI, Gemini CLI — no agent changes. Full trace, seamless model swap

Evidence-first infrastructure for reproducible, isolated executable evaluation and online rewards.

Langfuse API를 위한 자동 생성된 자바 클라이언트 라이브러리입니다.

질의응답에 초점을 맞춘 신경망 모델을 탐구하는 코드 저장소입니다.

discover LLMs punching above their weight

질의응답에 초점을 맞춘 신경망 모델을 탐구하는 코드 저장소입니다.

Comprehensive AI Model Evaluation Framework with advanced techniques including Temperature-Controlled Verdict Aggregation via Generalized Power Mean. Support for multiple LLM providers and 15+ evaluation metrics for RAG systems and AI agents.

Open benchmark for Claude Code SEO skills — real headless execution against fixture sites with planted-defect answer keys. Deterministic scoring, pre-registered rubric.

다양한 AI 모델을 연결하고 안정적으로 사용할 수 있게 돕는 게이트웨이입니다.

LLM 평가, 관측성, 프롬프트 관리 등을 위한 오픈소스 AI 엔지니어링 플랫폼입니다.

다양한 AI 규제 및 프레임워크를 지원하는 종합적인 AI 거버넌스 평가 플랫폼입니다.

합성 데이터 생성 방법을 벤치마킹하는 도구입니다.

다양한 사용 사례에 맞는 LLM 평가 방법을 안내하고 모범 사례를 제시합니다.

Community registry of LLM serving-path traps that produce confidently wrong measurements: templates, tool parsers, reasoning fields, quant kernel paths, CUDA toolchains, KV allocation, eval harnesses, versioning. Symptom-first, with the check that catches each.

LLM 평가 시 프롬프트와 모델 성능을 비교하는 통계 분석 방법 제공.