📡 MLOps 지금 흐름
MLOps는 대규모 모델의 고성능 추론 및 학습 최적화에 초점을 맞추고 있으며, 이를 위해 다양한 하드웨어 환경에서의 효율적인 구동 기술이 중요해지고 있다. 또한, 워크플로우 관리 측면에서는 쿠버네티스 기반의 오케스트레이션과 데이터 자산 관리를 통합하는 방향으로 발전하고 있다.
mlopsquantizationgpuinferencecudallm-gateway
vllm-project/vllm
100
대규모 언어 모델 추론 및 서빙을 위한 고성능 엔진입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 95167
★ 95,1672026-10-23이슈 9,321
apache/airflow
98
워크플로우를 코드로 작성하고 스케줄링하며 모니터링하는 플랫폼입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 47261
★ 47,2612026-10-23이슈 1,908
deepspeedai/DeepSpeed
98
분산 학습과 추론을 쉽고 효율적으로 만드는 딥러닝 최적화 라이브러리입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 43255
★ 43,2552026-10-23이슈 1,552
hpcaitech/ColossalAI
98
대규모 인공지능 모델을 더 저렴하고 빠르게 구동하도록 돕는 기술입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 41428
★ 41,4282026-10-22이슈 467
liguodongiot/llm-action
97
本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）
MLOpsHTMLApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 25200
★ 25,2002026-10-14이슈 20
PaddlePaddle/Paddle
97
산업 현장 기반의 고성능 딥러닝 및 머신러닝 프레임워크입니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 24128
★ 24,1282026-10-23이슈 1,456
EthicalML/awesome-production-machine-learning
97
운영 중인 머신러닝 모델 배포, 모니터링, 버전 관리 라이브러리 목록입니다.
MLOpsMIT
최근 30일 내 활발 · 라이선스 MIT · stars 21024
★ 21,0242026-10-22이슈 41
argoproj/argo-workflows
96
쿠버네티스 환경에서 워크플로우를 실행하는 엔진입니다.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 17048
★ 17,0482026-10-22이슈 1,344
dagster-io/dagster
96
데이터 자산 개발부터 운영 및 관리를 위한 오케스트레이션 플랫폼입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 16315
★ 16,3152026-10-22이슈 2,606
apache/tvm
96
머신러닝 모델을 위한 오픈 컴파일러 프레임워크입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 13859
★ 13,8592026-10-21이슈 357
NVIDIA/TensorRT
96
NVIDIA GPU에서 고성능 딥러닝 추론을 위한 SDK입니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 13411
★ 13,4112026-10-09이슈 669
halfrost/Halfrost-Field
96
소스 코드 분석, 시스템 설계 및 엔지니어링 실무 지식을 공유하는 블로그입니다.
MLOpsGoCC-BY-SA-4.0
최근 30일 내 활발 · 라이선스 CC-BY-SA-4.0 · stars 13250
★ 13,2502026-09-30이슈 0
LMCache/LMCache
95
LLM 추론 속도를 높이는 고속 키 값 캐시 레이어를 제공합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 12153
★ 12,1532026-10-23이슈 860
fivetran/great_expectations
95
데이터의 품질을 검증하고 예상되는 데이터 상태를 지속적으로 확인합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 11893
★ 11,8932026-10-22이슈 53
triton-inference-server/server
95
최적화된 클라우드 및 엣지 환경에서의 추론 서버를 제공한다.
MLOpsPythonBSD-3-Clause
최근 30일 내 활발 · 라이선스 BSD-3-Clause · stars 11107
★ 11,1072026-10-22이슈 905
skypilot-org/skypilot
95
분산된 AI 컴퓨팅 자원을 통합하여 강력한 AI 슈퍼컴퓨터를 구축하는 플랫폼입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 10733
★ 10,7332026-10-23이슈 498
catboost/catboost
95
다양한 머신러닝 작업에 사용 가능한 빠르고 확장성 높은 부스팅 라이브러리입니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 9163
★ 9,1632026-10-23이슈 738
🚀🆕FareedKhan-dev/kimi-k3-in-c
95
CPU 환경에서 메모리 제약 없이 대규모 언어 모델 추론을 구현합니다.
MLOpsCApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 9160
★ 9,1602026-10-02이슈 4
0xPlaygrounds/rig
95
러스트를 이용해 모듈화되고 확장 가능한 LLM 애플리케이션을 구축합니다.
MLOpsRustMIT
최근 30일 내 활발 · 라이선스 MIT · stars 8947
★ 8,9472026-10-23이슈 83
evidentlyai/evidently
95
AI 및 LLM 시스템과 데이터 파이프라인을 평가하고 모니터링하는 오픈소스 프레임워크입니다.
MLOpsJupyter NotebookApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 8001
★ 8,0012026-09-29이슈 349
mnfst/llm-gateway
94
다양한 공급자의 에이전트와 하네스를 연결하는 게이트웨이 역할을 합니다.
MLOpsTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 7595
★ 7,5952026-10-21이슈 54
h2oai/h2o-3
94
분산 환경에서 딥러닝부터 다양한 머신러닝 모델을 지원하는 플랫폼입니다.
MLOpsJupyter NotebookApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7513
★ 7,5132026-10-22이슈 2,851
feast-dev/feast
94
AI 및 머신러닝을 위한 오픈소스 피처 스토어를 제공합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7343
★ 7,3432026-10-19이슈 503
tbphp/gpt-load
94
다양한 채널과 자격 증명을 통합 관리하는 자체 호스팅 AI 게이트웨이입니다.
MLOpsGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 7164
★ 7,1642026-10-22이슈 13
katanemo/plano
94
에이전트 앱을 위한 AI 네이티브 프록시 서버 및 데이터 플레인을 제공한다.
MLOpsRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7100
★ 7,1002026-10-07이슈 147
🚀🆕mizorewww/laya-mlx
94
MLX 런타임을 이용해 Laya 타입 결정 모델을 네이티브로 구동합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 7003
★ 7,0032026-10-20이슈 0
clearml/clearml
94
AI 워크로드를 간소화하는 통합 MLOps 및 LLMOps 솔루션을 제공합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 6915
★ 6,9152026-10-20이슈 524
🚀🆕bojieli/ai-infra-book
94
하드웨어와 모델 구조 기반의 LLM 추론 및 학습 시스템 설계를 다룬 오픈소스 서적이다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 6882
★ 6,8822026-10-01이슈 8
aimhubio/aim
94
사용하기 쉬운 오픈소스 실험 추적 도구입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 6290
★ 6,2902026-10-22이슈 483
kserve/kserve
94
쿠버네티스 기반의 다양한 AI 모델 배포를 위한 표준화된 추론 플랫폼입니다.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 6144
★ 6,1442026-10-22이슈 213
higgsfield-ai/higgsfield
94
대규모 모델 학습을 위한 내결함성 GPU 오케스트레이션 및 머신러닝 프레임워크입니다.
MLOpsJupyter NotebookApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 6142
★ 6,1422026-10-07이슈 21
tensorchord/Awesome-LLMOps
94
개발자를 위한 최고의 LLMOps 도구들을 모아놓은 목록입니다.
MLOpsShellCC0-1.0
최근 30일 내 활발 · 라이선스 CC0-1.0 · stars 5963
★ 5,9632026-10-16이슈 344
gpustack/gpustack
94
고성능 AI 모델 서빙 및 온디맨드 GPU 인스턴스를 관리하는 클러스터 매니저입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 5875
★ 5,8752026-10-22이슈 699
NVIDIA/DALI
94
GPU 가속을 활용하여 딥러닝 학습 및 추론 데이터 처리를 최적화하는 라이브러리입니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 5780
★ 5,7802026-10-22이슈 223
NVIDIA/cuml
94
GPU 가속을 활용하여 머신러닝 알고리즘을 구현하는 라이브러리입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 5305
★ 5,3052026-10-23이슈 796
microsoft/SynapseML
94
분산 환경에서 간단하게 머신러닝을 구현할 수 있도록 돕는 라이브러리입니다.
MLOpsScalaMIT
최근 30일 내 활발 · 라이선스 MIT · stars 5248
★ 5,2482026-10-22이슈 143
sktime/pytorch-forecasting
93
PyTorch를 사용한 시계열 예측 모델을 구현하는 라이브러리입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 5003
★ 5,0032026-10-21이슈 836
latitude-dev/latitude-llm
93
오픈소스 AI 모니터링 플랫폼을 제공하여 에이전트의 동작을 관찰하고 오류를 추적합니다.
MLOpsTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 4733
★ 4,7332026-10-22이슈 110
kubeflow/pipelines
93
쿠버네티스 환경에서 머신러닝 파이프라인을 구축하고 관리합니다.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 4252
★ 4,2522026-10-23이슈 345
uxlfoundation/oneDNN
93
다양한 하드웨어에서 딥러닝 연산을 가속화하는 라이브러리입니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 4073
★ 4,0732026-10-23이슈 155
vllm-project/llm-compressor
93
vLLM용으로 다양한 압축 알고리즘을 적용하는 트랜스포머 호환 라이브러리입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 3904
★ 3,9042026-10-22이슈 124
Netflix/maestro
93
넷플릭스의 워크플로우 오케스트레이션을 담당하는 도구입니다.
MLOpsJavaApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 3845
★ 3,8452026-10-23이슈 39
NVIDIA/TransformerEngine
93
엔비디아 GPU에서 트랜스포머 모델을 가속화하는 라이브러리입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 3589
★ 3,5892026-10-22이슈 370
Jittor/jittor
93
JIT 컴파일과 메타 연산자를 기반으로 하는 고성능 딥러닝 프레임워크입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 3240
★ 3,2402026-10-22이슈 286
heavyai/heavydb
92
GPU 기반의 대규모 데이터베이스 기능을 제공하는 시스템이다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 3068
★ 3,0682026-10-22이슈 30
vllm-project/vllm-ascend
92
Ascend 환경에서 vLLM을 사용할 수 있도록 지원하는 하드웨어 플러그인입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 3000
★ 3,0002026-10-23이슈 4,296
thu-pacman/chitu
92
대규모 언어 모델의 효율적이고 유연한 추론을 위한 프레임워크입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2990
★ 2,9902026-10-22이슈 59
leptonai/leptonai
92
파이썬으로 인공지능 서비스를 쉽게 구축할 수 있도록 돕는 프레임워크입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2824
★ 2,8242026-10-23이슈 24
intel/neural-compressor
92
다양한 비트 정밀도로 대규모 언어 모델을 압축하는 기술을 제공합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2723
★ 2,7232026-10-22이슈 28
bestruirui/octopus
92
다양한 대규모 언어 모델들을 하나로 모아 사용하는 통합 API 게이트웨이입니다.
MLOpsTypeScriptAGPL-3.0
최근 30일 내 활발 · 라이선스 AGPL-3.0 · stars 2722
★ 2,7222026-10-23이슈 16
openlake-project/openlake
92
효율적인 LLM 추론 및 GPU 학습을 위한 고성능 스토리지 엔진입니다.
MLOpsRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2641
★ 2,6412026-10-20이슈 143
meta-pytorch/torchrec
92
PyTorch 기반의 추천 시스템 개발을 위한 라이브러리입니다.
MLOpsPythonBSD-3-Clause
최근 30일 내 활발 · 라이선스 BSD-3-Clause · stars 2618
★ 2,6182026-10-23이슈 283
apache/burr
92
결정 기능을 가진 애플리케이션을 구축하고 자체 인프라에서 모니터링 및 실행합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2576
★ 2,5762026-10-21이슈 105
huggingface/huggingface.js
92
자바스크립트로 허깅페이스의 기능을 사용할 수 있게 해주는 라이브러리입니다.
MLOpsTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 2570
★ 2,5702026-10-23이슈 405
lupinemachines/lupine
92
원격 머신의 GPU를 CPU 전용 장치에 연결하는 GPU 오버 IP 브릿지입니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2453
★ 2,4532026-10-15이슈 39
🆕syv-ai/HyperQwen
92
개인이 가진 GPU에서 대규모 Qwen 모델을 빠르게 구동하도록 최적화합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 2190
★ 2,1902026-10-21이슈 6
kubeflow/katib
91
쿠버네티스 환경에서 자동화된 머신러닝 작업을 수행합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1706
★ 1,7062026-10-22이슈 121
mlrun/mlrun
91
ML 애플리케이션의 개발부터 운영까지 전 과정을 관리하는 오픈소스 MLOps 플랫폼입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1704
★ 1,7042026-10-22이슈 130
intel/auto-round
91
고정밀 저비트 LLM 추론을 위한 최신 양자화 알고리즘을 제공한다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1686
★ 1,6862026-10-23이슈 107
xLLM-AI/xllm
91
다양한 AI 가속기에 최적화된 고성능 LLM 추론 엔진입니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1603
★ 1,6032026-10-22이슈 227
tensorflow/model-optimization
91
케라스와 텐서플로우 모델을 배포에 최적화하는 도구 모음입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1581
★ 1,5812026-10-19이슈 254
🆕mw00/project-maya
91
Project Maya - run GLM-5.3-Flash (321B MoE) and DeepSeek-V4.1-Flash-1017 (748B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.
MLOpsC++MIT
최근 30일 내 활발 · 라이선스 MIT · stars 1510
★ 1,5102026-10-22이슈 79
kitops-ml/kitops
91
AI/ML 모델, 데이터셋, 코드 등을 패키징하고 버전 관리하는 오픈소스 도구입니다.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1434
★ 1,4342026-10-19이슈 51
fmind/mlops-python-package
91
MLOps 이니셔티브와 데이터 파이프라인을 시작하고 표준화하는 종합적인 파이썬 패키지입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 1419
★ 1,4192026-10-19이슈 2
alibaba/rtp-llm
91
다양한 애플리케이션을 위한 알리바바의 고성능 LLM 추론 엔진입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1366
★ 1,3662026-10-23이슈 243
NVIDIA/kvpress
90
LLM의 키-값 캐시를 쉽게 압축하여 추론 효율성을 높입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1236
★ 1,2362026-10-21이슈 12
Xilinx/finn
90
FPGA에서 양자화된 신경망 추론을 위한 데이터플로우 컴파일러입니다.
MLOpsPythonBSD-3-Clause
최근 30일 내 활발 · 라이선스 BSD-3-Clause · stars 1084
★ 1,0842026-10-22이슈 109
huggingface/optimum-quanto
90
PyTorch 양자화를 위한 최적화 백엔드를 제공합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 1053
★ 1,0532026-10-14이슈 3
openvinotoolkit/model_server
90
OpenVINO로 최적화된 모델을 위한 확장 가능한 추론 서버입니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 952
★ 9522026-10-23이슈 168
SomeOddCodeGuy/WilmerAI
90
WilmerAI is one of the oldest LLM semantic routers. It uses multi-layer prompt routing and complex workflows to allow you to not only create practical chatbots, but to extend any kind of application that connects to an LLM via REST API. Wilmer sits between your app and your many LLM APIs, so that you can manipulate prompts as needed.
MLOpsPythonGPL-3.0
최근 30일 내 활발 · 라이선스 GPL-3.0 · stars 830
★ 8302026-10-19이슈 4
zszazi/Deep-learning-in-cloud
90
클라우드 환경에서 이용 가능한 딥러닝 관련 서비스 제공업체 목록을 제공한다.
MLOpsMIT
최근 30일 내 활발 · 라이선스 MIT · stars 826
★ 8262026-10-16이슈 6
GoogleCloudPlatform/vertex-ai-samples
89
구글 클라우드 버텍스 AI를 활용한 머신러닝 및 생성형 AI 워크플로우 예제 모음입니다.
MLOpsJupyter NotebookApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 790
★ 7902026-10-21이슈 83
MLOps-Courses/mlops-coding-course
89
Learn how to create, develop, and maintain a state-of-the-art MLOps code base
MLOpsCC-BY-4.0
최근 30일 내 활발 · 라이선스 CC-BY-4.0 · stars 743
★ 7432026-10-19이슈 0
mozilla-ai/otari
89
다양한 LLM 제공업체를 통합 관리하는 오픈소스 게이트웨이입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 727
★ 7272026-10-23이슈 319
pegainfer-project/pegainfer
89
순수 Rust와 CUDA로 구현된 LLM 추론 엔진으로 다양한 모델을 지원합니다.
MLOpsRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 724
★ 7242026-10-22이슈 63
databricks/mlops-stacks
89
데이터브릭스에서 프로덕션 모범 사례를 따르는 머신러닝 프로젝트 시작을 위한 스택을 제공합니다.
MLOpsGo TemplateApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 723
★ 7232026-10-20이슈 16
statmike/gcp-mlops
89
Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations
MLOpsJupyter NotebookApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 717
★ 7172026-10-21이슈 15
zexadev/gemini-web2api-go
89
제미나이 웹을 OpenAI와 호환되는 API로 자체 구축하여 제공합니다.
MLOpsGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 675
★ 6752026-10-20이슈 11
SearchSavior/OpenArc
89
인텔 장치에서 LLM, VLM 등 다양한 모델을 구동하는 추론 엔진입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 541
★ 5412026-10-13이슈 25
polyaxon/traceml
89
Engine for AI/ML/Data tracking, visualization, explainability, drift detection, and dashboards for Polyaxon.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 533
★ 5332026-10-21이슈 7
skops-dev/skops
89
사이킷런 기반 모델을 공유하고 실제 서비스에 배포하는 파이썬 라이브러리입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 529
★ 5292026-10-22이슈 10
ome-projects/ome
89
쿠버네티스 기반의 LLM 서빙을 위한 모델 엔진 및 운영 관리 도구입니다.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 518
★ 5182026-10-22이슈 120
awslabs/awsome-distributed-ai
88
AWS 환경에서 대규모 모델 학습을 위한 모범 사례와 유틸리티를 제공합니다.
MLOpsShellMIT-0
최근 30일 내 활발 · 라이선스 MIT-0 · stars 488
★ 4882026-10-21이슈 42
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash
88
Qwen3.6-27B를 기반으로 향상된 필터링 없는 대규모 언어 모델입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 484
★ 4842026-10-06이슈 9
🆕prabanta-dev/janas
88
37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU.
MLOpsCGPL-3.0
최근 30일 내 활발 · 라이선스 GPL-3.0 · stars 462
★ 4622026-10-22이슈 15
polyaxon/haupt
88
라인지 메타데이터 API와 아티팩트 스트림을 제공하는 플랫폼입니다.
MLOpsPythonAGPL-3.0
최근 30일 내 활발 · 라이선스 AGPL-3.0 · stars 451
★ 4512026-10-21이슈 0
SonySemiconductorSolutions/mct-model-optimization
88
효율적인 하드웨어에서 신경망 모델을 최적화하는 도구 모음입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 451
★ 4512026-10-06이슈 5
FujitsuResearch/OneCompression
88
LLM을 압축하는 파이썬 패키지입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 443
★ 4432026-10-22이슈 9
fmind/cookiecutter-mlops-package
88
Start building and deploying Python packages and Docker images for MLOps tasks.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 442
★ 4422026-10-19이슈 0
rodrigo-arenas/Sklearn-genetic-opt
88
진화 알고리즘으로 머신러닝 모델의 하이퍼파라미터 최적화와 특성 선택을 수행합니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 390
★ 3902026-10-22이슈 11
zmedelis/bosquet
88
LLM 애플리케이션 구축을 위한 프롬프트 템플릿, 에이전트, 메모리 등의 도구 모음입니다.
MLOpsClojureEPL-1.0
최근 30일 내 활발 · 라이선스 EPL-1.0 · stars 381
★ 3812026-09-30이슈 4
EfficientMoE/MoE-Infinity
88
효율적이고 빠른 전문가 혼합 모델 서빙을 위한 PyTorch 라이브러리입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 373
★ 3732026-10-22이슈 9
m3dev/gokart
88
Gokart solves reproducibility, task dependencies, constraints of good code, and ease of use for Machine Learning Pipeline.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 342
★ 3422026-10-18이슈 33
vllm-project/compressed-tensors
88
A safetensors extension to efficiently store sparse quantized tensors on disk
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 333
★ 3332026-10-22이슈 61
flyteorg/flytekit
88
Extensible Python SDK for developing Flyte tasks and workflows. Simple to get started and learn and highly extensible.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 320
★ 3202026-10-22이슈 174
clearml/clearml-agent
87
MLOps 및 LLMOps를 위한 스케줄링과 오케스트레이션 솔루션을 제공한다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 314
★ 3142026-10-19이슈 128
raminmohammadi/MLOps
87
Machine Learning In Production (MLOps)
MLOpsJupyter NotebookCC0-1.0
최근 30일 내 활발 · 라이선스 CC0-1.0 · stars 306
★ 3062026-10-11이슈 3
FasterAI-Labs/fasterai
87
FastAI와 PyTorch를 이용해 모델을 가지치기하고 증류하는 방법을 제공한다.
MLOpsJupyter NotebookApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 269
★ 2692026-09-25이슈 4
chigwell/llm7.io
87
다양한 제공업체의 최신 AI 모델에 연결하는 단일 API 게이트웨이를 제공합니다.
MLOpsTypeScriptAGPL-3.0
최근 30일 내 활발 · 라이선스 AGPL-3.0 · stars 245
★ 2452026-10-16이슈 0
PerforatedAI/PerforatedAI
87
PyTorch 프로젝트에 수상돌기 구조를 추가하는 방법을 제공합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 237
★ 2372026-10-23이슈 37
basetenlabs/truss-examples
87
Truss로 배포 가능한 모델들의 예시를 제공하는 저장소입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 235
★ 2352026-10-22이슈 79
zhaoyue-zephyrus/npq-vit
87
[ICLR 2025] Binary Spherical Quantization + [CVPR 2026] Leech Spherical Quantization
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 225
★ 2252026-10-19이슈 12
timtoole02/Camelid
87
Rust 기반의 로컬 추론 백엔드로 증거 게이팅 모델 호환성을 제공한다.
MLOpsRustMIT
최근 30일 내 활발 · 라이선스 MIT · stars 219
★ 2192026-10-16이슈 8
GetBusbar/busbar
87
하나의 주소로 여러 LLM 공급자에게 연결하고 장애 처리를 제공하는 게이트웨이입니다.
MLOpsRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 211
★ 2112026-10-23이슈 148
Azure/intelligent-app-workshop
87
최신 모델을 활용해 제품 경험과 백엔드 워크플로우를 개선하는 방법을 보여준다.
MLOpsBicepMIT
최근 30일 내 활발 · 라이선스 MIT · stars 208
★ 2082026-10-12이슈 14
yolorouter/yolorouter
87
다양한 LLM 제공업체와 호환되는 자체 구축형 게이트웨이입니다.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 208
★ 2082026-10-11이슈 3
🆕RadixRootMind/Awesome-Quant-VLA-WAM
87
Curated quantization research for VLA & WAM models — 180+ papers, a five-category taxonomy, a roadmap, and a companion PTQ + LIBERO toolkit (quant-vla).
MLOpsMIT
최근 30일 내 활발 · 라이선스 MIT · stars 201
★ 2012026-10-12이슈 0
🆕Yamz-Labs/kyojin
87
Kyojin: the Yamz inference engine for AMD Strix Halo (ROCm, gfx1151), built on ExLlamaV3. Runs 300B-class MoE models on one 128 GB mini PC.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 200
★ 2002026-10-21이슈 8
nyroway/nyro
86
다양한 모델 제공자와의 연결을 위한 자체 호스팅 AI 게이트웨이입니다.
MLOpsRustApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 198
★ 1982026-10-16이슈 35
yuhp/opencode-models-discovery
86
다양한 모델을 동적으로 발견하고 연결하는 범용 오픈코드 플러그인입니다.
MLOpsTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 190
★ 1902026-10-21이슈 2
awslabs/kubeflow-manifests
86
KubeFlow on AWS
MLOpsYAMLApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 186
★ 1862026-10-08이슈 95
🆕JakeATX/llamAmpere
86
암페어 GPU에서 성능을 개선한 llama.cpp 포크 버전입니다.
MLOpsC++MIT
최근 30일 내 활발 · 라이선스 MIT · stars 186
★ 1862026-10-22이슈 6
openscilab/pymilo
86
PyMilo: Python for ML I/O
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 170
★ 1702026-10-19이슈 22
pyxelr/recommendations-for-engineers
86
예비 엔지니어를 위한 다양한 분야의 추천 자료들을 모아 놓은 곳입니다.
MLOpsMIT
최근 30일 내 활발 · 라이선스 MIT · stars 162
★ 1622026-10-13이슈 1
Labelbox/labelbox-python
86
차세대 AI를 위한 데이터 라벨링 및 관리를 지원하는 파이썬 도구입니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 158
★ 1582026-10-22이슈 5
Nayjest/lm-proxy
86
OpenAI-compatible HTTP LLM proxy / gateway for multi-provider inference (Google, Anthropic, OpenAI, PyTorch). Lightweight, extensible Python/FastAPI—use as library or standalone service.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 157
★ 1572026-10-19이슈 15
mydisha/keirouter
86
Your friendly, blazing-fast, self-hostable AI gateway
MLOpsGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 153
★ 1532026-10-20이슈 11
Project-MONAI/monai-deploy-app-sdk
86
의료 영상 분야에서 AI 기반 애플리케이션을 설계하고 개발하는 프레임워크를 제공한다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 144
★ 1442026-10-18이슈 60
pmady/keda-gpu-scaler
86
GPU 워크로드를 위한 KEDA 외부 gRPC 스케일러를 제공합니다.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 136
★ 1362026-10-21이슈 15
MoyuFamily/ai-relay
86
Open-source AI API Gateway | Serverless & VPS Self-hosted | Vercel, Cloudflare & Local | Multi-Provider, Smart Routing, Key Rotation & Failover
MLOpsTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 128
★ 1282026-10-19이슈 0
🆕DominikBucko/qwen38-flash-next-2x3090
85
25만 토큰 컨텍스트를 지원하는 Qwen3.8-Flash-Next 모델을 다중 GPU 환경에서 구동합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 124
★ 1242026-10-15이슈 9
AmineDjeghri/generative-ai-project-template
85
uv, nicegui, fastapi 등을 활용한 생성형 AI 프로젝트의 기본 템플릿을 제공한다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 118
★ 1182026-10-22이슈 5
🆕ThinkWatchProject/ThinkWatch-Lite
85
다양한 AI 클라이언트를 위한 크로스 플랫폼 로컬 게이트웨이 역할을 합니다.
MLOpsTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 118
★ 1182026-10-23이슈 0
🆕mattn/tensai
85
순수 Go 언어로 작성된 작은 신경망 프레임워크입니다.
MLOpsGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 115
★ 1152026-10-09이슈 0
kserve/website
85
User documentation for KServe.
MLOpsMDXApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 113
★ 1132026-10-20이슈 75
omegaml/omegaml
85
MLOps를 간소화하는 통합 AI 배포 플랫폼을 제공합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 109
★ 1092026-10-22이슈 93
rh-aiservices-bu/ai-on-openshift
85
AI-on-OpenShift website source code
MLOpsShellGPL-3.0
최근 30일 내 활발 · 라이선스 GPL-3.0 · stars 109
★ 1092026-10-08이슈 8
togettoyou/zke
85
ZKE（Z Kubernetes Engine）：AI 原生的 Kubernetes 云操作环境，桌面式多集群控制台加受控 AIOps Agent，基于 Server + Agent 与 QUIC/mTLS，适用于私有云、混合云及边缘环境
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 107
★ 1072026-10-12이슈 0
DagsHub/client
85
DagsHub 클라이언트 라이브러리를 제공하는 저장소입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 105
★ 1052026-10-19이슈 38
🆕ShadowSafin/Synapass
85
AI inference gateway and control plane for multi-provider routing, policies, caching, tools, and observability.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 105
★ 1052026-10-18이슈 0
🆕htobty/ReadyLLM
85
Deploy, monitor, and tune LLM through a visual interface — plus image / video generation on top of ComfyUI.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 103
★ 1032026-10-22이슈 0
Inebrio/Routerly
85
다양한 AI 제공자 요청을 지능적으로 분배하고 관리하는 자체 호스팅 게이트웨이입니다.
MLOpsTypeScriptAGPL-3.0
최근 30일 내 활발 · 라이선스 AGPL-3.0 · stars 103
★ 1032026-10-23이슈 16
Freim32/vllmops
85
Self-hosted vLLM made simple. Git-friendly YAML for models and profiles, full lifecycle from an intuitive CLI and TUI.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 100
★ 1002026-10-02이슈 0
gchq/Bailo
85
머신러닝 수명 주기를 관리하여 확장성과 협업을 지원하는 도구입니다.
MLOpsTypeScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 97
★ 972026-10-22이슈 28
Indras-Mirror/llama.cpp-turboq-mtp
85
Qwen4-Exp (Qwen3.8-Flash-Next) SWA + MTP + PLE-on-iswa — bounded deep-context decode w/ long-range recall, TBQ4 4.25 bpv KV, DSpark + RotorQuant. Main (master) = Qwen4-Exp build; the Qwen35 SWA hybrid lives on the qwen35 branch. RTX 4090.
MLOpsC++MIT
최근 30일 내 활발 · 라이선스 MIT · stars 96
★ 962026-09-24이슈 0
Oaklight/llm-rosetta
85
다양한 LLM API 형식을 통일된 인터페이스로 변환하는 파이썬 라이브러리입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 93
★ 932026-10-23이슈 28
kishanraj41/autolineage
85
Automatic ML data lineage tracking — zero manual logging
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 92
★ 922026-10-19이슈 10
manjunathshiva/turboquant-mlx
85
애플 실리콘에서 대규모 언어 모델의 가중치와 KV 캐시를 압축합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 91
★ 912026-10-22이슈 1
🆕poisonxa16/pxa
85
Pascal 및 Volta용으로 최적화된 LLM 엔진과 PXQ 코덱을 제공한다.
MLOpsC++MIT
최근 30일 내 활발 · 라이선스 MIT · stars 87
★ 872026-10-22이슈 2
🆕Tylogi/MFQ
85
효율적인 양자화 포맷으로 대형 언어 모델을 로컬 하드웨어에서 구동하게 돕는다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 86
★ 862026-10-22이슈 15
Claws-ZH/awesome-ai-api
85
다양한 AI API 제공업체 목록과 실시간 호환성 검사 정보를 제공합니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 82
★ 822026-10-22이슈 40
iesahin/xvc
84
러스트로 작성된 빠르고 안정적인 MLOps 데이터 및 파이프라인 관리 도구입니다.
MLOpsRustGPL-3.0
최근 30일 내 활발 · 라이선스 GPL-3.0 · stars 77
★ 772026-10-21이슈 1
last9/gpu-telemetry
84
GPU Observability with workload attribution. One OTLP agent per node ties hardware metrics (NVIDIA, AMD, Intel Gaudi) to the K8s pod or Slurm job burning the GPU.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 76
★ 762026-10-21이슈 1
helasaoudi/llm-inspector
84
LLM 추론 시 VRAM 사용량을 확인하고 양자화 절감량을 측정하는 도구입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 76
★ 762026-09-28이슈 0
Ninnix/q36
84
Vulkan과 Metal을 이용한 Qwen 모델의 로컬 추론 엔진입니다.
MLOpsCMIT
최근 30일 내 활발 · 라이선스 MIT · stars 74
★ 742026-10-22이슈 2
🆕headpiece747/ninfer-5090-windows
84
RTX 5090용 네이티브 윈도우 포트로 Qwen3.8-27B 모델을 구동합니다.
MLOpsC++Apache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 73
★ 732026-10-22이슈 0
🆕tomerglick57/Jevstiller
84
반복적인 Jev 분류 작업을 로컬 모델로 추출하여 사용 가능하게 합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 71
★ 712026-10-22이슈 1
bentoml/CLIP-API-service
84
CLIP as a service - Embed image and sentences, object recognition, visual reasoning, image classification and reverse image search
MLOpsJupyter NotebookApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 67
★ 672026-10-22이슈 2
polyaxon/polyaxon-examples
84
딥러닝 및 머신러닝 관련 튜토리얼과 예제 코드를 제공합니다.
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 67
★ 672026-10-14이슈 6
polyaxon/hypertune
84
A library for performing hyperparameter optimization
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 63
★ 632026-10-21이슈 0
aivrar/vllm-windows-build
84
Windows 환경에서 최적화된 vLLM을 사용하여 LLM 추론 및 서빙을 지원합니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 63
★ 632026-10-10이슈 3
swiss-ai-center/a-guide-to-mlops
84
ML 프로젝트를 위한 MLOps 도구와 모범 사례를 안내하는 가이드입니다.
MLOpsDockerfileCC-BY-SA-4.0
최근 30일 내 활발 · 라이선스 CC-BY-SA-4.0 · stars 62
★ 622026-09-29이슈 14
rclement/sqlite-ml
84
An SQLite extension for machine learning
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 56
★ 562026-10-20이슈 11
Samsung/qaboard
84
Experiment tracker: organize, visualize, compare and share runs. Removes toil from algorithm/performance R&D and tuning.
MLOpsJavaScriptApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 55
★ 552026-10-22이슈 23
ARM-software/AVH
84
This repository explains the usage of Arm Virtual Hardware Fixed Virtual Platforms (Arm FVPs).
MLOpsPythonApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 55
★ 552026-10-22이슈 2
lvyufeng/PocketLLM
84
구형 소비자 GPU에서 대규모 언어 모델 추론을 위한 엔진입니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 55
★ 552026-10-20이슈 12
🆕infercrane/infercrane
84
배포부터 최적화까지 자체 호스팅 모델 추론 전 과정을 위한 인프라를 제공한다.
MLOpsGoApache-2.0
최근 30일 내 활발 · 라이선스 Apache-2.0 · stars 54
★ 542026-10-22이슈 16
🆕SweiryDev/MicroCNN-TangNano20k
84
SystemVerilog SoC implementing MicroCNN accelerator on the Tang Nano 20K for BloodMNIST image classification.
MLOpsJupyter NotebookMIT
최근 30일 내 활발 · 라이선스 MIT · stars 54
★ 542026-10-08이슈 0
sxueck/llm-gateway
84
모델 관리 및 라우팅 기능을 갖춘 가벼운 분산 LLM 게이트웨이입니다.
MLOpsTypeScriptMIT
최근 30일 내 활발 · 라이선스 MIT · stars 54
★ 542026-10-22이슈 3
🆕WncFht/devin2api
84
Devin upstream → OpenAI Responses / Anthropic Messages compatible API proxy
MLOpsGoMIT
최근 30일 내 활발 · 라이선스 MIT · stars 54
★ 542026-10-17이슈 7
jostrm/azure-enterprise-scale-ml
84
애저 환경에서 기업 규모의 AI 구축을 위한 인프라를 제공합니다.
MLOpsPythonMIT
최근 30일 내 활발 · 라이선스 MIT · stars 53
★ 532026-10-22이슈 0
jdaln/dgx-spark-inference-stack
84
엔비디아 DGX Spark용 추론 스택을 제공하여 AI 모델을 구동합니다.
MLOpsJavaScriptAGPL-3.0
최근 30일 내 활발 · 라이선스 AGPL-3.0 · stars 52
★ 522026-10-11이슈 3
pytorch/pytorch
80
파이썬으로 텐서와 동적 신경망을 구축하고 GPU 가속을 활용하는 라이브러리입니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 104989
★ 104,9892026-10-23이슈 17,743
BerriAI/litellm
79
다양한 LLM API를 통합 관리하고 비용 추적 및 로드 밸런싱을 제공하는 게이트웨이입니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 61856
★ 61,8562026-10-23이슈 5,627
Tencent/ncnn
77
모바일 환경에 최적화된 고성능 신경망 추론 프레임워크입니다.
MLOpsC++NOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 23991
★ 23,9912026-10-23이슈 1,268
DataTalksClub/mlops-zoomcamp
76
데이터톡스클럽에서 제공하는 무료 머신러닝 운영 과정입니다.
MLOpsJupyter Notebook
최근 30일 내 활발 · 라이선스 불명확 · stars 15467
★ 15,4672026-10-15이슈 4
isl-org/Open3D
76
3차원 데이터 처리를 위한 현대적인 라이브러리입니다.
MLOpsC++NOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 14113
★ 14,1132026-09-30이슈 1,357
kedro-org/kedro
75
재현 가능하고 유지보수 가능한 데이터 과학 파이프라인 구축을 돕는 도구입니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 11031
★ 11,0312026-10-22이슈 129
NVIDIA/cutlass
75
고성능 선형 대수를 위한 CUDA 템플릿과 파이썬 도메인 특화 언어를 제공한다.
MLOpsC++NOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 10647
★ 10,6472026-10-21이슈 790
NVIDIA/nccl
74
다중 GPU 간 통신을 최적화한 기본 연산 기능을 제공합니다.
MLOpsC++NOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 5179
★ 5,1792026-10-21이슈 470
pytorch/executorch
74
모바일, 임베디드 및 엣지 기기에서 작동하는 PyTorch 기반 온디바이스 AI를 구현합니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 5117
★ 5,1172026-10-23이슈 1,336
tencentmusic/cube-studio
74
cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式
MLOpsNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 5084
★ 5,0842026-10-09이슈 44
NVlabs/tiny-cuda-nn
73
빠른 속도의 C++/CUDA 기반 신경망 프레임워크를 제공합니다.
MLOpsC++NOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 4542
★ 4,5422026-09-29이슈 254
qualcomm/aimet
72
학습된 신경망 모델에 고급 양자화 및 압축 기술을 제공하는 라이브러리입니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 2733
★ 2,7332026-10-21이슈 37
data-infra/cube-studio
72
cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台/MaaS/mlops/人工智能平台/训推平台，算法全链路流程，多租户，算力租赁平台，token中转，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务，VGPU虚拟化，云边端协同，边缘计算，自动化标注平台，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库llmops智能体，AI模型市场，支持国产异构算力调度,昇腾/寒武纪/海光/摩尔/沐曦等，支持ib/roce/RDMA，信创支持
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 2565
★ 2,5652026-10-12이슈 29
Xilinx/brevitas
71
PyTorch에서 신경망 양자화를 수행하는 라이브러리입니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 1590
★ 1,5902026-10-18이슈 243
warpfront/hipfire
69
Rust로 작성된 AMD GPU 기반의 LLM 추론 엔진입니다.
MLOpsRustNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 731
★ 7312026-10-23이슈 121
Meesho/BharatMLStack
69
대규모 환경에서 실시간 및 배치 머신러닝 작업을 지원하는 오픈소스 인프라 스택이다.
MLOpsGoNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 716
★ 7162026-10-19이슈 36
NadirRouter/NadirClaw
69
프롬프트 복잡도에 따라 저렴하거나 로컬 모델로 자동 라우팅하여 AI 비용을 최적화하는 도구입니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 661
★ 6612026-10-22이슈 0
zengxiao-he/tessera
69
From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 558
★ 5582026-10-09이슈 3
CerebriumAI/examples
69
Examples for Cerebrium Serverless GPUs
MLOpsPython
최근 30일 내 활발 · 라이선스 불명확 · stars 527
★ 5272026-10-14이슈 11
brontoguana/krasis
69
Krasis is a Hybrid LLM runtime which focuses on efficient running of larger models on consumer grade VRAM limited hardware
MLOpsC++NOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 522
★ 5222026-10-22이슈 19
Bisonai/awesome-edge-machine-learning
67
A curated list of awesome edge machine learning resources, including research papers, inference engines, challenges, books, meetups and others.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 281
★ 2812026-10-17이슈 0
walkinglabs/modern-llm-notebook
67
PyTorch로 현대 LLM을 처음부터 구축하는 실습형 주피터 노트북 코스입니다.
MLOpsJupyter NotebookNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 265
★ 2652026-10-01이슈 1
jjang-ai/jangq
67
애플 실리콘 환경에서 MLX를 위한 GGUF 양자화 및 런타임을 제공합니다.
MLOpsPython
최근 30일 내 활발 · 라이선스 불명확 · stars 231
★ 2312026-10-18이슈 18
🆕LAGcomcom/zen-gate
67
把 OpenCode Zen 免费模型装进你所有的 AI Agent —— Windows 托盘网关，OpenAI/Anthropic 兼容，自动适配 10+ Agent，限流自动切换
MLOpsGoNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 223
★ 2232026-10-22이슈 18
zlatko-minev/pyEPR
67
양자 마이크로파 칩 및 장치의 분석과 설계를 자동화합니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 211
★ 2112026-09-28이슈 12
jakobhoeg/browser-ai
67
다양한 브라우저 기반 AI 모델 제공업체에 대한 타입스크립트 SDK를 제공합니다.
MLOpsTypeScriptNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 205
★ 2052026-10-14이슈 15
PAIArtCom/Clipal
66
클로드, 코덱스, 제미나이 등 여러 LLM API를 위한 간편한 리버스 프록시 서버입니다.
MLOpsGo
최근 30일 내 활발 · 라이선스 불명확 · stars 158
★ 1582026-10-18이슈 1
voidmind-io/voidllm
66
개인 정보 보호를 지키는 LLM 프록시 및 AI 게이트웨이 역할을 합니다.
MLOpsGoNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 143
★ 1432026-10-22이슈 23
🆕truespar/paddock
66
NVIDIA GPU에서 오픈 모델을 구동하는 네이티브 Rust 추론 서버입니다.
MLOpsRustNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 138
★ 1382026-10-22이슈 8
handsupmin/mono-pix
66
가짜 픽셀 아트를 실제처럼 변환하는 웹 기반 이미지 처리 도구입니다.
MLOpsTypeScript
최근 30일 내 활발 · 라이선스 불명확 · stars 138
★ 1382026-10-12이슈 0
khankamraan2006-crypto/fabric-router-core
65
스마트 팩토리 LLM 라우팅 및 OAuth 게이트웨이 플러그인을 제공한다.
MLOpsHTML
최근 30일 내 활발 · 라이선스 불명확 · stars 116
★ 1162026-10-23이슈 0
OWASP/www-project-machine-learning-security-top-10
65
머신러닝 보안 취약점 상위 10가지 항목을 다루는 프로젝트입니다.
MLOpsHTMLNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 110
★ 1102026-10-07이슈 48
pleasedodisturb/awesome-llm-token-optimization
65
LLM 토큰 비용 절감 및 효율성 개선을 위한 자료 모음입니다.
MLOpsShellNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 101
★ 1012026-10-20이슈 6
howardpen9/awesome-ai-api-proxy
65
다양한 AI 모델에 접근할 수 있는 API 프록시 및 게이트웨이 목록을 모아 놓은 자료입니다.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 99
★ 992026-10-22이슈 43
🆕Dreamer-Toby/STEPQuant
65
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
MLOpsPython
최근 30일 내 활발 · 라이선스 불명확 · stars 95
★ 952026-10-16이슈 1
RamiKrispin/ai-dev-2024-ml-workshop
65
AI 개발 워크숍 자료로 파이썬 기반의 머신러닝 배포 및 모니터링 방법을 다룬다.
MLOpsHTML
최근 30일 내 활발 · 라이선스 불명확 · stars 93
★ 932026-10-22이슈 2
🆕professorpalmer/bonsai-ada-surgery
65
Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.
MLOpsPythonNOASSERTION
최근 30일 내 활발 · 라이선스 불명확 · stars 85
★ 852026-10-23이슈 2
T-Sunm/rag-ops
64
LLM 운영에 필요한 API, 추론, 관측성 등 핵심 구성 요소를 구현합니다.
MLOpsPython
최근 30일 내 활발 · 라이선스 불명확 · stars 73
★ 732026-09-29이슈 0
상위 200개 표시 · 전체 210개는 메인에서 검색·정렬