GitHub / EvilFreelancer / docker-llama.cpp-rpc
Данный проект основан на llama.cpp и компилирует только RPC-сервер, а так же вспомогательные утилиты, работающие в режиме RPC-клиента, необходимые для реализации распределённого инференса конвертированных в GGUF формат Больших Языковых Моделей (БЯМ) и Эмбеддинговых Моделей.
JSON API: http://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/EvilFreelancer%2Fdocker-llama.cpp-rpc
PURL: pkg:github/EvilFreelancer/docker-llama.cpp-rpc
Stars: 17
Forks: 3
Open issues: 0
License: mit
Language: Shell
Size: 294 KB
Dependencies parsed at: Pending
Created at: 10 months ago
Updated at: about 1 month ago
Pushed at: about 1 month ago
Last synced at: about 1 month ago
Commit Stats
Commits: 23
Authors: 1
Mean commits per author: 23.0
Development Distribution Score: 0.0
More commit stats: https://commits.ecosyste.ms/hosts/GitHub/repositories/EvilFreelancer/docker-llama.cpp-rpc
Topics: ai, docker, docker-compose, embedding, grpc, llamacpp, llm, rpc