П.ВИН
Tool

LLM Router — Tool из портфолио Паши Вина

Единый шлюз для запросов к LLM: маршрутизация между провайдерами, автоматический fallback при сбоях и контроль стоимости через один API-эндпоинт.

01. КатегорияTool
02. РольFull-stack, Product
03. Датамай 2026

Что это?

Единый шлюз для запросов к LLM: маршрутизация между провайдерами, автоматический fallback при сбоях и контроль стоимости через один API-эндпоинт.

Какую задачу решает?

Было → жёсткая привязка к одному провайдеру и риск простоя при первом 429. Стало → одна точка входа, прозрачный выбор модели и резерв на отказ.

Как реализовано?

Реализовано на стеке: TypeScript, Node.js, Fastify, Redis. Один эндпоинт прозрачно распределяет запросы между моделями по правилам и страхует на случай отказа.

TypeScriptNode.jsFastifyRedisPostgreSQLTypeScriptNode.jsFastifyRedisPostgreSQLTypeScriptNode.jsFastifyRedisPostgreSQLTypeScriptNode.jsFastifyRedisPostgreSQL
Любой продукт на LLM рано или поздно упирается в падение одного провайдера или внезапный счёт за токены. Цель — поставить между приложением и моделями умный шлюз, который сам выбирает провайдера, страхует на отказ и держит расходы под контролем.

Вызов

Хрупкая зависимость

Продукты на LLM ломаются при сбое одного провайдера и теряют контроль над расходами на токены.

  • — Простой сервиса при падении одного API
  • — Нет способа сравнивать модели в проде
  • — Бесконтрольный счёт за токены в конце месяца

Решение

Умный шлюз

Один эндпоинт прозрачно распределяет запросы между моделями по правилам и страхует на случай отказа.

  • + Автоматический fallback на резервную модель
  • + Маршрутизация по цене, качеству или задаче
  • + Кеширование ответов и трекинг расходов

Архитектура & Стек

Mindmap

[ Mindmap Процессов / v2.0 ]
NODE.01

API Gateway

Единый эндпоинт
Fastify · OpenAPI

NODE.02

Router Core

Выбор модели
TypeScript · правила маршрутизации

NODE.03

Provider Adapters

Интеграции LLM
OpenAI · Anthropic · Google

NODE.04

Observability

Метрики и кеш
Redis · PostgreSQL

COREEngine

Смоделировано 100 предпринимателями

Бизнес Импакт

0

простоя при сбое провайдера

10x

быстрее смена модели

24/7

автоматический fallback

Открыть проект
Следующий кейс

SEO Builder →