П.ВИН
Tool

Leads Collector — Tool из портфолио Паши Вина

Локальный сервис для автоматического сбора спикеров конференций, спонсоров и профилей TenChat по маркетинговым ролям. Парсит публичные страницы, нормализует данные и складывает в базу с веб-админкой.

01. КатегорияTool
02. РольFull-stack, Product
03. Датамар 2026

Что это?

Локальный сервис для автоматического сбора спикеров конференций, спонсоров и профилей TenChat по маркетинговым ролям. Парсит публичные страницы, нормализует данные и складывает в базу с веб-админкой.

Какую задачу решает?

Ручной поиск лидов → Автоматический сбор и структурированная база контактов

Как реализовано?

Реализовано на стеке: FastAPI, PostgreSQL, Redis, BeautifulSoup. Джоб-ориентированный воркер с раздельным хранением сырых данных и нормализованных сущностей переживает частичные сбои без потери прогресса.

FastAPIPostgreSQLRedisBeautifulSoupTrafilaturaSQLAlchemyFastAPIPostgreSQLRedisBeautifulSoupTrafilaturaSQLAlchemyFastAPIPostgreSQLRedisBeautifulSoupTrafilaturaSQLAlchemyFastAPIPostgreSQLRedisBeautifulSoupTrafilaturaSQLAlchemy
Сбор лидов с конференций — это часы ручного копирования контактов спикеров и спонсоров с десятков разных сайтов. Цель — автоматизировать весь pipeline: сервис обходит страницы конференций, находит нужные профили в TenChat и складывает всё в структурированную базу с удобной админкой.
Leads Collector
Leads Collector — Сбор лидов с конференций — это часы ручного копирования контактов спикеров и спонсоров с десятков разных сайтов.

Вызов

Лиды вручную

Сбор контактов спикеров и спонсоров конференций — это часы ручного скрапинга разрозненных страниц.

  • — Спикеры и спонсоры конференций разбросаны по десяткам сайтов без единого формата
  • — TenChat не даёт API — нужно работать только с публичными страницами без авторизации
  • — Частичные сбои при парсинге обнуляют весь прогресс обхода

Решение

Resilient Pipeline

Джоб-ориентированный воркер с раздельным хранением сырых данных и нормализованных сущностей переживает частичные сбои без потери прогресса.

  • + Каждая страница и профиль — отдельный job в очереди Redis, сбой одного не останавливает остальные
  • + TenChat discovery по ключевым словам находит профили маркетинговых руководителей без логина и обхода капчи
  • + Веб-админка на FastAPI + Jinja2 с JWT-авторизацией для управления конференциями и запуска воркера

Архитектура & Стек

Mindmap

[ Mindmap Процессов / v2.0 ]
NODE.01

Web Admin

Управление и мониторинг
FastAPI · Jinja2 · JWT

NODE.02

Worker Queue

Обработка задач
Redis · SQLAlchemy · PostgreSQL

NODE.03

Parser Core

Извлечение данных
httpx · BeautifulSoup · Trafilatura

NODE.04

TenChat Discovery

Поиск профилей
httpx · Playwright · PostgreSQL

COREEngine

Смоделировано 100 предпринимателями

Бизнес Импакт

-80%

времени на сбор контактов

x5

лидов за тот же период

1-2 мес

окупаемость сервиса

Следующий кейс

Pencil API →