П.ВИН
Tool

Leads

Collector

01. КатегорияTool
02. РольFull-stack, Product
03. Датамар 2026
FastAPIPostgreSQLRedisBeautifulSoupTrafilaturaSQLAlchemyFastAPIPostgreSQLRedisBeautifulSoupTrafilaturaSQLAlchemyFastAPIPostgreSQLRedisBeautifulSoupTrafilaturaSQLAlchemyFastAPIPostgreSQLRedisBeautifulSoupTrafilaturaSQLAlchemy
Сбор лидов с конференций — это часы ручного копирования контактов спикеров и спонсоров с десятков разных сайтов. Цель — автоматизировать весь pipeline: сервис обходит страницы конференций, находит нужные профили в TenChat и складывает всё в структурированную базу с удобной админкой.
Leads Collector
Leads Collector — Сбор лидов с конференций — это часы ручного копирования контактов спикеров и спонсоров с десятков разных сайтов.

Вызов

Лиды вручную

Сбор контактов спикеров и спонсоров конференций — это часы ручного скрапинга разрозненных страниц.

  • — Спикеры и спонсоры конференций разбросаны по десяткам сайтов без единого формата
  • — TenChat не даёт API — нужно работать только с публичными страницами без авторизации
  • — Частичные сбои при парсинге обнуляют весь прогресс обхода

Решение

Resilient Pipeline

Джоб-ориентированный воркер с раздельным хранением сырых данных и нормализованных сущностей переживает частичные сбои без потери прогресса.

  • + Каждая страница и профиль — отдельный job в очереди Redis, сбой одного не останавливает остальные
  • + TenChat discovery по ключевым словам находит профили маркетинговых руководителей без логина и обхода капчи
  • + Веб-админка на FastAPI + Jinja2 с JWT-авторизацией для управления конференциями и запуска воркера

Архитектура & Стек

Mindmap

[ Mindmap Процессов / v2.0 ]
NODE.01

Web Admin

Управление и мониторинг
FastAPI · Jinja2 · JWT

NODE.02

Worker Queue

Обработка задач
Redis · SQLAlchemy · PostgreSQL

NODE.03

Parser Core

Извлечение данных
httpx · BeautifulSoup · Trafilatura

NODE.04

TenChat Discovery

Поиск профилей
httpx · Playwright · PostgreSQL

COREEngine

Измеримый результат

Бизнес Импакт

3-in-1

Источника лидов

0

Ручного труда

Local

Деплой без инфраструктуры

Следующий кейс

Pencil API →