Что это такое?
Готовый каркас full-stack веб-приложения для анализа эмоций по видео и аудио с использованием машинного обучения.
Это open-source full-stack платформа для мультимодального анализа эмоций. Она объединяет распознавание мимики (FER) и анализ тона голоса, чтобы дать комплексную оценку эмоционального состояния. Предназначена для сценариев удалённого мониторинга пациентов,...
Для разработчиков, создающих приложения в сфере телемедицины, ментального здоровья, HR-аналитики или образовательных платформ с эмоциональной обратной связью.
Многие проекты, связанные с анализом эмоций, требуют сложной интеграции отдельных ML-моделей для лица и голоса, а также построения полного full-stack окружения с хранением истории.
Система состоит из React-фронтенда, который захватывает видео и аудио, Express.js бэкенда на Node.js, который управляет процессом, и отдельных Python-сервисов на FastAPI и PyTorch для распознавания эмоций на лице и в голосе. Результаты обогащаются через Google Gemini AI для генерации рекомендаций и сохраняются в MongoDB.
Это open-source full-stack платформа для мультимодального анализа эмоций. Она объединяет распознавание мимики (FER) и анализ тона голоса, чтобы дать комплексную оценку эмоционального состояния. Предназначена для сценариев удалённого мониторинга пациентов, психологической оценки или тренингов.
Проект пытается объединить в одной системе три разных языка программирования (JavaScript, Python) и несколько фреймворков, что делает его архитектурно интересным, но сложным для развёртывания.
Стоит изучить как архитектурный пример full-stack ML-приложения, но для продакшена потребуется серьёзная доработка. У проекта мало активности (11 звёзд, 0 форков), что говорит о его экспериментальном статусе.
Проект выглядит как студенческая или экспериментальная работа: подробная документация и продуманная архитектура контрастируют с почти нулевой активностью сообщества (нет форков, issue).
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
Готовый каркас full-stack веб-приложения для анализа эмоций по видео и аудио с использованием машинного обучения.
Для разработчиков и исследователей, которые хотят быстро запустить прототип системы эмоционального анализа, не строя всю инфраструктуру с нуля.
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.