Опубликовано: 24.07.2026 | Источник: The Verge – Tech Section

Обучение нейросетей эмоциональной речи: как использовать тренд из статьи The Verge для ВКР по Data Science

Поддомен: NLP / Speech Emotion Recognition (AI/ML) | Роль: Data/ML-инженер

Введение

Компания Handshake AI нанимает актёров-импровизаторов для сбора данных о человеческих эмоциях, которые затем используются для обучения больших языковых моделей. Это не новость — это зрелый тренд: модели, способные не только распознавать интонации, но и генерировать естественную, эмоционально окрашенную речь, становятся критически важными для голосовых помощников, чат-ботов и систем поддержки. Для выпускника ИТ это конкретная, горячая тема для ВКР: вы можете реализовать pipeline по сбору, разметке и fine-tuning’у модели распознавания эмоций (или генерации эмоционального тона) на реальных или синтетических данных. Ниже — как превратить новость в защищаемую работу с нуля.

Часто задаваемые вопросы (FAQ)

Сложно ли программировать с нуля? Нужны ли фреймворки?

Современный подход — использовать готовые предобученные модели (например, HuBERT, wav2vec 2.0, Emotion2Vec) и дообучать их под свою задачу. Для ВКР достаточно продемонстрировать пайплайн, а не писать всё с нуля. Код на Python с PyTorch/TensorFlow + Hugging Face.

Где брать данные, если нет доступа к актёрам?

Открытые датасеты: RAVDESS, CREMA-D, TESS, IEMOCAP (требует лицензии), EmoV-DB, Multimodal EmotionLines. Для русскоязычной ВКР можно использовать RuEmoSpeech (МФТИ) или синтезировать данные через TTS с управлением эмоциями (например, VITS с conditioning). В пояснительной записке обязательно указывайте источник и лицензию.

Какие метрики использовать? Как обосновать эффективность?

Для классификации эмоций — Accuracy, Weighted F1, Confusion Matrix. Для регрессии (valence/arousal) — RMSE, PCC. Для оценки качества синтезированной речи — MOS (Mean Opinion Score) с краудсорсерами или UTMOS (автоматическая метрика). В дипломе обязательно сравнение с baseline (например, random forest на MFCC).

Как оформить архитектуру по ГОСТ и что показывать на защите?

Используйте диаграммы C4 (контекст-контейнер-компонент). Покажите: схему сбора и разметки данных, pipeline обучения (этапы: аудио → извлечение признаков → модель → классификация/генерация), схему развёртывания (Docker + FastAPI + ONNX Runtime). ГОСТ 34 — для технического задания, ISO/IEC 25010 — для оценки качества продукта (эффективность, надёжность).

Темы ВКР, вытекающие из статьи

• Система распознавания эмоциональной окраски речи на основе fine-tuning’а HuBERT с синтетическими данными
  Актуальность: Компании тратят огромные бюджеты на сбор данных от живых актёров, но ВКР может показать, что синтетические данные (аугментация pitch, speed, GAN-генерация) дают сопоставимые результаты.
  Цель: Разработать и исследовать модель классификации 6 базовых эмоций (радость, грусть, гнев, страх, удивление, нейтральное) с точностью ≥80% на тестовой выборке.
  Задачи (3-4): (1) Обзор методов извлечения признаков (MFCC, spectrograms, wav2vec 2.0 embeddings). (2) Сбор/подготовка датасета (RAVDESS + аугментация). (3) Fine-tuning предобученной модели (HuBERT-base + linear head). (4) Сравнение с базовой моделью (SVM на MFCC).
  Структура: Гл.1 – анализ существующих подходов (статья про Handshake как пример актуальности). Гл.2 – проектирование пайплайна (архитектура в C4, код в приложении). Гл.3 – эксперименты, метрики, анализ ошибок.
• Разработка API для классификации эмоций в голосовом канале с оценкой качества по ISO/IEC 25010
  Актуальность: Продукты типа Handshake нуждаются в сервисах быстрой разметки. API, развёрнутое в Kubernetes, может быть частью инфраструктуры для сбора обучающих данных.
  Цель: Реализовать микросервис на FastAPI + ONNX Runtime, обрабатывающий аудио и возвращающий вектор уверенности по эмоциям.
  Задачи: (1) Выбор и дообучение лёгкой модели (MobileNet-подобной для аудио). (2) Конвертация в ONNX и оптимизация (INT8). (3) Разработка REST-интерфейса, тестирование под нагрузкой (locust).
  Структура: Гл.1 – анализ требований к качеству (ISO/IEC 25010: производительность, надёжность). Гл.2 – архитектура (диаграммы C4 + OpenAPI). Гл.3 – нагрузочные тесты и профилирование.
• Генерация эмоциональной речи с помощью Conditional VITS и анализ качества по MOS
  Актуальность: Handshake не только размечает, но и создаёт синтетические эмоциональные образцы. ВКР может продемонстрировать, как автоэнкодер с управлением эмоциями генерирует реалистичную речь.
  Цель: Обучить модель TTS, которая по тексту и метке эмоции (0–9 шкала) синтезирует аудио с заданной тональностью.
  Задачи: (1) Адаптация архитектуры VITS (добавление эмоционального embedding). (2) Обучение на IEMOCAP. (3) Субъективная оценка MOS с волонтёрами.
  Структура: Гл.1 – модели TTS с управлением (Tacotron, FastSpeech, VITS). Гл.2 – архитектура с conditioning (схема в формате C4). Гл.3 – результаты: таблицы MOS, сравнение с базовыми TTS.

Основная часть: интегрируем материал статьи в ВКР

1. Как вставить статью The Verge в Главу 1 (аналитический обзор)

Ссылка на публикацию от 2026-03-15 демонстрирует тренд: AI-компании уже сейчас нанимают живых актёров для разметки. Это отличный аргумент для обоснования актуальности темы. В обзоре литературы можно выделить параграф «Рынок обучающих данных для эмоционального ИИ» и процитировать Handshake AI как пример. Не забудьте указать, что статья не является научной публикацией, но отражает реальную практику. Подкрепите ссылками на научные работы (например, Busso et al. 2008 — IEMOCAP).

2. Какие диаграммы и схемы показать в Главе 2 (проектирование)

Для описания пайплайна сбора данных используйте BPMN-диаграмму (нотацию бизнес-процесса) или C4-диаграмму уровня контейнеров. Пример описания в тексте: «Модуль разметки включает: (1) распознавание речи через Whisper → (2) выделение prosodic-признаков с openSMILE → (3) классификация эмоций через fine-tuned HuBERT → (4) сохранение в MongoDB». Для кода — пример конфигурации DVC для версионирования датасетов:

# .dvc/config
[dvc]
    remote "data" url = s3://diploma-emotion-data
    checksum_jobs = 4
[core]
    analytics = false

Такой блок показывает, что вы знаете MLOps-инструменты. В пояснительной записке ГОСТ 34 требует наличие схемы организационной структуры — можно показать развёртывание в Kubernetes (один pod на инференс, второй на CUDA-обучение).

3. Метрики и расчёт эффективности в Главе 3

Обязательно проведите сравнение вашей модели с baseline и с результатами из статьи (если у Handshake есть какие-то цифры — в новости их нет, поэтому используйте open-source benchmark). Пример таблицы:

Добавьте расчёт экономии ресурсов (TCO) по сравнению с наёмом актёров — это привлечёт внимание комиссии. Используйте OpenTelemetry для мониторинга времени инференса — в стандарте ISO/IEC 25010 это метрика производительности.

Чему вы научитесь, реализовав такую ВКР

• Проектировать пайплайны обработки аудиоданных (извлечение признаков, аугментация, разметка).
• Fine-tune’ить предобученные модели трансформеров под задачу классификации.
• Документировать архитектуру по C4 и ГОСТ 34.602-89.
• Считать метрики качества (Accuracy, F1, MOS) и экономические показатели (TCO).
• Разворачивать ML-модель в контейнере (Docker + FastAPI).

Типичные ошибки студентов при работе над подобной темой

Чек-лист «Что проверить перед сдачей»

Нужна поддержка в разработке темы?

Источник: AI companies want to harvest improv actors’ skills to train AI on human emotion (опубликовано 2026-03-15)