Подготовка датасетов.

Готовим датасеты для обучения нейросетей, дообучения моделей и независимой оценки качества. Начинаем с будущего применения: какие ответы должна давать модель, какие ошибки особенно нежелательны и с какими примерами ей предстоит работать. Так выборка отражает реальную задачу, а не просто доступный объём информации.

Собираем согласованные материалы или работаем с вашими данными. Очищаем записи, удаляем повторы, разрабатываем правила разметки и проверяем спорные примеры. Проверяем состав и баланс выборки и отделяем тестовые данные от обучающих, чтобы случайные совпадения не создавали ложное впечатление о точности модели.

Передаём версионированные выборки с описанием структуры, источников и ограничений. Их можно использовать в собственном процессе обучения или продолжить работу с командой WowCash. Критерии приёмки согласуем заранее: они касаются состава и качества данных, а не только количества строк.