Ошибки есть в любом проекте. Настоящая работа без них не бывает, просто обычно о них говорят одной фразой где-то между результатами. Я решил сделать наоборот и собрать наши промахи в одной статье: и те, о которых уже рассказывал, и те, о которых пока молчал.
Во второй статье я обещал рассказать, как арендовал чужие видеокарты в облаке и сжёг на них деньги, почти ничего не посчитав. В третьей напомнил, что обещание в силе. Пришло время его выполнить. Эта история в статье главная, потому что самая дорогая, но о промахах в измерениях я тоже расскажу.
Сначала о том, зачем вообще что-то арендовать. Во второй статье всё обучение распознавалки заняло полтора часа на моей домашней видеокарте, и для распознавалки и голоса её хватает. А вот языковой модели, которая должна писать и отвечать по-крымскотатарски, нужна карта примерно в 6 раз мощнее. Покупать такую ради нескольких обучений незачем: их сдают в аренду по часам, как машину в прокате. Платишь, пока она у тебя, и неважно, едешь ты или стоишь.
Сколько всего ушло
За полтора месяца аренда видеокарт обошлась нам больше чем в $300. Это не одна большая покупка, а несколько попыток подряд. Мы обучали модель, смотрели, что получилось, меняли настройки и запускали снова, и с каждым разом обучение выходило дешевле и надёжнее, пока мы не собрали рабочий рецепт.
Честно скажу, я был зол, что мы потратили так много. Но я рад, что в итоге у нас есть правильный «рецепт» для следующих обучений: теперь мы знаем, сколько оно стоит и за что платить не нужно. На графике видно, как менялась цена каждого запуска.
График: сколько стоило каждое обучение, от первого прогона до последних циклов
$53 за 15 % работы
Первая арендованная карта стоила около $4,6 в час. По нашему расчёту всё обучение должно было занять 9–11 часов и обойтись в $33–40. Через 11,5 часа и $53 я его остановил: пройдена была только малая часть, а до конца оставалось почти двое суток. Карта всё это время работала на несколько процентов своей силы. Когда мы разобрались, нашлись три причины, и каждая была отдельной ошибкой.
Главная из них в том, что мы платили за пустоту. Наши учебные диалоги короткие, а модель берёт их пачками, в которых все примеры должны быть одной длины. Поэтому каждый короткий диалог дополнялся пустым местом до общей длины, как если бы в каждый ящик клали одно яблоко и везли его через весь город. Почти всё время карта обрабатывала эту пустоту, а мы за неё платили. Из-за этого расчёт и ошибся в 20 раз.
Вторая причина была в сохранениях. Обучение время от времени записывает своё состояние, чтобы после сбоя не начинать с нуля. Мы делали это слишком часто, большими кусками и на медленный диск, и на каждое такое сохранение карта просто вставала и ждала. А третья причина оказалась совсем простой: данные для следующего шага готовились медленнее, чем карта успевала их считать, и она снова ждала.
Обиднее всего, что перед арендой всё было проверено дома и всё работало. Но домашняя проверка показала только одно: программа правильная. Сколько она будет стоить, мы не смотрели, потому что дома время бесплатное. Проверка «работает» и проверка «окупается» оказались разными, и вторую мы не сделали.
Не всё тогда пропало. Первая часть обучения прошла целиком, и её результат мы сохранили.
5 машин за сутки
Пустоту мы убрали первым делом: короткие диалоги стали складывать плотно, один к другому, чтобы в каждом «ящике» не оставалось свободного места. Расчёт показал, что та же самая работа теперь стоит в 20 раз дешевле.
График: один и тот же этап обучения с пустотой и без неё
Воодушевлённый, я запустил вторую попытку, и за следующие сутки нам пришлось арендовать 5 машин подряд. Каждая останавливалась раньше, чем успевала закончить работу, а платить приходилось за каждую.
Самое странное, что само обучение при этом не упало ни разу. Ломалось всё вокруг него: программы, которые запускают обучение, и программы, которые за ним следят. Одна машина упала из-за проверки, которой не хватило памяти. Другую погасила наша же программа-сторож. Она нашла старую метку «прогон провалился», оставшуюся от прошлой попытки, поверила ей и выключила совершенно здоровое обучение за 4 минуты до конца этапа.
Тогда я понял, что эти части никто ни разу не проверял целиком. С тех пор перед каждой арендой мы устраиваем дома полную репетицию: та же цепочка, те же проверки, только с крошечной моделью и бесплатно. Позже одна такая репетиция поймала 6 ошибок, и за каждую из них в облаке пришлось бы платить.
Но самой дорогой оказалась наша привычка. На любую ошибку мы гасили машину, чинили и запускали всё заново. Новая машина заново всё устанавливает и скачивает десятки гигабайт, и всё это время счётчик идёт. А вместе с машиной пропадают и записи о том, что случилось, так что причину потом приходится угадывать. Пятая машина за те сутки отработала больше 4 часов, упала и исчезла раньше, чем мы успели забрать её записи. Почему она упала, я не знаю до сих пор.
Отсюда и появилось наше главное правило: не гасить, а чинить на месте. Как с проколотым колесом: его заклеивают прямо у дороги, а не бросают велосипед. Следующее обучение прошло целиком с первого захода и стоило около $41 за всю работу, хотя в первый раз мы отдали $53 всего за 15 %. А на следующей тренировке короткий тест прямо на машине нашёл 3 ошибки, мы исправили их тут же, и вся работа обошлась меньше чем в $13.
Сторож, который молчал, и сторож, который перестарался
Сторожем мы называем программу, которая следит за обучением, сохраняет результат и выключает машину, чтобы мы не платили зря. Ошибался он в обе стороны, и оба раза это стоило денег.
Однажды обучение закончилось, а сторож этого не заметил: незадолго до того он тихо сломался и никому об этом не сказал. Машина с готовым результатом простояла больше получаса, а счётчик всё это время шёл, пока я сам не заглянул проверить, что происходит. После этого мы стали перед каждым запуском устраивать сторожу учебную тревогу, чтобы убедиться, что сигнал доходит, а ближе к концу обучения проверять машину вручную.
В другой раз сторож оказался слишком строгим. Он видел, что карта то работает, то отдыхает, и не знал, что отдыхает она, пока сохраняет результат. Решив, что обучение зависло, он выключил машину за 28 секунд до конца. Результат уцелел, но часть служебных файлов оказалась пустой, и пришлось поднимать отдельную машину, чтобы всё спасти. Теперь зависанием считается только настоящая остановка, а не короткая передышка.
И живёт сторож теперь не на арендованной машине, а у меня дома. Если машина умирает, он не умирает вместе с ней и успевает всё забрать.
Когда кончаются деньги
С деньгами похожая история. Сначала правило было простым: дошли до лимита, выключаем. Однажды сторож в самом начале обучения посчитал, что денег может не хватить, и чуть не остановил совершенно здоровую работу. Мы успели вмешаться, но стало ясно, что жёсткий лимит опасен: он может оборвать почти законченное обучение, и тогда пропадёт всё, за что уже заплачено. Поэтому теперь система у предела сначала спасает всё, что сделано, и только потом выключается.
Цены, которых нет
Была и ошибка попроще: поверить прайсу. Одна площадка показывала нужную нам карту почти вдвое дешевле, но на деле её не было ни в одном регионе. Другая предлагала недорогую карту, но к ней прилагалось так мало памяти и места на диске, что обучать на ней было нельзя. Подходящий вариант в итоге нашёлся у самого производителя карт, в его программе для разработчиков. Все эти проверки стоили нам меньше цента, и с тех пор, прежде чем верить цене, мы проверяем, можно ли эту карту получить на самом деле.
Ошибки в измерениях
Эти промахи денег почти не стоили, но они коварнее. Ошибка с арендой хотя бы видна по счёту, а ошибка в измерении выдаёт уверенную цифру, которая просто неверна. Часть таких историй я уже рассказывал в первой, второй, третьей и четвёртой статьях, а здесь добавлю три новые.
Однажды распознавалка показала на книге почти 100 % ошибок. Я уже решил, что данные никуда не годятся, а причина была смешной: машина писала латиницей, а текст книги был набран кириллицей, и сравнение считало ошибкой каждую букву. Стоило привести оба текста к одному алфавиту, и цифры стали нормальными.
В другой раз синтезированный голос дважды из двух сорвался на высокую ноту, и я начал переделывать данные. Когда мы послушали не два, а 125 вариантов, срывов не оказалось вовсе. С тех пор правило простое: один-два раза не считаются.
А третья ошибка была самой неприятной. Больше половины текстов, на которых мы проверяли модель, встречались и в её обучении. Это как дать ученику на экзамене те же задачи, что он решал на уроках: оценка выходит выше, чем знания. Мы сделали новую проверку на произведениях, которых в обучении нет.
Что мы вынесли
Если собрать всё вместе, картина получается такая. Поначалу почти каждый запуск где-нибудь срывался, а теперь срывы стали редкими и дешёвыми.
График: сколько раз запуск срывался, по датам
Сторож больше не молчит и не паникует: он проходит учебную тревогу до запуска, живёт вне арендованной машины и отличает зависание от паузы. Система у предела не гасит живую работу из-за цифры, а сначала спасает всё, что сделано. Ошибки мы чиним на ходу, поэтому сбой теперь стоит пару долларов, а не целого прогона. А стоимость считаем заранее, сверяем с первыми минутами работы, и перед арендой всё проходит бесплатную репетицию дома. Очередной цикл дообучения теперь обходится примерно в $10–12.
Дешёвый цикл, конечно, не значит удачный. Одна из версий с новыми данными в слепом сравнении (как оно устроено, я рассказывал в первой статье) оказалась не лучше предыдущей и в работу не пошла. Но такая неудача теперь стоит $10, а не $53, и после неё остаётся полный отчёт о том, что пошло не так.
Сейчас мы на этапе сбора данных. Обучать модели мы и дальше будем на арендованных машинах, только теперь каждый запуск стоит в разы дешевле и не ломается на ровном месте. А последняя версия распознавалки уже вышла лучше прежней: она точнее на проверочных расшифровках и чаще выигрывала в том же слепом сравнении. Дальше всё упирается не в железо и не в деньги, а в живую разговорную речь, которую расшифровали люди. Видеокарты мы считать научились, а вот живого языка моделям пока не хватает.
Хотите помочь? Больше всего проекту нужны носители языка. Послушать кусочек записи и сказать, правильно ли машина его записала. Прочитать страницу текста и отметить, где слово турецкое, а где наше. Составить диалог с живыми красками языка. Начитать несколько минут текста своим голосом. Программировать для этого не нужно, достаточно хорошо знать родной язык. Пишите: ai@ay.mw или в Telegram: t.me/ana_yurt_dev.
А если хотите поддержать работу материально, это можно сделать здесь: ko-fi.com/anayurt. Теперь каждый доллар работает намного дольше, а сама поддержка превращается в новые записи живой речи, которые важно сделать сейчас.