Функция стоимости логистической регрессии

Модель логистической регрессии выдаёт число $\hat{y}$ (ŷ) — предсказание, «насколько это кот» на шкале от 0 до 1 (подробный вывод $\hat{y}=\sigma (w^{T}x+b)$ — в статье «Бинарная классификация», но для этой статьи достаточно и этого). Есть и правильный ответ $y$ (y) — 0 или 1. Модель хороша, если $\hat{y}$ близко к $y$ на всех примерах сразу. Вопрос этой статьи: как превратить «близко или не близко» в одно число, которое можно уменьшать?

Штраф за один пример

Возьмём один обучающий пример: модель дала предсказание $\hat{y}$, известен правильный ответ (y) $y$. Нужна функция, которая берёт эти два числа и возвращает одно число-штраф: маленькое, если $\hat{y}$ близко к $y$, и большое, если модель уверенно ошиблась. Такую функцию называют функцией ошибки (L) или loss function, обозначают $L(\hat{y},y)$.

Если можешь пересказать: loss (L) — штраф за один пример, маленький при верном ответе и большой при уверенной ошибке, — двигаемся дальше.

Почему не квадрат разницы

Самый естественный кандидат на роль штрафа — квадрат разницы, тот же, что и в школьной алгебре: $L={(\hat{y}-y)}^2$. Чем дальше $\hat{y}$ от $y$, тем больше штраф, всё логично. Для многих задач (предсказать цену квартиры, например) это и правда рабочий выбор. Но для логистической регрессии он ломается — и вот почему.

Представь себе поверхность штрафа как рельеф холмов: по осям — веса модели (w) $w,b$, а высота — средний штраф на всех примерах. Обучение — это шарик, скатывающийся по этому рельефу в самую низкую точку. Если рельеф — это одна гладкая чаша (как суповая тарелка), шарик докатится до дна откуда угодно. Если рельеф — это горная гряда с несколькими ямами и холмами, шарик может провалиться в мелкую яму на полпути и там застрять — а настоящее дно, самая низкая точка, будет совсем в другом месте.

Квадрат разницы, если его посадить поверх сигмоиды (σ) $\hat{y}=\sigma (z)$, как раз и создаёт такую волнистую гряду вместо одной чаши: сигмоида (σ) сама по себе нелинейно сжимает числа, и когда квадрат разницы применяется к её результату, итоговая поверхность штрафа перестаёт быть гладкой чашей и обзаводится лишними ямами. Спуск, о котором пойдёт речь в следующей статье, может застрять в одной из них — далеко от лучшего возможного набора весов (w).

Нужна другая функция — такая, чтобы поверхность среднего штрафа осталась одной чашей. Эта функция — кросс-энтропия.

Если можешь пересказать: квадрат разницы поверх сигмоиды (σ) даёт волнистый рельеф с ложными ямами вместо одной чаши, — листай дальше.

Кросс-энтропия: штраф по частям

Кросс-энтропия — стандартный loss (L) для логистической регрессии:

$$L(\hat{y},y)=-[y\log (\hat{y})+(1-y)\log (1-\hat{y})]$$

Выглядит громоздко, но правильный ответ (y) $y$ всегда либо 0, либо 1 — и в каждом из двух случаев одно из слагаемых обнуляется. Разберём по отдельности.

Случай $y=1$ (правильный ответ (y) — «да»). Второе слагаемое умножается на $(1-1)=0$ и исчезает целиком:

$$L=-\log (\hat{y})$$

Логарифм здесь ($\log$ — натуральный, через число $e\approx 2.718$) отвечает на вопрос «в какую степень возвести $e$, чтобы получить число в скобках». Важное для интуиции свойство: чем ближе $\hat{y}$ к единице, тем ближе $\log (\hat{y})$ к нулю, а чем ближе $\hat{y}$ к нулю, тем сильнее $\log (\hat{y})$ улетает в минус бесконечность. Минус спереди переворачивает знак — штраф положительный и растёт без границ при уверенной ошибке.

Прежде чем считать: как думаешь, при $y=1$ и $\hat{y}=0.99$ (модель почти уверена в правильном ответе) штраф будет ближе к 0 или к 1?

Проверим числом: $y=1$, $\hat{y}=0.99$ (модель почти угадала):

$$L=-\log (0.99)=0.0101$$

Штраф крошечный, как и ожидалось. А если модель уверенно ошиблась — $y=1$, но $\hat{y}=0.01$:

$$L=-\log (0.01)=4.6052$$

Штраф в 450 раз больше — хотя расстояние от предсказания до правильного ответа изменилось всего с $0.01$ до $0.99$, то есть выросло «всего» в сто раз, а не в 450. Это и есть смысл логарифма в формуле: он делает уверенную ошибку непропорционально дорогой, а не просто пропорционально далёкой.

Случай $y=0$ (правильный ответ (y) — «нет»). Теперь исчезает первое слагаемое ($y\log (\hat{y})=0\cdot \log (\hat{y})=0$):

$$L=-\log (1-\hat{y})$$

Логика зеркальная: если модель уверенно говорит «нет» ($\hat{y}$ близко к нулю), $1-\hat{y}$ близко к единице, $\log (1-\hat{y})$ близко к нулю — штраф маленький. Числом: $y=0$, $\hat{y}=0.1$ (модель почти уверена, что ответ «нет», и права):

$$L=-\log (1-0.1)=-\log (0.9)=0.1054$$

А если модель уверенно ошиблась в другую сторону — $y=0$, но $\hat{y}=0.99$:

$$L=-\log (1-0.99)=-\log (0.01)=4.6052$$

Ровно тот же огромный штраф, что и в зеркальном случае выше — формула симметрична относительно того, какой ответ (y) правильный.

Мини-квиз: пусть $y=1$, а модель совсем не уверена и дала $\hat{y}=0.5$. Чему равен штраф?

Если можешь пересказать: при $y=1$ штраф (L) — это $-\log (\hat{y})$, при $y=0$ — это $-\log (1-\hat{y})$; в обоих случаях уверенный правильный ответ почти бесплатен, уверенная ошибка стремится к бесконечности, — листай дальше.

От штрафа к функции стоимости

Loss $L(\hat{y},y)$ (L) измеряет ошибку одного примера. Но обучающих примеров обычно тысячи, и модель должна быть хороша на всех сразу, а не на одном. Естественный способ свести много чисел в одно — усреднить:

$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$$

Расшифровка по частям. $m$ — количество обучающих примеров. Верхний индекс в скобках, $(i)$, — номер примера (не степень: ${\hat{y}}^{(2)}$ значит «предсказание для второго примера», а не «предсказание в квадрате»). $\mathrm{\Sigma }$ (сигма) — компактная запись «сложить»: взять loss первого примера, прибавить loss второго, … прибавить loss $m$-го. Всю эту сумму делим на $m$ — получаем среднее арифметическое всех штрафов, ровно так же, как считают средний балл по оценкам за много контрольных.

$J(w,b)$ называют функцией стоимости (J) (cost function) — в отличие от loss (L), который штрафует один пример, cost (J) штрафует всю модель целиком, при её текущих весах $w$ (w) и $b$ (b). Разница терминов простая: loss (L) — «как плохо на этой картинке», cost (J) — «как плохо в среднем на всём наборе». Обучение — это поиск таких $w,b$, при которых $J$ минимальна.

Числовой пример. Три примера, модель на всех дала $\hat{y}=0.7$, а правильные ответы — $y=1,0,1$:

$$L(0.7,1)=-\log (0.7)=0.357,L(0.7,0)=-\log (0.3)=1.204,L(0.7,1)=0.357$$

$$J=\frac{0.357+1.204+0.357}{3}=\frac{1.918}{3}=0.639$$

Средний штраф — $0.639$. Именно это число обучение и пытается уменьшить, подбирая $w$ (w) и $b$ (b).

Если можешь пересказать: J — среднее loss'ов (L) по всем m примерам, loss про один пример, cost про весь набор, — листай дальше.

Мини-квиз: в чём разница между функцией затрат (cost) и функцией потерь (loss) для логистической регрессии?

Числовой пример: четверо друзей

Представь четверых друзей, которые гадают, пойдёт ли дождь. Трое отвечают осторожно и почти угадывают. Четвёртый уверенно говорит «дождя не будет» — и дождь идёт. Средний «штраф за неправоту» всей четвёрки взлетает не из-за троих аккуратных, а из-за одного уверенного и неправого. Это и есть механика $J$: она реагирует на худший случай сильнее, чем кажется на глаз.

Прежде чем читать дальше: как думаешь, если исправить одного из троих аккуратных друзей до идеального ответа, или чуть подправить уверенно неправого четвёртого — что сильнее снизит средний штраф $J$? Прикинь на глаз, а потом проверь на числах ниже.

Мини-проверка: пусть loss на трёх примерах — $0.1$, $0.15$, $0.2$, а на четвёртом (уверенная ошибка) — $3.0$. Что сильнее снизит $J$: исправить третий пример до loss $0.1$, или исправить четвёртый до loss $2.0$?

Твоя очередь: возьми любое число от $0.01$ до $0.1$, подставь его как loss третьего примера вместо $0.2$, и пересчитай $J$ для четырёх примеров ($0.1$, $0.15$, твоё число, $3.0$).

Полный числовой пример: четыре примера, у трёх модель угадывает прилично ($\hat{y}=0.9,0.85,0.8$, все $y=1$), а четвёртый — уверенная ошибка ($y=1$, но $\hat{y}=0.05$). Loss на каждом ($-\log \hat{y}$, поскольку везде $y=1$): $-\log 0.9=0.1054$, $-\log 0.85=0.1625$, $-\log 0.8=0.2231$, $-\log 0.05=2.9957$. Сумма — $3.4868$, делим на 4 примера: $J=0.8717$.

Замени четвёртый пример на такую же по силе, но правильно направленную уверенность ($\hat{y}=0.8$, loss $=0.2231$, как у третьего). Новая сумма — $0.7142$, делим на 4: $J=0.1785$. Одна замена — и $J$ снижается почти в 5 раз, хотя три остальных примера вообще не изменились.

Практический вывод: следить за одним числом $J$ мало — стоит проверять и худшие ошибки отдельно, иначе одна уверенная ошибка маскируется под приемлемым средним.

Если можешь пересказать: один уверенно неправый пример сдвигает среднее J гораздо сильнее, чем несколько аккуратных ошибок, — значит, тема усвоена.

Что дальше

Мы разобрали, откуда берётся число $J$ (J), которое обучение пытается уменьшить: loss на каждом примере через кросс-энтропию, затем усреднение по всем $m$ примерам. Осталось решить главный вопрос — как именно менять веса $w,b$ (w, b), чтобы $J$ действительно уменьшалось. Это тема следующей статьи — «Градиентный спуск».

Markdown source: /notes/cost-function/index.md · more at /notes