Notes

• Производные с вычислительным графом
  24 сентября 2026 · 6 мин чтения

  Обратный ход по графу J = 3(a+bc): локальные наклоны на каждом узле, цепное правило, три производные dJ/da, dJ/db, dJ/dc посчитаны вручную и перепроверены численно, и как это сворачивается в dz = a − y из логистической регрессии.

• Градиентный спуск на m примерах: как усреднённый градиент двигает веса
  24 сентября 2026 · 8 мин чтения

  Как один шаг спуска учитывает сразу все m примеров, а не по одному: J и его градиенты dw, db — среднее по всем примерам, три примера посчитаны вручную от прямого хода до обновления весов, и наивная реализация двумя вложенными циклами (медленная — следующий шаг это исправит векторизацией).

• Вычислительный граф: выражение как схема
  24 сентября 2026 · 3 мин чтения

  Как разбить выражение J = 3(a+bc) на пронумерованные узлы-операции — рецепт или сборочный конвейер для математики — и посчитать его прямым ходом на конкретных числах a=4, b=3, c=2.

• Больше примеров производных
  24 сентября 2026 · 2 мин чтения

  Ещё два примера производных — f(a)=a³ и f(a)=ln(a) — численная проверка против формулы наклона, и общий паттерн: у каждой функции своя формула наклона.

• Производные: что такое наклон функции
  24 сентября 2026 · 4 мин чтения

  Что такое производная в буквальном смысле — наклон, как у дороги. Формальное определение через предел, численная производная через крошечный ε, и два примера: f(a)=3a с постоянным наклоном и f(a)=a² с наклоном, зависящим от точки.

• Вывод dL/dz: откуда берётся dz = a − y
  24 сентября 2026 · 7 мин чтения

  Полный вывод dz = a − y по цепному правилу с алгеброй на виду: производная кросс-энтропии по a, производная сигмоиды a(1−a), их сокращение до вычитания, и сравнение с квадратом разницы, где сигнал ошибки гаснет на уверенных промахах.

• Логистическая регрессия — градиентный спуск
  24 сентября 2026 · 7 мин чтения

  Полный разбор одного шага градиентного спуска для логистической регрессии: z, σ, ŷ с нуля, затем прямой ход, dz = a − y, dw = x·dz, db = dz и обновление весов на одном числовом примере, плюс два противоречивых примера, тянущих веса в разные стороны.

• Градиентный спуск
  24 сентября 2026 · 7 мин чтения

  Полный вывод идеи градиентного спуска с нуля: почему минимум J нельзя найти алгебраически, наклон как ощущение склона под ногами в тумане, правило w := w − α·dJ/dw с объяснением знака минус на числах, и та же чаша J(w) = w² при удачном и слишком большом шаге α.

• Функция стоимости логистической регрессии
  24 сентября 2026 · 7 мин чтения

  Полный вывод функции стоимости с нуля: почему квадрат разницы ломает выпуклость поверхности штрафа, кросс-энтропия по случаям y=1 и y=0 с числами, усреднение loss в J(w,b), и как одна уверенно-неправильная догадка среди трёх хороших тянет среднюю ошибку вверх сильнее, чем кажется.

• Логистическая регрессия: почему «регрессия» и где живёт граница решения
  18 сентября 2026 · 9 мин чтения

  Три пробела после «Бинарной классификации»: почему модель-классификатор называется регрессией (внутри — линейная z = w^T x + b, сигмоида лишь сжимает), где проходит граница решения (порог 0.5 = z = 0 = прямая), и честный вывод dz = a − y по цепному правилу. Плюс 10 шагов градиентного спуска на числах.

• Бинарная классификация: как машина отличает кота от не-кота
  13 сентября 2026 · 14 мин чтения

  Как машина отличает кота от не-кота: картинка 64×64×3 = 12288 чисел, нотация (x, y) и матрицы X (столбцы-примеры) и Y, логистическая регрессия ŷ = σ(w^T x + b), кросс-энтропия, функция стоимости J и градиентный спуск с числовым примером backprop. Каждая формула объяснена до числа.

• Как работает LLM: путь одного токена — от твоего вопроса до напечатанного ответа
  8 сентября 2026 · 16 мин чтения

  Цельный разбор пути одного токена: текст → токены → эмбеддинги → скрытые слои → логиты → softmax с температурой → один токен → повторить. С реальными схемами (matplotlib) и честной математикой затухания градиента.