Объясняем простым языком, что такое трансформеры

Получив последовательность целых чисел, представляющих входные данные, мы можем превратить их в эмбеддинги — это способ представления информации, облегчающий её обработку алгоритмами машинного обучения. Эмбеддинги передают смысл токенов в сжатом формате, представляя информацию в виде последовательности чисел. Сначала они синтезируются как случайная последовательность, а значимое представление формируется во время обучения

Так что такое эмбеддинги? Без определение дальнейшая статья читается как то наощупь... Потому что токены - последовательность чисел и эмбединги - она же.

Вот действительно странно: статья типа для начинающих и без математики - но ни эмбеддинг, ни даже токен не объясняются как понятия... А дальше по тексту всё равно начинается вот такое:

Этот механизм можно представить как метод, который заменяет каждый эмбеддинг токена на эмбеддинг, содержащий информацию о соседних токенах, вместо использования одинакового эмбеддинга для каждого токена вне зависимости от контекста.

Это же прям классика из "продвинутых" учебников, где тебе говорят: "Щас мы вам объясним понятие предела на пальцах!!! Вот смотрите - существует такой эпсилон, который больше нуля, да ещё и такой, что при каждом сигма (тоже большем нуля), равном эпсилон-итому, каждый сигма минус эпсилон по модулю меньше дельта! Вот так всё просто! Итак, продолжаем..."🤦‍♂️