1. Конвейер: один фрагмент — несколько представлений
Исходный фрагмент: «При уровне значимости α = 0,05 нулевая гипотеза не отвергается».
2. Токенизация: что считается токеном?
Меняйте текст и стратегию. Цветные элементы показывают токены, на которые алгоритм разбил строку.
Что такое перекрытие токенов и окон?
Обычная токенизация слов обычно не делает соседние токены перекрывающимися: «нулевая» и «гипотеза» — разные последовательные элементы. Перекрытие чаще появляется у символьных n-грамм (например, «гип», «ипо», «пот») или у окон/фрагментов текста, когда соседние отрывки делят часть текста. Subword-токенизатор может делить редкое слово на части, но конкретное разбиение зависит от обученного словаря модели.
3. BoW и TF–IDF: как из токенов получить числа
Мини-корпус: три предложения о статистике. BoW считает частоты терминов; TF–IDF дополнительно уменьшает вес слов, которые встречаются во многих документах.
Числа TF–IDF вычисляются в этой демонстрации по формуле TF × IDF, где IDF = ln((N+1)/(df+1)) + 1. Значения нормируются не обязательно; векторы здесь показаны до нормировки.
Чего BoW и TF–IDF не умеют?
Они не понимают синонимы и порядок слов. «Гипотеза отвергается» и «гипотеза не отвергается» могут иметь очень похожие векторы, хотя смысл противоположен. TF–IDF — не нейросетевая семантика.
4. Косинусная близость векторов
Перетаскивайте ползунки: конец зелёного вектора B должен двигаться по координатной плоскости. Синий A фиксирован.
Косинус зависит от угла между векторами. Нулевой вектор сравнивать нельзя.
5. Поиск похожей задачи — пошаговый пример
Представьте, что в коллекции есть задачи A, B и C. Запрос: «вероятность нормальной случайной величины».
В простом варианте мы считаем, сколько слов запроса встретилось в тексте каждой задачи. Это лексический поиск, не понимание смысла.
Почему это не эмбеддинги?
Лексический метод ищет одинаковые слова. Если в запросе «разброс данных», а в документе «дисперсия выборки», он может не найти совпадений. Эмбеддинги кодируют текст в плотный вектор, который может отражать семантическое сходство, но тоже требует проверки.
Контрольные вопросы
Чем токен отличается от слова?
Токен — единица конкретного токенизатора. Это может быть слово, часть слова, знак пунктуации, число или символьный фрагмент.
Чем BoW отличается от TF–IDF?
BoW хранит частоты терминов. TF–IDF повышает вес терминов, характерных для документа, и снижает вес широко распространённых слов.
Почему высокая близость не гарантирует одинаковый смысл?
Порядок слов, отрицания, числа и логические отношения могут быть потеряны при построении вектора.