Векторные базы данных и семантический поиск

До сих пор мы рассматривали хранилища для структурированных чисел и документов, где поиск осуществляется по строгому совпадению или числовому диапазону (val > 100, status = 'активен'). Однако значительная часть информации в современных системах интернета вещей и диспетчеризации представлена в неструктурированном виде: текстовые описания поломок от диспетчеров, аудиозаписи звонков граждан, тепловизионные снимки трансформаторов и спектрограммы вибродиагностики турбин.

Классический полнотекстовый поиск (построенный на сопоставлении подстрок и ключевых слов в B-дереве или инвертированном индексе BM25) бессилен, если пользователь ищет «прорыв трубы отопления», а в журнале зафиксировано «разгерметизация магистрального теплопровода диаметром 500 мм». Слова разные, но смысл (семантика) идентичен.

Решением этой проблемы стало появление векторных баз данных (Vector Databases) и методов семантического поиска ¹. В этой теме мы изучим векторные представления (эмбеддинги), метрики расстояния в многомерных пространствах, алгоритмы приближенного поиска ближайших соседей (ANN: HNSW, IVF) и архитектуру векторных СУБД (Qdrant, расширение pgvector для PostgreSQL).

Векторные эмбеддинги (Embeddings)

Эмбеддинг (Embedding) — это отображение неструктурированного объекта (текста, изображения, временного ряда) в плотный вектор вещественных чисел фиксированной размерности d:

\mathbf{v} \in \mathbb{R}^d, \quad d \in [128, 1536]

Нейросетевая модель (например, трансформеры семейства BERT или мини-модели вроде all-MiniLM-L6-v2) обучается таким образом, чтобы семантически близкие концепты проецировались в близкие точки многомерного векторного пространства:

\text{dist}(\mathbf{v}_{\text{прорыв трубы}}, \mathbf{v}_{\text{разгерметизация теплопровода}}) \ll \text{dist}(\mathbf{v}_{\text{прорыв трубы}}, \mathbf{v}_{\text{замена лампы освещения}})

Метрики расстояния и сходства

Для сравнения двух векторов \mathbf{a}, \mathbf{b} \in \mathbb{R}^d применяются фундаментальные метрики линейной алгебры ²:

1. Евклидово расстояние (L_2 distance): Геометрическое расстояние между концами векторов: d_{L_2}(\mathbf{a}, \mathbf{b}) = \sqrt{\sum_{i=1}^d (a_i - b_i)^2}
2. Манхэттенское расстояние (L_1 distance): Сумма модулей разностей координат: d_{L_1}(\mathbf{a}, \mathbf{b}) = \sum_{i=1}^d |a_i - b_i|
3. Косинусное сходство (Cosine Similarity) и косинусное расстояние: Косинус угла между векторами, не зависящий от их длины (нормы): \cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|} = \frac{\sum_{i=1}^d a_i b_i}{\sqrt{\sum a_i^2} \sqrt{\sum b_i^2}} Косинусное расстояние определяется как d_{\text{cos}}(\mathbf{a}, \mathbf{b}) = 1 - \cos(\theta). Если векторы предварительно нормализованы (\|\mathbf{a}\| = 1), вычисление косинусного сходства сводится к быстрому скалярному произведению (Dot Product): \mathbf{a} \cdot \mathbf{b} = \sum a_i b_i.

Проблема точного поиска и «проклятие размерности»

Задача поиска k ближайших соседей (k-Nearest Neighbors, k-NN) формулируется так: найти в базе из N векторов k векторов, имеющих минимальное расстояние до вектора запроса \mathbf{q}.

Точный поиск (Flat / Brute-force scan) требует последовательного вычисления расстояния от запроса до всех N векторов базы. При миллионе векторов размерности d=768 это требует миллиарда операций с плавающей точкой на каждый запрос.

Классические пространственные деревья (KD-деревья, R-деревья), эффективные на плоскости при d=2 или d=3, перестают работать в пространствах высокой размерности (d > 50) из-за математического феномена, известного как проклятие размерности (Curse of Dimensionality): все точки пространства становятся почти равноудаленными друг от друга, и поиск по дереву вырождается в полный перебор всех листьев ³.

Приближённый поиск ближайших соседей (ANN)

Чтобы обеспечить время ответа за миллисекунды, в векторных базах данных жертвуют 1–2 % точности, переходя к алгоритмам приближенного поиска ближайших соседей (Approximate Nearest Neighbors, ANN). Качество поиска оценивается метрикой полноты:

\text{Recall@}k = \frac{|\text{найденные ANN соседи} \cap \text{истинные соседи KNN}|}{k}

Существует два главных класса алгоритмов ANN:

1. Метод инвертированных списков файлов (Inverted File Index, IVF)

Пространство векторов предварительно кластеризуется алгоритмом k-средних (k-means) на C кластеров (центроидов). Каждый вектор базы привязывается к ближайшему центроиду (инвертированный список). При выполнении поиска:

1. Вектор запроса \mathbf{q} сравнивается только с C центроидами, и выбирается n_{\text{probe}} наиболее близких кластеров.
2. Сканируются только векторы, приписанные к этим n_{\text{probe}} кластерам, отсекая 95–99 % базы.

Для дополнительного сжатия векторов в памяти применяется производное квантование (Product Quantization, PQ), разбивающее вектор на подвекторы и заменяющее их кодами центроидов.

2. Иерархический граф малого мира (Hierarchical Navigable Small World, HNSW)

На сегодняшний день алгоритм HNSW, разработанный Ю. Малковым и Д. Яшковым ⁴, является золотым стандартом векторной индексации по соотношению скорости и полноты поиска.

В основе лежит идея графов малого мира (теория шести рукопожатий) и многоуровневой структуры списка с пропусками (Skip-List):

• Создается многоуровневый граф: нижний уровень (Layer 0) содержит все векторы базы данных, а каждый последующий более высокий уровень содержит экспоненциально меньше случайных вершин.
• На верхних разреженных уровнях алгоритм совершает «длинные прыжки» через всё векторное пространство, быстро приближаясь к окрестности запроса.
• На нижних уровнях выполняется точечный жадный спуск к ближайшим соседям.

Параметры HNSW:

• M — количество связей у каждой вершины (обычно 16–64);
• ef\_construction — размер очереди кандидатов при построении индекса;
• ef\_search — размер очереди кандидатов при выполнении поиска (регулирует баланс между скоростью и Recall).

Векторные СУБД: специализированные против расширений

В современной архитектуре существует два подхода к хранению векторов:

1. Специализированные векторные СУБД (Qdrant, Milvus, Chroma, Weaviate): Написаны с нуля под векторные операции (например, Qdrant написан на Rust). Поддерживают динамическую фильтрацию по метаданным (Payload Filtering) прямо в процессе обхода графа HNSW, сегментирование и квантование векторов в оперативной памяти ⁵.
2. Векторные расширения реляционных баз данных (pgvector для PostgreSQL): Добавляют тип данных vector(d) и индексные методы hnsw и ivfflat в существующую реляционную СУБД. Позволяют объединять векторный семантический поиск со строгими реляционными соединениями, транзакциями ACID и фильтрами по внешним ключам в одном SQL-запросе.

Пример семантического поиска в PostgreSQL с расширением pgvector:

-- Создание таблицы инцидентов с эмбеддингами размерности 384:
CREATE TABLE incident_embeddings (
    incident_id INT REFERENCES incidents(incident_id),
    description TEXT,
    embedding vector(384)
);

-- Построение индекса HNSW для косинусного расстояния:
CREATE INDEX ON incident_embeddings USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

-- Семантический поиск 5 наиболее похожих инцидентов:
SELECT incident_id, description,
       1 - (embedding <=> '[0.024, -0.115, ..., 0.089]') AS similarity
FROM incident_embeddings
ORDER BY embedding <=> '[0.024, -0.115, ..., 0.089]'
LIMIT 5;

Оператор <=> обозначает вычисление косинусного расстояния, <-> — евклидова расстояния, а <#> — отрицательного скалярного произведения.

Итоги темы

Векторные хранилища открыли эру семантического анализа неструктурированных данных. Перевод текстов, показаний датчиков и инцидентов в плотные векторные эмбеддинги позволяет сопоставлять события по смыслу, а не по буквальному совпадению слов. Алгоритмы приближенного поиска ANN (прежде всего графы HNSW) преодолели проклятие размерности, обеспечив поиск среди миллионов объектов за миллисекунды как в специализированных движках (Qdrant), так и внутри реляционных СУБД с pgvector.

Литература

1. Wiggers G., Verberne S. Modern Information Retrieval and Vector Search. — Foundations and Trends in Information Retrieval, 2023 ¹.
2. Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval. — Cambridge University Press, 2008. — Chapter 6: Scoring, Term Weighting, and the Vector Space Model ².
3. Indyk P., Motwani R. Approximate Nearest Neighbors: Towards Removing the Curse of Dimensionality. — Proceedings of the Thirtieth Annual ACM Symposium on Theory of Computing, 1998, С. 604–613 ³.
4. Malkov Y. A., Yashunin D. A. Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs. — IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, Vol. 42, No. 4, С. 824–836 ⁴.
5. Qdrant Team. Qdrant Vector Database Documentation: Architecture and Vector Indexing. — 2024. https://qdrant.tech/documentation/ ⁵.

Дополнительные материалы

Вопросы для самопроверки

1. Чем семантический векторный поиск принципиально отличается от лексического поиска по ключевым словам (BM25)?
2. Что такое векторный эмбеддинг и каким образом нейросетевые модели кодируют смысл текста в вещественные векторы фиксированной размерности?
3. В каких случаях при вычислении близости векторов используют косинусное сходство, а в каких — евклидово расстояние L_2?
4. Почему при нормализации векторов к единичной длине (\|\mathbf{v}\| = 1) вычисление косинусного расстояния эквивалентно скалярному произведению?
5. В чём заключается математическая суть «проклятия размерности» (Curse of Dimensionality) при поиске ближайших соседей?
6. Что такое метрика Recall@k и почему в векторных базах данных соглашаются на приближённый поиск (ANN) вместо точного (KNN)?
7. Опишите принцип работы индекса IVF (Inverted File Index). Какую роль играет параметр nprobe?
8. Как устроен иерархический граф HNSW? Какова аналогия между уровнями графа HNSW и алгоритмом Skip-List?
9. Какие параметры графа HNSW (M, ef\_construction, ef\_search) влияют на размер индекса, скорость его построения и полноту поиска?
10. Каковы компромиссы между использованием специализированной векторной базы данных (Qdrant) и расширения для реляционной СУБД (pgvector)?

Глоссарий темы

Шпаргалка по pgvector

-- Подключение расширения в PostgreSQL:
CREATE EXTENSION IF NOT EXISTS vector;

-- Создание таблицы с векторами размерности 1536:
CREATE TABLE articles (
    id SERIAL PRIMARY KEY,
    title TEXT,
    content_vector vector(1536)
);

-- Построение HNSW индекса с оптимизацией под косинусное расстояние:
CREATE INDEX ON articles USING hnsw (content_vector vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

-- Настройка точности поиска для текущей сессии (размер очереди кандидатов):
SET hnsw.ef_search = 40;

-- Поиск 10 наиболее близких статей:
SELECT id, title, content_vector <=> '[0.1, -0.2, ...]' AS distance
FROM articles
ORDER BY distance
LIMIT 10;

Типичные ошибки и подводные камни

1. Несоответствие размерностей векторов при поиске: Попытка выполнить поиск с вектором размерности 768 в таблице со столбцом vector(384) приведет к ошибке выполнения. Модель генерации эмбеддингов для индексации и для поисковых запросов должна быть строго идентичной.
2. Игнорирование нормализации векторов перед индексацией по скалярному произведению: Если векторы не приведены к единичной норме (\|\mathbf{v}\| = 1), оператор скалярного произведения будет предпочитать более длинные векторы, а не семантически близкие.
3. Слишком малое значение ef_search: Значение ef_search по умолчанию в pgvector равно 40. При росте базы до сотен тысяч векторов это может приводить к падению полноты (Recall) ниже 90 %. Рекомендуется профилировать точность и при необходимости повышать ef_search до 100–200.

Литература

1. Manning C. D. et al. Introduction to Information Retrieval. — Cambridge University Press, 2008 ¹.
2. Malkov Y. A., Yashunin D. A. Efficient and Robust Approximate Nearest Neighbor Search Using HNSW Graphs. — IEEE TPAMI, 2020 ².
3. pgvector Project. Open-Source Vector Similarity Search for Postgres. — 2024 ³.

Лабораторная работа 6. Семантический поиск инцидентов с эмбеддингами и графовым индексом HNSW в pgvector

• Раздел курса: тема 6 «Векторные базы данных и семантический поиск»

Введение

При регистрации обращений граждан и диспетчерских заявок об авариях в городской инфраструктуре операторы используют различные формулировки («течет батарея», «капает с потолка горячая вода», «свищ на стояке отопления»). Обычный поиск по ключевым словам не способен связать эти записи воедино.

В этой лабораторной работе вы разработаете систему семантического поиска на основе векторных эмбеддингов. Вы преобразуете текстовые описания инцидентов в числовые векторы с помощью предобученной компактной языковой модели, загрузите их в базу данных PostgreSQL с расширением pgvector, построите графовый индекс HNSW и оцените качество и скорость семантического поиска в сравнении с точным полным перебором.

Цель работы

Освоить пайплайн семантического поиска: генерацию эмбеддингов, хранение векторов в реляционной СУБД с расширением pgvector, индексацию по алгоритму HNSW и оценку компромисса между скоростью поиска и полнотой (Recall).

После выполнения работы вы сможете:

• преобразовывать текстовые описания в плотные векторные эмбеддинги с помощью библиотек машинного обучения (sentence-transformers);
• проектировать схемы таблиц с векторным типом vector(d) в PostgreSQL;
• строить и настраивать графовые индексы HNSW с контролем параметров M и ef\_construction;
• управлять балансом между задержкой поиска и полнотой выдачи через параметр hnsw.ef_search.

Оборудование и учебная среда

Для выполнения работы потребуются:

• PostgreSQL 16 с установленным расширением pgvector;
• Python 3 с установленными библиотеками psycopg, sentence-transformers и numpy;
• файл с набором текстовых описаний городских аварийных заявок incident_texts.csv.

Порядок выполнения работы

Часть 1. Генерация векторных эмбеддингов

1. Подготовьте скрипт генерации эмбеддингов на Python с использованием легковесной модели all-MiniLM-L6-v2 (размерность d = 384):

   import pandas as pd
   from sentence_transformers import SentenceTransformer
   
   # Загрузка модели
   model = SentenceTransformer('all-MiniLM-L6-v2')
   
   # Чтение датасета инцидентов
   df = pd.read_csv('incident_texts.csv')
   texts = df['description'].tolist()
   
   # Векторизация с нормализацией векторов (L2 norm = 1)
   embeddings = model.encode(texts, normalize_embeddings=True)
   df['embedding'] = [vec.tolist() for vec in embeddings]
   df.to_parquet('incidents_with_embeddings.parquet')
   

2. Убедитесь, что полученные векторы имеют длину ровно 384 вещественных числа.

Часть 2. Инициализация базы данных и загрузка векторов в pgvector

1. Подключитесь к PostgreSQL и активируйте расширение:

   CREATE EXTENSION IF NOT EXISTS vector;
   

2. Создайте таблицу для хранения инцидентов и их эмбеддингов:

   CREATE TABLE incidents_semantic (
       incident_id INT PRIMARY KEY,
       category VARCHAR(50),
       description TEXT,
       embedding vector(384)
   );
   

3. Загрузите данные из сгенерированного файла в таблицу базы данных.

Часть 3. Точный поиск (Flat Scan) и оценка задержки

1. Сформулируйте поисковый запрос на естественном языке, например: «прорыв трубы горячего водоснабжения в подвале».
2. Получите вектор этого запроса и выполните точный поиск 5 ближайших инцидентов по косинусному расстоянию (без создания индекса):

   EXPLAIN (ANALYZE, BUFFERS)
   SELECT incident_id, category, description,
          1 - (embedding <=> '[0.015, -0.082, ...]') AS similarity
   FROM incidents_semantic
   ORDER BY embedding <=> '[0.015, -0.082, ...]'
   LIMIT 5;
   

3. Обратите внимание на узел плана: Seq Scan. Зафиксируйте время выполнения запроса и найденные инциденты (эталонный результат точного k-NN).

Часть 4. Построение индекса HNSW и замеры полноты (Recall)

1. Постройте графовый индекс HNSW для косинусного расстояния:

   CREATE INDEX idx_incidents_hnsw ON incidents_semantic
   USING hnsw (embedding vector_cosine_ops)
   WITH (m = 16, ef_construction = 64);
   

2. Повторите поисковый запрос с замером времени:

   EXPLAIN (ANALYZE, BUFFERS)
   SELECT incident_id, category, description,
          1 - (embedding <=> '[0.015, -0.082, ...]') AS similarity
   FROM incidents_semantic
   ORDER BY embedding <=> '[0.015, -0.082, ...]'
   LIMIT 5;
   

3. Убедитесь, что план переключился на Index Scan using idx_incidents_hnsw. Сравните время выполнения с точным поиском.
4. Проверьте совпадение возвращенных идентификаторов инцидентов с эталонным результатом точного поиска (k-NN). Рассчитайте метрику \text{Recall@5}.
5. Протестируйте поведение при различных значениях параметра точности поиска:

   SET hnsw.ef_search = 10;
   -- повторить замер
   SET hnsw.ef_search = 100;
   -- повторить замер
   

Журнал работы

Подготовьте отчет о выполнении лабораторной работы, содержащий:

1. Описание использованной модели эмбеддингов и размерности векторов.
2. Сравнительную таблицу точного поиска (Seq Scan) и приближенного поиска (HNSW Index Scan): время выполнения, затраты ресурсов, найденные инциденты.
3. График или таблицу зависимости метрики Recall@5 и времени отклика от параметра hnsw.ef_search.
4. Примеры запросов, подтверждающие способность семантического поиска находить сходные инциденты без буквального совпадения слов.