В современных информационных системах архивы услуг (история заявок, договоров, актов, протоколов и т.п.) становятся важнейшим источником данных для аналитики, контроля качества и поддержки клиентов. Эффективный поиск по этим архивам позволяет быстро находить нужные документы, экономя время сотрудников и повышая удовлетворённость пользователей.

Что такое архивы услуги?

Архив услуги – это хранилище всех записей, связанных с предоставлением конкретного продукта или сервиса. В типичном случае в архив попадают:

• Заявки клиентов (текст, вложения, метаданные).
• Договоры и соглашения.
• Отчёты и акты выполненных работ.
• Переписка с поддержкой.
• Логи системных событий.

Все эти данные могут быть представлены в разных форматах (plain‑text, PDF, XML, JSON) и храниться в реляционных БД, NoSQL‑хранилищах или в поисковых движках.

Задачи поиска в архивах услуги

1. Поиск по ключевым словам и фразам.
2. Фильтрация по дате, типу документа, статусу.
3. Поддержка нечёткого поиска (опечатки, синонимы).
4. Учёт регистронезависимости и морфологии русского языка.
5. Работа с пунктуацией и специальными символами.

Трудности при поиске русскоязычного контента

Кодировка и коллатор

Как показал опыт работы с PostgreSQL, поиск не работает корректно, если база создана с LC_COLLATE = C и LC_CTYPE = C. Такие коллаторы не умеют правильно преобразовывать кириллические символы в нижний/верхний регистр, что приводит к тому, что запросы LIKE '%текст%' или LOWER(поле) не находят нужные строки.

Регистронезависимость

Для русского языка важно, чтобы поиск игнорировал регистр (Текст = текст). При использовании неподходящего коллатора (C) функция LOWER возвращает неверные результаты.

Пунктуация и специальные символы

Поисковые движки часто рассматривают знаки препинания как часть слова. Запрос "тест" может не находить документы, где слово написано как тест, тест. или тест?. Нужно настроить анализатор так, чтобы он игнорировал пунктуацию, но при этом позволял искать точные фразы при необходимости.

Морфология и синонимы

Русский язык богат падежами и суффиксами. Поиск по слову «заявка» должен находить «заявки», «заявок», «заявке» и т.д. Для этого используют стеммеры (например, russian_stem в PostgreSQL) или лемматизаторы в Elasticsearch.

Технологические решения

PostgreSQL + Full‑Text Search

PostgreSQL предоставляет встроенный механизм полнотекстового поиска, который поддерживает русский язык через конфигурацию russian. Пример:

CREATE TEXT SEARCH CONFIGURATION rus (COPY = russian);

ALTER TEXT SEARCH CONFIGURATION rus
 ALTER MAPPING FOR asciiword, asciihword, hword_asciipart, word, hword, hword_part
 WITH russian_stem;

Важно создать базу с корректным коллатором, например LC_COLLATE = 'ru_RU.UTF-8'.

Elasticsearch

Elasticsearch позволяет построить мощный поисковый индекс с поддержкой:

• Анализаторов, игнорирующих пунктуацию (standard + lowercase).
• Синонимов (через synonym_filter).
• Морфологической обработки русского языка (russian_morphology).

Пример настройки индекса:

{
 "settings": {
 "analysis": {
 "filter": {
 "russian_stop": { "type": "stop", "stopwords": "_russian_" },
 "russian_stemmer": { "type": "stemmer", "language": "russian" }
 },
 "analyzer": {
 "russian_analyzer": {
 "tokenizer": "standard",
 "filter": ["lowercase", "russian_stop", "russian_stemmer"]
 }
 }
 }
 },
 "mappings": {
 "properties": {
 "content": { "type": "text", "analyzer": "russian_analyzer" },
 "date": { "type": "date" },
 "type": { "type": "keyword" }
 }
 }}

Azure AI Search

Сервис Azure AI Search предлагает semantic ranking и query rewriting. При включённом семантическом ранжировании система автоматически исправляет опечатки, добавляет синонимы и учитывает контекст запроса.

Регулярные выражения (regex)

Для простых сценариев (поиск в логах, небольших файлах) можно использовать регулярные выражения, однако они не решают проблемы морфологии и регистронезависимости без дополнительной предобработки.

Практические рекомендации

• Выберите правильный коллатор. При работе с кириллицей используйте LC_COLLATE = 'ru_RU.UTF-8' и LC_CTYPE = 'ru_RU.UTF-8'.
• Храните исходный текст в UTF‑8 без преобразований.
• Для полнотекстового поиска в PostgreSQL создавайте tsvector‑колонки и обновляйте их триггерами.
• В Elasticsearch включайте ignore_above и norms только там, где это действительно нужно.
• Обрабатывайте пунктуацию: используйте фильтры pattern_replace или char_filter для её удаления.
• Добавляйте словарь синонимов (например, «заявка, запрос, обращение»).
• Тестируйте запросы на реальном наборе данных, проверяя как точные совпадения, так и «мягкий» поиск.
• Регулярно обновляйте индексы, особенно после массовых импортов новых архивных документов.

Пример реализации на PostgreSQL

-- 1. Создаём базу с русским коллатором
CREATE DATABASE service_archive
 TEMPLATE template0
 ENCODING 'UTF8'
 LC_COLLATE 'ru_RU.UTF-8'
 LC_CTYPE 'ru_RU.UTF-8';

-- 2. Таблица с архивными записями
CREATE TABLE archives (
 id SERIAL PRIMARY KEY,
 doc_type TEXT,
 created_at TIMESTAMP,
 content TEXT,
 tsv TSVECTOR
);

-- 3. Триггер для автоматического заполнения tsvector
CREATE FUNCTION archives_tsv_trigger RETURNS trigger AS $$
BEGIN
 NEW.tsv := to_tsvector('russian', coalesce(NEW.content,''));
 RETURN NEW;
END
$$ LANGUAGE plpgsql;

CREATE TRIGGER tsv_update BEFORE INSERT OR UPDATE
 ON archives FOR EACH ROW EXECUTE PROCEDURE archives_tsv_trigger;

-- 4. Пример поискового запроса
SELECT id, doc_type, created_at
FROM archives
WHERE tsv @@ plainto_tsquery('russian', 'заявк')
ORDER BY ts_rank_cd(tsv, plainto_tsquery('russian','заявк')) DESC
LIMIT 20;

Пример реализации на Elasticsearch

После создания индекса (см. выше) загрузим документы через Bulk API:

POST /service-archive/_bulk
{ "index": { "_id": "1" } }
{ "content": "Заявка клиента №12345 от ", "date": "2026-03-01", "type": "request" }
{ "index": { "_id": "2" } }
{ "content": "Акт выполненных работ по договору №54321", "date": "2026-04-15", "type": "act" }

Поиск:

GET /service-archive/_search
{ "query": {
 "match": {
 "content": {
 "query": "заявка",
 "operator": "and"
 }
 }
 },
 "highlight": {
 "fields": { "content": {} }
 }
}

Как настроить коллатор для кириллицы в PostgreSQL

1. Установите локаль в ОС: sudo locale-gen ru_RU.UTF-8.
2. Перезапустите сервер PostgreSQL.
3. Создайте новую базу с нужными параметрами (см. пример выше).
4. Проверьте работу LOWER:

   SELECT LOWER('После'), LOWER('после'); -- обе строки должны стать 'после'

Тестирование и отладка

Для гарантии качества поиска рекомендуется:

• Создать набор тестовых запросов (короткие, длинные, с пунктуацией, с опечатками).
• Сравнивать результаты между разными движками (PostgreSQL ↔ Elasticsearch).
• Использовать инструменты профилирования (EXPLAIN ANALYZE в PostgreSQL, profile API в Elasticsearch).
• Вести журнал запросов и анализировать «плохие» запросы, где релевантность низка.

Поиск по архивам услуги – это не просто «LIKE‑запрос», а комплексная задача, требующая учёта особенностей русского языка, правильной кодировки, выбора подходящего коллатора и, зачастую, применения специализированных поисковых движков. При правильной архитектуре (PostgreSQL + FTS, Elasticsearch, Azure AI Search) можно достичь высокой скорости и точности, а также обеспечить гибкую поддержку синонимов, морфологии и семантического ранжирования.

Помните: без корректного коллатора и кодировки любой поисковый механизм будет «слушать» только английские символы, а русский текст останется незамеченным.