Термин «набор в электронный архив» (часто используемый как синоним инжеста, пополнения или загрузки) обозначает комплекс технологических и организационных процедур по приему, проверке, описанию и размещению документов в системе электронного архивирования (SEA) или системе управления электронными документами (СУЭД). Это критический этап жизненного цикла документа, от качества которого зависит правовая сила, поисковость и долгосрочная сохранность информации.

Основные понятия и терминология

Перед погружением в процессы необходимо разграничить ключевые термины:

• Инжест (Ingest) — термин из стандарта OAIS (Open Archival Information System), обозначающий процесс приема пакета информации (SIP — Submission Information Package) и его преобразование в архивный пакет (AIP — Archival Information Package).
• Сканирование и оцифровка, физическое преобразование бумажных носителей в электронные образы (растровые или векторные). Это часто первый этап набора, но не сам набор.
• Атрибутирование (Метаданные) — присвоение документу набора атрибутов (автор, дата, тип, классификационный код, срок хранения, ответственное лицо) для идентификации и поиска.
• Пакетная загрузка (Batch Import) — автоматическая или полуавтоматическая загрузка больших объемов документов с метаданными (часто через CSV/XML/JSON манифесты).

Этапы процесса набора в электронный архив

Процесс можно разделить на 5 ключевых стадий. Пропуск или некачественное выполнение любой из них ведет к рискам потери данных или юридической недействительности архива.

Подготовка и предварительный контроль (Pre-ingest)

На этом этапе формируется SIP (Submission Information Package) — пакет передачи данных.

• Инвентаризация: составление реестра передаваемых дел/файлов;
• Проверка целостности: расчет и фиксация контрольных сумм (хэшей: MD5, SHA-256) для каждого файла.
• Нормализация форматов: преобразование проприетарных форматов в открытые, устойчивые к сохранению (PDF/A-1b/2b/3b для документов, TIFF/JPEG2000 для изображений, XML/CSV для данных, WAV/FLAC для аудио).
• Структурирование: выстраивание иерархии (Фонд -> Опись -> Дело -> Документ -> Страница/Файл) в соответствии с номенклатурой дел.

Трансфер и приемка (Transfer & Reception)

Физическая или логическая передача данных в зону ответственности архива.

• Копирование на промежуточный сервер (staging area) или прямая загрузка через API/веб-интерфейс.
• Автоматическая верификация хэшей (сравнение с манифестом, переданным отдельно).
• Проверка на вирусы (антивирусное сканирование).
• Валидация формата файлов (с использованием утилит вроде JHOVE, DROID, veraPDF) на соответствие заявленному профилю (например, PDF/A).

Атрибутирование и обогащение метаданными

Самый трудоемкий этап, определяющий «находимость» документа.

1. Автоматическое извлечение: чтение встроенных метаданных (EXIF, XMP, свойства файлов MS Office), OCR (распознавание текста) для полнотекстового поиска.
2. Ручное/Полуавтоматическое описание: заполнение карточки документа по номенклатуре (Шифр дела, Наименование, Даты начала/окончания, Срок хранения, Градота секретности, Форма доступа).
3. Привязка к классификационным схемам: Рубрикатор, Номенклатура дел, ОКВЭД, КЛАДР/ФИАС и др.
4. Генерация уникальных идентификаторов: присвоение UUID, ARK, DOI или внутренних ID системы.

Формирование Архивного Информационного Пакета (AIP)

Согласно модели OAIS, на основе SIP создается AIP — единица хранения в архиве.

• Упаковка файлов и дескриптивных метаданных в контейнер (часто BagIt, METS или проприетарный формат вендора).
• Добавление презервационных метаданных (PREMIS): информация о формате, действиях по сохранности, правах доступа, агентах, выполнивших действия.
• Размещение на долговременном хранилище (WORM-диски, ленточные библиотеки, объектное S3-хранилище с версионированием и Object Lock).

Регистрация в системе учета и открытие доступа (DIP)

Финальный этап — создание DIP (Dissemination Information Package) для пользователей.

• Индексация в поисковом движке (Elasticsearch, Solr, встроенные СУБД).
• Настройка прав доступа (RBAC/ABAC) в соответствии с законодательством (152-ФЗ, Гос. тайна, Ком. тайна, авторское право).
• Фиксация события в журнале аудита (Audit Trail) — кто, когда, что загрузил, с какими параметрами.

Нормативно-правовая база (для РФ)

Набор в электронный архив в России регулируется комплексом нормативных актов. Несоблюдение требований ведет к непризнанию юридической силы электронных документов.

Технологические подходы и инструменты

Способы загрузки

• Ручной (UI): Через веб-интерфейс архивиста. Подходит для единичных документов, доработки карточек.
• Пакетный (Batch/CLI/API): Загрузка ZIP-архивов с манифестом (metadata.csv, mets.xml). Основной способ для миграции и массового пополнения.
• Потоковый (Streaming/Integration): Автоматический прием из бизнес-систем (1С, SAP, CRM, СЭД) по событию «Документ утвержден/Завершен» через REST/SOAP API, Kafka, RabbitMQ.
• Email/Print-to-Archive: Переадресация писем на специальный адрес или виртуальный принтер для автоматического пополнения.

Ключевое ПО для подготовки набора (Open Source / Enterprise)

• Валидация форматов: veraPDF (PDF/A), JHOVE, DROID (PRONOM), ExifTool.
• Работа с пакетами (BagIt/METS): BagIt Python Library, Bagger (Library of Congress), Exactly, METS Editor.
• OCR / Распознавание: Tesseract (бесплатно), ABBYY FineReader Engine, OCRmyPDF (добавление текстового слоя в PDF).
• Миграция/ETL: Apache NiFi, Talend, Pentaho, кастомные скрипты на Python (библиотеки pandas, lxml, requests).
• Платформы архивирования (DAMS/SEA): Arhivist, Directum, SBIS, 1С:Документооборот, Docsvision, Rosarhiv, Islandora, ArchivesSpace, Preservica, Ex Libris Rosetta.

Типовые ошибки и риски при наборе

Чек-лист готовности к набору (Readiness Checklist)

Перед запуском массовой загрузки (миграции) убедитесь, что выполнены все пункты:

• [ ] Номенклатура дел загружена в систему и актуализирована.
• [ ] Справочники (организации, лица, классификаторы) синхронизированы/загружены;
• [ ] Профили форматов определены и настроены в валидаторе (PDF/A-2b, TIFF G4, UTF-8 XML).
• [ ] Правила именования файлов согласованы и документированы.
• [ ] Сценарии OCR протестированы на выборке (качество распознавания > 98%).
• [ ] Матрица прав доступа (Ролевая модель) настроена и протестирована на тестовых пользователях.
• [ ] Журнал аудита включен, пишется в неизменяемое хранилище (WORM/SIEM).
• [ ] План отката (Rollback) разработан: как удалить ошибочно загруженную партию без следов.
• [ ] Нагрузочное тестирование пройдено (скорость инжеста, нагрузка на БД, диск, поисковый индекс).
• [ ] Акт приема-передачи согласован с бизнес-заказчиком и ИБ.

Долгосрочная сохранность (Digital Preservation) начинается на этапе набора

Набор — это не просто «кладка файлов в папку». Это момент закладки фундамента для Digital Preservation.

Что нужно заложить сейчас, чтобы архив жил 50+ лет:

1. Фиксация представления (Representation Information): Сохранение не только файла, но и информации о софте/железе для его чтения (например, эмуляция или миграция).
2. PREMIS Events: Логирование каждого действия: ingest, validation, virusCheck, formatMigration, fixityCheck.
3. Планирование миграции форматов: При наборе сразу помечайте форматы «на наблюдении» (например, старые CAD, специфические медицинские форматы DICOM без валидации).
4. Целостность (Fixity): Настройка регулярной автоматической проверки хэшей на хранилище (еженедельно/ежемесячно).
5. Документирование контекста: Сохранение пользовательских инструкций, регламентов, скриншотов интерфейса исходной системы, это тоже часть архива (Contexual Information).

Набор в электронный архив — это инженеринговый процесс, требующий компетенций в области архивоведения, информационного права, информационной безопасности и DevOps/Data Engineering. Качество набора определяет, станет ли архив активом организации (источником знаний, доказательной базы, аналитики) или «цифровой свалкой», где найти нужный документ невозможно, а юридическая сила документов оспаривается в суде.

Инвестиции в автоматизацию валидации, стандартизацию метаданных (METS/PREMIS/BagIt) и построение конвейера CI/CD для инжеста окупаются за счет снижения ручного труда, исключения ошибок и гарантии соответствия регуляторным требованиям (Росархив, ФСТЭК, 152-ФЗ, GDPR).

Полезные ссылки и стандарты для углубленного изучения:

• ISO 14721 (OAIS) — Референтная модель открытой архивной информационной системы.
• ISO 16363 (TDR) — Аудит и сертификация надежных цифровых репозиториев.
• PREMIS Data Dictionary — Стандарт презервационных метаданных.
• METS (Metadata Encoding and Transmission Standard) — Стандарт упаковки метаданных и файлов.
• BagIt Specification (RFC 8493) — Формат пакетирования для передачи и хранения.
• Сайт Росархива (rosarchives.gov.ru) — Методические рекомендации, типовые акты, реестр СЭА.