Создание надежного электронного архива — требования к форматам

Бесплатная консультация юриста

+7 (800) 301-07-30

Реклама jurik.ru

Создание надежного электронного архива — это не просто сохранение файлов на жесткий диск или в облако. Это сложный процесс, требующий соблюдения строгих стандартов, гарантирующих целостность, подлинность, доступность и читаемость документов на протяжении десятилетий. Выбор правильного формата файла является фундаментальным решением, от которого зависит судьба всего архива.

Ключевые требования к архивным форматам (Критерии отбора)

Не любой популярный формат подходит для долгосрочного хранения. Международные стандарты (в частности, модель OAIS — ISO 14721 и стандарт ISO 19005) выделяют следующие обязательные критерии:

  • Открытость и документация: Спецификация формата должна быть публично доступной, не зависеть от лицензий конкретного вендора и позволявать независимую реализацию программ для чтения/записи.
  • Самодокументируемость: Файл должен содержать внутри себя метаданные, необходимые для его интерпретации (описание структуры, кодировку, шрифты, цветовые профили), не требуя внешних справочников.
  • Отсутствие зависимостей: Формат не должен требовать для воспроизведения специфического оборудования, операционной системы или проприетарного ПО.
  • Поддержка метаданных: Возможность встраивания стандартизированных метаданных (Dublin Core, PREMIS, METS, XMP) для управления жизненным циклом документа.
  • Стабильность и распространенность: Формат должен иметь историю устойчивого использования и широкую поддержку в инструментах цифрового сохранения.
  • Отсутствие шифрования и защиты паролем: Архивная копия не должна быть зашифрована (ключи могут быть утеряны), защита обеспечивается на уровне инфраструктуры хранилища.

Эталонные форматы по категориям документов

Текстовые документы и полиграфия: PDF/A (ISO 19005)

PDF/A, это де-факто мировой стандарт для архивирования фиксированных документов. В отличие от обычного PDF, он запрещает:

  • Внешние ссылки (шрифты должны быть встроены полностью).
  • JavaScript и исполняемые действия.
  • Шифрование.
  • Аудио/видео контент (в базовых частях стандарта).
  • Сжатие с потерями (JPEG2000 допустим в PDF/A-2/3, но без потерь предпочтительнее).

Версии стандарта:

  1. PDF/A-1 (ISO 19005-1:2005): Базовая версия (уровни b — visual integrity, a — accessibility/structure). Ограниченная поддержка прозрачности и слоев.
  2. PDF/A-2 (ISO 19005-2:2011): Основана на PDF 1.7. Поддерживает JPEG2000, прозрачность, слои (OCG), встраивание файлов PDF/A. Рекомендуемая версия для большинства задач.
  3. PDF/A-3 (ISO 19005-3:2012): Позволяет встраивать файлы любого формата (XML, CSV, CAD, исходный .docx) как вложения. Идеально для «гибридных» архивов (визуальный PDF + машинно-читаемые данные).
  4. PDF/A-4 (ISO 19005-4:2020): Основана на PDF 2.0. Упрощает конформность, улучшает поддержку Unicode, 3D-аннотаций и связанных файлов. Перспективный стандарт.

Уровни соответствия (Conformance Levels):

  • Level B (Basic): Гарантирует визуальное воспроизведение.
  • Level A (Accessible): + Логическая структура (теги), Unicode mapping, порядок чтения. Обеспечивает доступность для слабовидящих и рефлоу текста.
  • Level U (Unicode): (В PDF/A-2/3/4) Гарантирует отображение всего текста в Unicode, но не требует полной логической структуры.
  • Level E (Engineering): (PDF/A-4e) Для инженерной документации (3D, CAD).
  • Level F (Files): (PDF/A-4f) Для контейнеров с вложениями без требований к визуальной части.

Структурированные данные и реестры: XML / CSV / JSON

  • XML (eXtensible Markup Language): Главный формат для обмена и архивирования структурированных данных. Обязательно использование схем (XSD) или DTD для валидации. Кодировка только UTF-8 (или UTF-16 с BOM).
  • CSV (Comma-Separated Values): Допустим для табличных данных (реестры, выгрузки БД). Критично: наличие заголовка, явное указание разделителя, кавычек, кодировки (UTF-8 с BOM для Excel-совместимости). Рекомендуется стандарт RFC 4180.
  • JSON: Используется для NoSQL-выгрузок, логов, API-архивов. Требует строгой схемы (JSON Schema) для долгосрочного понимания структуры.

Растровые изображения: TIFF, JPEG 2000, PNG

  • TIFF (Tagged Image File Format) — Baseline 6.0 / TIFF/EP: «Золотой стандарт» для сканирования документов, фото, карт.
    • Сжатие: LZW (без потерь, универсально) или CCITT Group 4 (для черно-белых сканов). Запрещено JPEG-сжатие внутри TIFF для архивов.
    • Теги: Обязательны теги разрешения (XResolution, YResolution, ResolutionUnit), цветового пространства (PhotometricInterpretation), ICC-профиля;
  • JPEG 2000 (JP2) — ISO 15444: Лучшее соотношение качества/объема для фото и крупных карт. Поддерживает беспотерьное сжатие, область интереса (ROI), тайлинг. Сложнее в реализации, чем TIFF.
  • PNG (Portable Network Graphics): Хорош для скриншотов, схем, графики с текстом (беспотерьное сжатие, альфа-канал). Не подходит для полиграфии (нет CMYK, нет DPI в стандартных чанках, хотя pHYs есть).

Векторная графика и чертежи: PDF/A, SVG, DXF/DWG

  • PDF/A-2/4 (Level E): Лучший выбор для архивирования CAD-чертежей, так как сохраняет векторную точность, слои и метаданные, будучи открытым стандартом.
  • SVG (Scalable Vector Graphics): Открытый стандарт W3C. Подходит для схем, карт, технических иллюстраций. Требует профиля SVG Tiny или Basic для стабильности.
  • DXF (Drawing Exchange Format): Открытый текстовый формат AutoCAD. Предпочтительнее проприетарного DWG для архива, но теряет некоторые специфические объекты.

Веб-архивы: WARC (ISO 28500)

Аудио/Видео: FFV1 / FLAC / MKV (Matroska)

  • Видео: Контейнер Matroska (MKV) + кодек FFV1 (FFmpeg Video Codec 1) — беспотерьное сжатие, открытый, с контрольными суммами кадров (CRC). Стандартизирован в IETF (RFC 9043). Альтернатива: Motion JPEG 2000 (сложнее, крупнее).
  • Аудио: FLAC (Free Lossless Audio Codec) в контейнере WAV (BWF — Broadcast Wave Format) или FLAC нативный. BWF добавляет чанк bext с метаданными (originator, timecode, coding history).

Нормативная база в Российской Федерации

Для государственных и муниципальных архивов, а также организаций критической информационной инфраструктуры (КИИ) обязательны:

  • ГОСТ Р 7.0.100-2018 «Национальная система стандартизации. Архивное дело. Формирование электронных архивов. Общие требования». Базовый документ, определяющий состав метаданных, структуру архива (папки/файлы), требования к носителям и контролю целостности.
  • ГОСТ Р 7.0.99-2018 «Архивное дело. Электронные документы. Требования к формированию и хранению».
  • Приказ Минкультуры России от № 2362 (утв. Административный регламент передачи документов в госархивы). Регламентирует форматы передачи: PDF/A-1a/1b, TIFF (G4), XML, CSV, WARC и др.
  • ФЗ-149 «Об архивном деле в РФ» и ФЗ-63 «Об электронной подписи» (требования к сохранению ЭП при архивировании).
  • ФСТЭК / ФСБ требования для защищенных систем (профили защиты, сертифицированные СЗИ).

Метаданные: «Душа» электронного архива

Файл без метаданных, это «черный ящик». Архивный пакет (AIP — Archival Information Package по OAIS) должен включать:

Тип метаданных Стандарт / Схема Назначение
Описательные (Descriptive) Dublin Core (DC), MODS, EAD (для описей фондов), ГОСТ Р 7.0.100 (атрибуты дела/документа) Поиск, идентификация, контекст (Автор, Название, Дата, Тема, Номер дела).
Технические (Technical) PREMIS, MIX (NISO Z39;87), EXIF/XMP (внутри файлов) Формат, версия, кодировка, разрешение, цветовое пространство, ПО-генератор, хеш-суммы.
Управляющие / Правовые (Administrative / Rights) PREMIS Rights, METS Rights, ODRL Права доступа, режим секретности (Гриф СС/ДСП/Коммерческая тайна), сроки хранения, действия по кассанции.
Структурные (Structural) METS (Metadata Encoding and Transmission Standard) Связи между файлами (страницы книги, тома дела, вложения), порядок листования.
Фиксирующие целостность (Fixity) PREMIS fixity (SHA-256, SHA-512) Контроль неизменности битовой последовательности при хранении и передаче.

Стратегии долгосрочного сохранения (Digital Preservation)

Выбор формата — только первый шаг. Необходима системная стратегия:

  1. Миграция (Migration): Перенос данных из устаревающего формата в актуальный (например, Word 97 -> PDF/A-2). Риск: потеря форматирования, метаданных. Требует верификации (QA).
  2. Эмуляция (Emulation): Воспроизведение исходной программной среды (ОС + Просмотрщик) на современном железе. Сохраняет «look & feel» идеально. Сложно в масштабе.
  3. Нормализация при приеме (Ingest Normalization): При попадании в архив все файлы конвертируются в эталонные форматы (PDF/A, TIFF, XML, FLAC). Оригиналы (SIP, Submission Information Package) хранятся параллельно «как есть» для возможной ре-нормализации в будущем.
  4. Контроль целостности (Fixity Checking): Регулярный (ежемесячный/квартальный) пересчет хеш-сумм (SHA-256) всех файлов архива и сравнение с эталонной базой (PREMIS Events). Автоматизация через ПО цифрового сохранения (Rosetta, Preservica, Archivematica, DSpace + модули).
  5. Множественное хранение (Replication): Правило 3-2-1: 3 копии, 2 разных типа носителя (диск + лента/облако), 1 копия в другом географическом месте (Off-site).

Типичные ошибки при формировании электронного архива

  • Хранение в «рабочих» форматах: .docx, .xlsx, .dwg, .psd, .jpg (с потерями). Эти форматы меняются, зависят от вендоров, могут повредиться.
  • Игнорирование встраивания шрифтов в PDF: При открытии на другом ПК документ «разваливается», меняется разбивка по страницам.
  • Использование паролей/шифрования на уровне файла: Потеря ключа = потеря всего массива данных навсегда.
  • Отсутствие контрольных сумм: Невозможно обнаружить «тихие» ошибки диска (bit rot) или вредоносное изменение.
  • Плохая структура именования и отсутствие METS/манифеста: Невозможно восстановить структуру дела после сбоя ФС.
  • Сканирование в JPEG вместо TIFF/PDF/A: Накопление артефактов сжатия при каждом пересохранении, потеря разрешения (DPI).

Чек-лист приема файла в архив (Ingest QA)

  1. Проверить соответствие формату (верyfikатор: veraPDF для PDF/A, JHOVE / FITS / MediaConch для остальных).
  2. Рассчитать хеш-сумму (SHA-256), записать в манифест (manifest.xml / bagit.txt) и базу PREMIS.
  3. Проверить наличие и корректность встроенных метаданных (XMP, EXIF, XML-схемы).
  4. Визуальный/автоматизированный контроль качества (QC): нет ли пустых страниц, «мусора» на сканах, обрезанного текста, неверной кодировки в XML/CSV.
  5. Упаковать в архивный пакет (AIP) по стандарту BagIt (RFC 8493) или METS + создать SIP для передачи/хранения.
  6. Зарегистрировать событие Ingest в журнале сохранения (Preservation Metadata / Audit Log).

Формат для электронного архива — это не техническая деталь, а стратегическое решение, определяющее срок жизни информации. Единого «лучшего» формата не существует, существует правильный набор форматов для каждого класса документов:

  • Документы/Дела: PDF/A-2b или PDF/A-3b (с вложенным исходником).
  • Сканы/Фото/Карты: TIFF (LZW/G4) + ICC-профиль или JPEG 2000 (JP2).
  • Данные/Реестры/БД: XML (с XSD) или CSV (RFC 4180, UTF-8).
  • Веб-сайты: WARC (ISO 28500).
  • Аудио/Видео: FLAC (BWF) / FFV1 (MKV).

Соблюдение стандартов ISO 14721 (OAIS), ISO 19005 (PDF/A), ГОСТ Р 7;0.100-2018 и внедрение процессов контроля целостности (Fixity) и миграции — единственный способ гарантировать, что ваш электронный архив останется читаемым и правомерным через 10, 50 и 100 лет.