Создание надежного электронного архива — это не просто сохранение файлов на жесткий диск или в облако. Это сложный процесс, требующий соблюдения строгих стандартов, гарантирующих целостность, подлинность, доступность и читаемость документов на протяжении десятилетий. Выбор правильного формата файла является фундаментальным решением, от которого зависит судьба всего архива.
Ключевые требования к архивным форматам (Критерии отбора)
Не любой популярный формат подходит для долгосрочного хранения. Международные стандарты (в частности, модель OAIS — ISO 14721 и стандарт ISO 19005) выделяют следующие обязательные критерии:
- Открытость и документация: Спецификация формата должна быть публично доступной, не зависеть от лицензий конкретного вендора и позволявать независимую реализацию программ для чтения/записи.
- Самодокументируемость: Файл должен содержать внутри себя метаданные, необходимые для его интерпретации (описание структуры, кодировку, шрифты, цветовые профили), не требуя внешних справочников.
- Отсутствие зависимостей: Формат не должен требовать для воспроизведения специфического оборудования, операционной системы или проприетарного ПО.
- Поддержка метаданных: Возможность встраивания стандартизированных метаданных (Dublin Core, PREMIS, METS, XMP) для управления жизненным циклом документа.
- Стабильность и распространенность: Формат должен иметь историю устойчивого использования и широкую поддержку в инструментах цифрового сохранения.
- Отсутствие шифрования и защиты паролем: Архивная копия не должна быть зашифрована (ключи могут быть утеряны), защита обеспечивается на уровне инфраструктуры хранилища.
Эталонные форматы по категориям документов
Текстовые документы и полиграфия: PDF/A (ISO 19005)
PDF/A, это де-факто мировой стандарт для архивирования фиксированных документов. В отличие от обычного PDF, он запрещает:
- Внешние ссылки (шрифты должны быть встроены полностью).
- JavaScript и исполняемые действия.
- Шифрование.
- Аудио/видео контент (в базовых частях стандарта).
- Сжатие с потерями (JPEG2000 допустим в PDF/A-2/3, но без потерь предпочтительнее).
Версии стандарта:
- PDF/A-1 (ISO 19005-1:2005): Базовая версия (уровни b — visual integrity, a — accessibility/structure). Ограниченная поддержка прозрачности и слоев.
- PDF/A-2 (ISO 19005-2:2011): Основана на PDF 1.7. Поддерживает JPEG2000, прозрачность, слои (OCG), встраивание файлов PDF/A. Рекомендуемая версия для большинства задач.
- PDF/A-3 (ISO 19005-3:2012): Позволяет встраивать файлы любого формата (XML, CSV, CAD, исходный .docx) как вложения. Идеально для «гибридных» архивов (визуальный PDF + машинно-читаемые данные).
- PDF/A-4 (ISO 19005-4:2020): Основана на PDF 2.0. Упрощает конформность, улучшает поддержку Unicode, 3D-аннотаций и связанных файлов. Перспективный стандарт.
Уровни соответствия (Conformance Levels):
- Level B (Basic): Гарантирует визуальное воспроизведение.
- Level A (Accessible): + Логическая структура (теги), Unicode mapping, порядок чтения. Обеспечивает доступность для слабовидящих и рефлоу текста.
- Level U (Unicode): (В PDF/A-2/3/4) Гарантирует отображение всего текста в Unicode, но не требует полной логической структуры.
- Level E (Engineering): (PDF/A-4e) Для инженерной документации (3D, CAD).
- Level F (Files): (PDF/A-4f) Для контейнеров с вложениями без требований к визуальной части.
Структурированные данные и реестры: XML / CSV / JSON
- XML (eXtensible Markup Language): Главный формат для обмена и архивирования структурированных данных. Обязательно использование схем (XSD) или DTD для валидации. Кодировка только UTF-8 (или UTF-16 с BOM).
- CSV (Comma-Separated Values): Допустим для табличных данных (реестры, выгрузки БД). Критично: наличие заголовка, явное указание разделителя, кавычек, кодировки (UTF-8 с BOM для Excel-совместимости). Рекомендуется стандарт RFC 4180.
- JSON: Используется для NoSQL-выгрузок, логов, API-архивов. Требует строгой схемы (JSON Schema) для долгосрочного понимания структуры.
Растровые изображения: TIFF, JPEG 2000, PNG
- TIFF (Tagged Image File Format) — Baseline 6.0 / TIFF/EP: «Золотой стандарт» для сканирования документов, фото, карт.
- Сжатие: LZW (без потерь, универсально) или CCITT Group 4 (для черно-белых сканов). Запрещено JPEG-сжатие внутри TIFF для архивов.
- Теги: Обязательны теги разрешения (XResolution, YResolution, ResolutionUnit), цветового пространства (PhotometricInterpretation), ICC-профиля;
- JPEG 2000 (JP2) — ISO 15444: Лучшее соотношение качества/объема для фото и крупных карт. Поддерживает беспотерьное сжатие, область интереса (ROI), тайлинг. Сложнее в реализации, чем TIFF.
- PNG (Portable Network Graphics): Хорош для скриншотов, схем, графики с текстом (беспотерьное сжатие, альфа-канал). Не подходит для полиграфии (нет CMYK, нет DPI в стандартных чанках, хотя pHYs есть).
Векторная графика и чертежи: PDF/A, SVG, DXF/DWG
- PDF/A-2/4 (Level E): Лучший выбор для архивирования CAD-чертежей, так как сохраняет векторную точность, слои и метаданные, будучи открытым стандартом.
- SVG (Scalable Vector Graphics): Открытый стандарт W3C. Подходит для схем, карт, технических иллюстраций. Требует профиля SVG Tiny или Basic для стабильности.
- DXF (Drawing Exchange Format): Открытый текстовый формат AutoCAD. Предпочтительнее проприетарного DWG для архива, но теряет некоторые специфические объекты.
Веб-архивы: WARC (ISO 28500)
Аудио/Видео: FFV1 / FLAC / MKV (Matroska)
- Видео: Контейнер Matroska (MKV) + кодек FFV1 (FFmpeg Video Codec 1) — беспотерьное сжатие, открытый, с контрольными суммами кадров (CRC). Стандартизирован в IETF (RFC 9043). Альтернатива: Motion JPEG 2000 (сложнее, крупнее).
- Аудио: FLAC (Free Lossless Audio Codec) в контейнере WAV (BWF — Broadcast Wave Format) или FLAC нативный. BWF добавляет чанк bext с метаданными (originator, timecode, coding history).
Нормативная база в Российской Федерации
Для государственных и муниципальных архивов, а также организаций критической информационной инфраструктуры (КИИ) обязательны:
- ГОСТ Р 7.0.100-2018 «Национальная система стандартизации. Архивное дело. Формирование электронных архивов. Общие требования». Базовый документ, определяющий состав метаданных, структуру архива (папки/файлы), требования к носителям и контролю целостности.
- ГОСТ Р 7.0.99-2018 «Архивное дело. Электронные документы. Требования к формированию и хранению».
- Приказ Минкультуры России от № 2362 (утв. Административный регламент передачи документов в госархивы). Регламентирует форматы передачи: PDF/A-1a/1b, TIFF (G4), XML, CSV, WARC и др.
- ФЗ-149 «Об архивном деле в РФ» и ФЗ-63 «Об электронной подписи» (требования к сохранению ЭП при архивировании).
- ФСТЭК / ФСБ требования для защищенных систем (профили защиты, сертифицированные СЗИ).
Метаданные: «Душа» электронного архива
Файл без метаданных, это «черный ящик». Архивный пакет (AIP — Archival Information Package по OAIS) должен включать:
| Тип метаданных | Стандарт / Схема | Назначение |
|---|---|---|
| Описательные (Descriptive) | Dublin Core (DC), MODS, EAD (для описей фондов), ГОСТ Р 7.0.100 (атрибуты дела/документа) | Поиск, идентификация, контекст (Автор, Название, Дата, Тема, Номер дела). |
| Технические (Technical) | PREMIS, MIX (NISO Z39;87), EXIF/XMP (внутри файлов) | Формат, версия, кодировка, разрешение, цветовое пространство, ПО-генератор, хеш-суммы. |
| Управляющие / Правовые (Administrative / Rights) | PREMIS Rights, METS Rights, ODRL | Права доступа, режим секретности (Гриф СС/ДСП/Коммерческая тайна), сроки хранения, действия по кассанции. |
| Структурные (Structural) | METS (Metadata Encoding and Transmission Standard) | Связи между файлами (страницы книги, тома дела, вложения), порядок листования. |
| Фиксирующие целостность (Fixity) | PREMIS fixity (SHA-256, SHA-512) | Контроль неизменности битовой последовательности при хранении и передаче. |
Стратегии долгосрочного сохранения (Digital Preservation)
Выбор формата — только первый шаг. Необходима системная стратегия:
- Миграция (Migration): Перенос данных из устаревающего формата в актуальный (например, Word 97 -> PDF/A-2). Риск: потеря форматирования, метаданных. Требует верификации (QA).
- Эмуляция (Emulation): Воспроизведение исходной программной среды (ОС + Просмотрщик) на современном железе. Сохраняет «look & feel» идеально. Сложно в масштабе.
- Нормализация при приеме (Ingest Normalization): При попадании в архив все файлы конвертируются в эталонные форматы (PDF/A, TIFF, XML, FLAC). Оригиналы (SIP, Submission Information Package) хранятся параллельно «как есть» для возможной ре-нормализации в будущем.
- Контроль целостности (Fixity Checking): Регулярный (ежемесячный/квартальный) пересчет хеш-сумм (SHA-256) всех файлов архива и сравнение с эталонной базой (PREMIS Events). Автоматизация через ПО цифрового сохранения (Rosetta, Preservica, Archivematica, DSpace + модули).
- Множественное хранение (Replication): Правило 3-2-1: 3 копии, 2 разных типа носителя (диск + лента/облако), 1 копия в другом географическом месте (Off-site).
Типичные ошибки при формировании электронного архива
- Хранение в «рабочих» форматах: .docx, .xlsx, .dwg, .psd, .jpg (с потерями). Эти форматы меняются, зависят от вендоров, могут повредиться.
- Игнорирование встраивания шрифтов в PDF: При открытии на другом ПК документ «разваливается», меняется разбивка по страницам.
- Использование паролей/шифрования на уровне файла: Потеря ключа = потеря всего массива данных навсегда.
- Отсутствие контрольных сумм: Невозможно обнаружить «тихие» ошибки диска (bit rot) или вредоносное изменение.
- Плохая структура именования и отсутствие METS/манифеста: Невозможно восстановить структуру дела после сбоя ФС.
- Сканирование в JPEG вместо TIFF/PDF/A: Накопление артефактов сжатия при каждом пересохранении, потеря разрешения (DPI).
Чек-лист приема файла в архив (Ingest QA)
- Проверить соответствие формату (верyfikатор: veraPDF для PDF/A, JHOVE / FITS / MediaConch для остальных).
- Рассчитать хеш-сумму (SHA-256), записать в манифест (manifest.xml / bagit.txt) и базу PREMIS.
- Проверить наличие и корректность встроенных метаданных (XMP, EXIF, XML-схемы).
- Визуальный/автоматизированный контроль качества (QC): нет ли пустых страниц, «мусора» на сканах, обрезанного текста, неверной кодировки в XML/CSV.
- Упаковать в архивный пакет (AIP) по стандарту BagIt (RFC 8493) или METS + создать SIP для передачи/хранения.
- Зарегистрировать событие Ingest в журнале сохранения (Preservation Metadata / Audit Log).
Формат для электронного архива — это не техническая деталь, а стратегическое решение, определяющее срок жизни информации. Единого «лучшего» формата не существует, существует правильный набор форматов для каждого класса документов:
- Документы/Дела: PDF/A-2b или PDF/A-3b (с вложенным исходником).
- Сканы/Фото/Карты: TIFF (LZW/G4) + ICC-профиль или JPEG 2000 (JP2).
- Данные/Реестры/БД: XML (с XSD) или CSV (RFC 4180, UTF-8).
- Веб-сайты: WARC (ISO 28500).
- Аудио/Видео: FLAC (BWF) / FFV1 (MKV).
Соблюдение стандартов ISO 14721 (OAIS), ISO 19005 (PDF/A), ГОСТ Р 7;0.100-2018 и внедрение процессов контроля целостности (Fixity) и миграции — единственный способ гарантировать, что ваш электронный архив останется читаемым и правомерным через 10, 50 и 100 лет.