Размеры электронных архивов

Бесплатная консультация юриста

+7 (800) 301-07-30

Реклама jurik.ru

Объем данных во всем мире растет экспоненциально. По прогнозам IDC, к 2025 году глобальный объем данных (Global Datasphere) достигнет 175 зеттабайт (ZB). Для отдельной организации это означает одну вещь: электронный архив перестает быть просто «папкой на сервере» и превращается в сложную инженерную систему, требующую грамотного планирования емкости, производительности и бюджета.

В этой статье мы подробно разберем, из чего складывается размер электронного архива, как рассчитать прогноз роста, какие стандарты регулируют хранение и как выбрать правильную архитектуру хранения для задач любого масштаба.


Классификация архивов по объему: от SMB до Enterprise

Понимание класса вашего архива — первый шаг к выбору технологии. В отрасли принято выделять несколько категорий по «сырому» объему данных (без учета резервного копирования и репликации):

  • Малый (SOHO / Малый бизнес): до 10–50 ТБ. Обычно размещается на одном NAS-устройстве или локальном сервере с RAID-массивом. Примеры: архив 1С, сканы первички, почтовый архив до 50 пользователей.
  • Средний (SMB / Средний бизнес): 50 ТБ – 1 ПБ. Требует кластерных файловых систем (Scale-out NAS), объектных хранилищ (S3-совместимых) или ленточных библиотек для холодных данных. Появляется необходимость в тирировании (Tiering).
  • Крупный (Enterprise): 1 ПБ – 10 ПБ. Многоуровневая архитектура: горячие данные на NVMe/SSD, теплые на HDD (NL-SAS), холодные на ленте (LTO-9/10) или в облаке (Coldline/Glacier). Обязательна георепликация.
  • Гипермасштабный (Hyperscale / Нац. архивы, Крупные телеком/Банки): 10 ПБ+ (до Эксабайт). Пользовательские файловые системы (Lustre, GPFS/IBM Spectrum Scale, Ceph), собственные дата-центры, работа с «бесконечным» ростом.

Анатомия размера: из чего реально состоит объем архива

Ошибка новичков — планировать место только под «полезные файлы». Реальный (Raw Capacity) в 2–4 раза больше полезного объема (Usable Capacity).

Полезная нагрузка (User Data)

Это сами документы: PDF, DWG, XML, EML, видео, аудио, базы данных.

  • Текст/Офисные форматы (DOCX, XLSX, PDF/A): 50 Кб – 10 Мб на файл. Сжимаются хорошо (дедупликация 30–60%).
  • Техническая документация (CAE/CAD, BIM): 10 Мб – 1 Гб+ на файл. Слабо сжимаются, требуют быстрого доступа.
  • Медиа/Видео/Аудио: Гб–Тб на единицу. Хранятся в исходном виде (без пережатия) для правовых целей.
  • Email-архивы (PST, MBOX, Journaling): 1–5 Гб на почтовый ящик в год.

Метаданные и индексы (Metadata & Indexes)

Часто упускаемый фактор. Полнотекстовый поиск (Elasticsearch, Solr, встроенные в ECM) требует 15–30% от объема полезных данных. Для 100 ТБ документов индексы займут 15–30 ТБ на быстрых дисках (SSD/NVMe).

Системные накладные расходы (Overhead)
  1. Файловая система / Объектный стек: inode-таблицы, журналы (journals), контрольные суммы (checksums) — 1–3%.
  2. Версионность (Versioning): Если ECM хранит все версии документа, объем растет пропорционально количеству правок. Средний коэффициент: x1.5 – x3 от текущего состояния.
  3. Корзина / Soft Delete / Retention Hold: Удаленные файлы не освобождают место сразу (политика удержания 30–90 дней).

Защита данных: Репликация, Erasure Coding, Бэкап

Это главный множитель «сырого» места.

Сценарий Множитель Raw/Usable Комментарий
RAID 6 (6+2) x1.33 Локальная защита от сбоя 2 дисков. Не защищает от пожара ДЦ.
Репликация 3x (3 копии) x3.0 Стандарт для HDFS, Ceph (replicated pool), облачных горячих данных.
Erasure Coding (EC 10+4 / 12+4) x1.3 – x1.5 Эффективно для холодных данных (>1 ПБ). Высокая нагрузка на CPU при восстановлении.
Geo-репликация (2 ДЦ) + EC x2.6 – x3.0 Минимум для Tier-1 Enterprise (RPO=0, RTO=минуты).
Резервное копирование (Veeam/Commvault + GFS) x2 – x4 (от Usable) Полные + инкрементальные копии, еженедельные/месячные/годовые точки восстановления. Хранится на отдельной инфраструктуре (лента/объектник).

Математика роста: как рассчитать прогноз на 3–5 лет

Нельзя покупать «с запасом на 10 лет» — железо морально устаревает за 3–5 лет (End of Life/End of Support). Покупаем под текущий год + 1–2 года роста, дальше, масштабируем (Scale-out).

Формула прогноза:

V_future = V_current × (1 + G_organic + G_migration + G_regulation) ^ Years

  • V_current — текущий объем полезных данных (Usable).
  • G_organic — органический рост (новые документы, почта, сканы). Типично: 20–40% в год для офисных данных, 50–100%+ для видео/IoT/техдокументации.
  • G_migration — разовые прыжки: переход на безбумажку (сканирование архива бумаги), подключение новых филиалов, поглощение компаний (M&A). Может дать +50–200% за месяц.
  • G_regulation, новые законы (увеличение сроков хранения, требование хранить логи/голос/видео звонков).

Пример расчета для среднего бизнеса (500 сотрудников):
  1. Текущий архив: 20 ТБ (Usable).
  2. Органический рост: 30%/год.
  3. План перевода входящей почты на сканирование: +5 ТБ разово в году 2.
  4. Срок планирования: 3 года.

Расчет:

  • Год 1: 20 × 1.3 = 26 ТБ.
  • Год 2: (26 + 5) × 1.3 = 40.3 ТБ.
  • Год 3: 40.3 × 1.3 = 52.4 ТБ (Usable).

Закупка Raw (с учетом EC 10+4 и бэкапа на ленте x1.5): 52.4 × 1.5 (EC) × 1.5 (Backup) ≈ 118 ТБ Raw к концу 3-го года.

Рекомендация: Покупаем кластер на 150–200 ТБ Raw (с запасом на диски-резервы и фрагментацию).


Тирирование (Tiering), единственный способ сдержать стоимость

Хранить 100% данных на NVMe или даже Enterprise HDD экономически нецелесообразно. Данные «остывают» по доступу:

  • Горячие (Hot): < 30 дней с момента создания/последнего доступа. ~5–10% объема. Требования: IOPS, латентность < 1 мс. Носитель: NVMe SSD, Optane.
  • Теплые (Warm): 30 дней – 2–3 года. ~15–25% объема. Требования: Throughput (пропускная способность). Носитель: Enterprise SAS SSD / NL-SAS HDD (7.2k RPM).
  • Холодные (Cold / Archive): > 3 лет (доступ 1-2 раза в год при аудите/суде). ~60–80% объема. Требования: $/TB, долговечность, энергонезависимость. Носитель: Лента (LTO-9: 18/45 ТБ, LTO-10: 36/90 ТБ) или Объектное облачное хранилище класса Archive (S3 Glacier Deep Archive, Yandex Object Storage Cold, S3 Selectel Cold).

Автоматизация (ILM — Information Lifecycle Management):

Современные ECM (1С:Документооборот, Directum, Docsvision, Alfresco, SharePoint) и файловые системы (Qumulo, Vast Data, Dell ECS, IBM COS, Ceph) позволяют задавать политики:

«Если файл не открывался 90 дней и его тег = «Бухгалтерия» -> Переместить на Tier-2 (HDD).
Если файл не открывался 3 года и срок хранения > 5 лет -> Переместить на Tier-3 (Лента/Облако Archive) с установкой Retention Lock (WORM)».


Нормативное регулирование размеров и сроков (РФ контекст)

Размер архива напрямую диктуется законами. Нельзя удалить — значит, нужно хранить и платить за диски.

Ключевые документы:
  • ФЗ-149 «Об информации, информационных технологиях и о защите информации» (ст. 9, 13) — требования к защите ПДн и криптозащите архивов.
  • ФЗ-402 «О бухгалтерском учете» (ст. 10) — срок хранения первичных документов и бух. регистров: минимум 5 лет (для некоторых категорий, 75 лет / бессрочно).
  • ФЗ-229 «Об архивном деле в РФ» — порядок формирования архивов, экспертиза ценности документов (акты отбора).
  • Приказ Росархива № 236 (от ) — типовые сроки хранения документов (Справочник).
  • ФЗ-152 «О персональных данных» — хранение только на территории РФ (для ПДн граждан РФ), требования к уничтожению по истечении цели.
  • ГОСТ Р 7.0.100-2018 / ISO 16175 — требования к системам управления документами/архивами (достоверность, целостность, доступность).

Влияние на размер:
  1. WORM (Write Once Read Many) / Retention Lock: Запрет удаления/изменения до истечения срока. Блокирует высвобождение места. Требует поддержки на уровне хранилища (S3 Object Lock, NetApp SnapLock, Dell CloudIQ, лента).
  2. Цифровая подпись / ЭП (КЭлектронная подпись): Хранение сертификатов, списков отзыва (CRL/OCSP), штампов времени (RFC 3161) увеличивает метаданные.
  3. Формат PDF/A (ISO 19005): Обязателен для долгосрочного хранения. Файлы PDF/A-2b/a/u больше исходных DOCX/PDF на 10–30% из-за встраивания шрифтов и цветовых профилей.
  4. Аудит-логи (Audit Trails): Логи доступа к архиву (кто, когда, что открыл/скачал/печатал) хранятся часто дольше самих документов. Объем: 1–5 Гб/день на активный кластер.

Технологии сжатия и дедупликации: реальная экономия

Не верьте маркетинговым «10:1». Реальные коэффициенты зависят от типа данных:

Тип данных Глобальная дедупликация (Cross-file) Сжатие (LZ4 / Zstd / Gzip)
Виртуальные машины / Бэкапы БД Очень высокий (90%+ общих блоков) Средний 10x – 20x
Email-архивы (вложения, пересланные письма) Высокий (Single Instance Storage) Хороший (текст) 3x – 5x
Офисные документы (DOCX, XLSX, PDF) Низкий (уникальный контент) Хороший (XML внутри) 1.5x – 2.5x
Сканы (TIFF G4, PDF Image Only) Низкий Низкий (уже сжаты CCITT G4 / JBIG2) 1.0x – 1.2x
CAD/BIM (DWG, RVT, IFC) Низкий Слабый 1.1x – 1.3x
Видео/Аудио/Зашифрованные данные Нулевой Нулевой (энтропия высокая) 1.0x

Архитектурные паттерны хранения под разные размеры

До 50 ТБ: «Всё в одной коробке» (All-in-One NAS)
  • Железо: 2-нодовый кластер (Synology, QNAP, TrueNAS, Dell PowerScale F200/F600, HPE Alletra MP).
  • ФС: ZFS / Btrfs / WAFL / OneFS — снапшоты, сжатие, репликация «из коробки».
  • Бэкап: Veeam -> Локальная лентотека (LTO-8/9) или Облако (S3).
  • Плюсы: Простота, низкий TCO.
  • Минусы: Предел масштабирования (Scale-up), единая точка отказа контроллера (если не кластер).

50 ТБ – 2 ПБ: Scale-out NAS / Объектное хранилище On-Prem
  • Scale-out NAS (Файловый доступ SMB/NFS): Dell PowerScale (Isilon), Qumulo, VAST Data, Huawei OceanStor Pacific, IBM Spectrum Scale (GPFS). Линейное масштабирование производительности и емкости добавлением нод.
  • Объектное хранилище (S3 API): MinIO (Enterprise), Cloudian, Dell ECS, OpenIO, Ceph (RadosGW). Идеально для WORM, версионности, метаданных, тирирования в облако/ленту.
  • ECM-интеграция: Большинство систем (1С, Directum, ELMA, Docsvision) умеют писать по S3 или NFS.

2 ПБ+: Гибридное мультиоблако (Hybrid Cloud)
  • On-Prem (Hot/Warm): VAST Data / Pure Storage FlashBlade / PowerScale — для активной работы, поиска, ИИ-аналитики.
  • Cloud / Tape (Cold/Archive): AWS S3 Glacier / Azure Blob Archive / Yandex Cloud Archive / Selectel Cold / Ленточная библиотека (Spectra Logic, Quantum Scalar i6/i7).
  • Data Fabric: ПО для прозрачного перемещения (Komprise, Datadobi, встроенные ILM в PowerScale/VAST/ECS).

Скрытые расходы (Hidden Costs), увеличивающие TCO

При расчете бюджета на «ТБ на диске» часто забывают:

  1. Электропитание и Охлаждение (PUE): HDD потребляет 5–8 Вт/ТБ (в работе), SSD, 0.1–0.3 Вт/ТБ. Лента — 0 Вт (офлайн). Разница в OPEX за 5 лет на 1 ПБ: сотни тысяч долларов/рублей.
  2. Пространство стойки (Rack Units): 4U на 60 дисков (High Density) vs 2U на 24 диска. Цена «квадратного метра» ДЦ.
  3. Лицензии ПО (Software Defined Storage): Часто лицензируются за «Raw TB» или «Usable TB». Ceph — бесплатно, но поддержка (Red Hat / SUSE) — за ноды. VAST / Qumulo / PowerScale — за емкость.
  4. Сетевая инфраструктура: 25/100/200/400 GbE свитчи, оптика, кабели. Для Scale-out кластеров сеть — это 30–40% стоимости железа.
  5. Миграция данных (Data Migration): Перекачка ПБ данных при смене поколения железа (Tech Refresh) — недели работы, риск потерь, простои. Планируйте «непрерывную миграцию» (Non-disruptive migration).
  6. Кадры / Экспертиза: Администрирование Ceph/GPFS/ECS требует высококвалифицированных инженеров (DevOps/Storage Admin).

Чек-лист: Аудит текущего архива и план действий

Пройдитесь по пунктам, чтобы понять, где вы стоите:

  1. Инвентаризация: Сколько ТБ «чистых» данных сейчас? Какой рост в ТБ/месяц за последние 6 месяцев?
  2. Классификация: Какой %, Горячие / Теплые / Холодные? (Запустите скрипт анализа atime/mtime).
  3. Сроки хранения: Есть ли матрица сроков (Retention Policy) по типам документов? Настроен ли автоматический Disposition (уничтожение)?
  4. Защита: Есть ли вторая копия в другом пожароустойчивом секторе/ДЦ? Проверяли ли восстановление (DR Drill) за последний год?
  5. Форматы: Все ли долгосрочные документы в PDF/A? Есть ли «мусор» (TMP, LOG, CACHE, старые бэкапы БД внутри файлового архива)?
  6. Поиск: Устраивает ли скорость полнотекстового поиска? Где живет индекс (на быстрых дисках)?
  7. Бюджет: Какой CAPEX/OPEX заложен на 3 года? Есть ли резерв на M&A или новые регуляторные требования?

Будущее: DNA-хранилище, Керамика и Квантовые ленты

На горизонте 5–10 лет:

  • DNA Data Storage: Плотность ~1 Эксабайт/мм³. Microsoft / Twist Bioscience / Catalog Technologies уже пилотно хранят данные. Пока скорость записи/чтения, часы/дни, стоимость — $1000+/Гб. Перспектива для «вечного» холодного архива (Национальные библиотеки, Генофонды).
  • Керамическая память (Cerabyte): Запись лазером на керамическом слое на стекле. Устойчиво к температуре, излучению, воде. Срок хранения 5000+ лет. Начинают коммерциализацию для Cold Tier.
  • LTO-10 / LTO-11 / LTO-12: Дорожная карта LTO Consortium обещает 36 ТБ (LTO-10) -> 96 ТБ (LTO-11) -> 192 ТБ (LTO-12) на картридж. Остается самым дешевым $/TB для Cold Tier ближайшие 10 лет.
  • Qumulo / VAST Data / WEKA / Hammerspace: Программно-определяемые файловые системы, стирающие границу между NAS и Object, работающие одинаково в On-Prem и AWS/Azure/GCP.

Размер электронного архива — это не статическая цифра в отчете «Диск С: свободно 5 ТБ». Это динамическая система, управляемая законами физики (энтропия, плотность записи), экономики ($/TB/Year) и права (Retention, GDPR/152-ФЗ).

Главные принципы успешного управления размерами:

  • Измеряйте не только «сколько весит», но и «как часто читают» (Telemetry/Analytics).
  • Тирируйте безжалостно: 80% данных через год не нужны для операционной работы — уходите на ленту/облако Archive.
  • Автоматизируйте ILM (Information Lifecycle Management) и Disposition (уничтожение по срокам) — ручная работа не масштабируется.
  • Планируйте Scale-out, а не Scale-up — покупайте архитектуру, где добавление ноды занимает часы, а не месяцы закупок и миграций.
  • Считайте TCO за 5 лет, а не цену диска сегодня. Электричество, место, лицензии, люди — главные статьи расходов.

Грамотно спроектированная архитектура хранения превращает архив из «кладбища файлов» в актив: быстрый поиск знаний, правозащита, аналитика данных и соответствие регулятору — всё это становится дешевле, если вы управляете размерами осознанно.


Статья подготовлена на основе актуальных на 2026 год практик проектирования Enterprise Information Management (EIM) систем, стандартов SNIA, IDC и требований российского законодательства.