Объем данных во всем мире растет экспоненциально. По прогнозам IDC, к 2025 году глобальный объем данных (Global Datasphere) достигнет 175 зеттабайт (ZB). Для отдельной организации это означает одну вещь: электронный архив перестает быть просто «папкой на сервере» и превращается в сложную инженерную систему, требующую грамотного планирования емкости, производительности и бюджета.
В этой статье мы подробно разберем, из чего складывается размер электронного архива, как рассчитать прогноз роста, какие стандарты регулируют хранение и как выбрать правильную архитектуру хранения для задач любого масштаба.
Классификация архивов по объему: от SMB до Enterprise
Понимание класса вашего архива — первый шаг к выбору технологии. В отрасли принято выделять несколько категорий по «сырому» объему данных (без учета резервного копирования и репликации):
- Малый (SOHO / Малый бизнес): до 10–50 ТБ. Обычно размещается на одном NAS-устройстве или локальном сервере с RAID-массивом. Примеры: архив 1С, сканы первички, почтовый архив до 50 пользователей.
- Средний (SMB / Средний бизнес): 50 ТБ – 1 ПБ. Требует кластерных файловых систем (Scale-out NAS), объектных хранилищ (S3-совместимых) или ленточных библиотек для холодных данных. Появляется необходимость в тирировании (Tiering).
- Крупный (Enterprise): 1 ПБ – 10 ПБ. Многоуровневая архитектура: горячие данные на NVMe/SSD, теплые на HDD (NL-SAS), холодные на ленте (LTO-9/10) или в облаке (Coldline/Glacier). Обязательна георепликация.
- Гипермасштабный (Hyperscale / Нац. архивы, Крупные телеком/Банки): 10 ПБ+ (до Эксабайт). Пользовательские файловые системы (Lustre, GPFS/IBM Spectrum Scale, Ceph), собственные дата-центры, работа с «бесконечным» ростом.
Анатомия размера: из чего реально состоит объем архива
Ошибка новичков — планировать место только под «полезные файлы». Реальный (Raw Capacity) в 2–4 раза больше полезного объема (Usable Capacity).
Полезная нагрузка (User Data)
Это сами документы: PDF, DWG, XML, EML, видео, аудио, базы данных.
- Текст/Офисные форматы (DOCX, XLSX, PDF/A): 50 Кб – 10 Мб на файл. Сжимаются хорошо (дедупликация 30–60%).
- Техническая документация (CAE/CAD, BIM): 10 Мб – 1 Гб+ на файл. Слабо сжимаются, требуют быстрого доступа.
- Медиа/Видео/Аудио: Гб–Тб на единицу. Хранятся в исходном виде (без пережатия) для правовых целей.
- Email-архивы (PST, MBOX, Journaling): 1–5 Гб на почтовый ящик в год.
Метаданные и индексы (Metadata & Indexes)
Часто упускаемый фактор. Полнотекстовый поиск (Elasticsearch, Solr, встроенные в ECM) требует 15–30% от объема полезных данных. Для 100 ТБ документов индексы займут 15–30 ТБ на быстрых дисках (SSD/NVMe).
Системные накладные расходы (Overhead) - Файловая система / Объектный стек: inode-таблицы, журналы (journals), контрольные суммы (checksums) — 1–3%.
- Версионность (Versioning): Если ECM хранит все версии документа, объем растет пропорционально количеству правок. Средний коэффициент: x1.5 – x3 от текущего состояния.
- Корзина / Soft Delete / Retention Hold: Удаленные файлы не освобождают место сразу (политика удержания 30–90 дней).
Защита данных: Репликация, Erasure Coding, Бэкап
Это главный множитель «сырого» места.
| Сценарий | Множитель Raw/Usable | Комментарий |
|---|---|---|
| RAID 6 (6+2) | x1.33 | Локальная защита от сбоя 2 дисков. Не защищает от пожара ДЦ. |
| Репликация 3x (3 копии) | x3.0 | Стандарт для HDFS, Ceph (replicated pool), облачных горячих данных. |
| Erasure Coding (EC 10+4 / 12+4) | x1.3 – x1.5 | Эффективно для холодных данных (>1 ПБ). Высокая нагрузка на CPU при восстановлении. |
| Geo-репликация (2 ДЦ) + EC | x2.6 – x3.0 | Минимум для Tier-1 Enterprise (RPO=0, RTO=минуты). |
| Резервное копирование (Veeam/Commvault + GFS) | x2 – x4 (от Usable) | Полные + инкрементальные копии, еженедельные/месячные/годовые точки восстановления. Хранится на отдельной инфраструктуре (лента/объектник). |
Математика роста: как рассчитать прогноз на 3–5 лет
Нельзя покупать «с запасом на 10 лет» — железо морально устаревает за 3–5 лет (End of Life/End of Support). Покупаем под текущий год + 1–2 года роста, дальше, масштабируем (Scale-out).
Формула прогноза:
V_future = V_current × (1 + G_organic + G_migration + G_regulation) ^ Years
- V_current — текущий объем полезных данных (Usable).
- G_organic — органический рост (новые документы, почта, сканы). Типично: 20–40% в год для офисных данных, 50–100%+ для видео/IoT/техдокументации.
- G_migration — разовые прыжки: переход на безбумажку (сканирование архива бумаги), подключение новых филиалов, поглощение компаний (M&A). Может дать +50–200% за месяц.
- G_regulation, новые законы (увеличение сроков хранения, требование хранить логи/голос/видео звонков).
Пример расчета для среднего бизнеса (500 сотрудников): - Текущий архив: 20 ТБ (Usable).
- Органический рост: 30%/год.
- План перевода входящей почты на сканирование: +5 ТБ разово в году 2.
- Срок планирования: 3 года.
Расчет:
- Год 1: 20 × 1.3 = 26 ТБ.
- Год 2: (26 + 5) × 1.3 = 40.3 ТБ.
- Год 3: 40.3 × 1.3 = 52.4 ТБ (Usable).
Закупка Raw (с учетом EC 10+4 и бэкапа на ленте x1.5): 52.4 × 1.5 (EC) × 1.5 (Backup) ≈ 118 ТБ Raw к концу 3-го года.
Рекомендация: Покупаем кластер на 150–200 ТБ Raw (с запасом на диски-резервы и фрагментацию).
Тирирование (Tiering), единственный способ сдержать стоимость
Хранить 100% данных на NVMe или даже Enterprise HDD экономически нецелесообразно. Данные «остывают» по доступу:
- Горячие (Hot): < 30 дней с момента создания/последнего доступа. ~5–10% объема. Требования: IOPS, латентность < 1 мс. Носитель: NVMe SSD, Optane.
- Теплые (Warm): 30 дней – 2–3 года. ~15–25% объема. Требования: Throughput (пропускная способность). Носитель: Enterprise SAS SSD / NL-SAS HDD (7.2k RPM).
- Холодные (Cold / Archive): > 3 лет (доступ 1-2 раза в год при аудите/суде). ~60–80% объема. Требования: $/TB, долговечность, энергонезависимость. Носитель: Лента (LTO-9: 18/45 ТБ, LTO-10: 36/90 ТБ) или Объектное облачное хранилище класса Archive (S3 Glacier Deep Archive, Yandex Object Storage Cold, S3 Selectel Cold).
Автоматизация (ILM — Information Lifecycle Management):
Современные ECM (1С:Документооборот, Directum, Docsvision, Alfresco, SharePoint) и файловые системы (Qumulo, Vast Data, Dell ECS, IBM COS, Ceph) позволяют задавать политики:
«Если файл не открывался 90 дней и его тег = «Бухгалтерия» -> Переместить на Tier-2 (HDD).
Если файл не открывался 3 года и срок хранения > 5 лет -> Переместить на Tier-3 (Лента/Облако Archive) с установкой Retention Lock (WORM)».
Нормативное регулирование размеров и сроков (РФ контекст)
Размер архива напрямую диктуется законами. Нельзя удалить — значит, нужно хранить и платить за диски.
Ключевые документы: - ФЗ-149 «Об информации, информационных технологиях и о защите информации» (ст. 9, 13) — требования к защите ПДн и криптозащите архивов.
- ФЗ-402 «О бухгалтерском учете» (ст. 10) — срок хранения первичных документов и бух. регистров: минимум 5 лет (для некоторых категорий, 75 лет / бессрочно).
- ФЗ-229 «Об архивном деле в РФ» — порядок формирования архивов, экспертиза ценности документов (акты отбора).
- Приказ Росархива № 236 (от ) — типовые сроки хранения документов (Справочник).
- ФЗ-152 «О персональных данных» — хранение только на территории РФ (для ПДн граждан РФ), требования к уничтожению по истечении цели.
- ГОСТ Р 7.0.100-2018 / ISO 16175 — требования к системам управления документами/архивами (достоверность, целостность, доступность).
Влияние на размер: - WORM (Write Once Read Many) / Retention Lock: Запрет удаления/изменения до истечения срока. Блокирует высвобождение места. Требует поддержки на уровне хранилища (S3 Object Lock, NetApp SnapLock, Dell CloudIQ, лента).
- Цифровая подпись / ЭП (КЭлектронная подпись): Хранение сертификатов, списков отзыва (CRL/OCSP), штампов времени (RFC 3161) увеличивает метаданные.
- Формат PDF/A (ISO 19005): Обязателен для долгосрочного хранения. Файлы PDF/A-2b/a/u больше исходных DOCX/PDF на 10–30% из-за встраивания шрифтов и цветовых профилей.
- Аудит-логи (Audit Trails): Логи доступа к архиву (кто, когда, что открыл/скачал/печатал) хранятся часто дольше самих документов. Объем: 1–5 Гб/день на активный кластер.
Технологии сжатия и дедупликации: реальная экономия
- WORM (Write Once Read Many) / Retention Lock: Запрет удаления/изменения до истечения срока. Блокирует высвобождение места. Требует поддержки на уровне хранилища (S3 Object Lock, NetApp SnapLock, Dell CloudIQ, лента).
- Цифровая подпись / ЭП (КЭлектронная подпись): Хранение сертификатов, списков отзыва (CRL/OCSP), штампов времени (RFC 3161) увеличивает метаданные.
- Формат PDF/A (ISO 19005): Обязателен для долгосрочного хранения. Файлы PDF/A-2b/a/u больше исходных DOCX/PDF на 10–30% из-за встраивания шрифтов и цветовых профилей.
- Аудит-логи (Audit Trails): Логи доступа к архиву (кто, когда, что открыл/скачал/печатал) хранятся часто дольше самих документов. Объем: 1–5 Гб/день на активный кластер.
Технологии сжатия и дедупликации: реальная экономия
Не верьте маркетинговым «10:1». Реальные коэффициенты зависят от типа данных:
| Тип данных | Глобальная дедупликация (Cross-file) | Сжатие (LZ4 / Zstd / Gzip) | |
|---|---|---|---|
| Виртуальные машины / Бэкапы БД | Очень высокий (90%+ общих блоков) | Средний | 10x – 20x |
| Email-архивы (вложения, пересланные письма) | Высокий (Single Instance Storage) | Хороший (текст) | 3x – 5x |
| Офисные документы (DOCX, XLSX, PDF) | Низкий (уникальный контент) | Хороший (XML внутри) | 1.5x – 2.5x |
| Сканы (TIFF G4, PDF Image Only) | Низкий | Низкий (уже сжаты CCITT G4 / JBIG2) | 1.0x – 1.2x |
| CAD/BIM (DWG, RVT, IFC) | Низкий | Слабый | 1.1x – 1.3x |
| Видео/Аудио/Зашифрованные данные | Нулевой | Нулевой (энтропия высокая) | 1.0x |
Архитектурные паттерны хранения под разные размеры До 50 ТБ: «Всё в одной коробке» (All-in-One NAS) - Железо: 2-нодовый кластер (Synology, QNAP, TrueNAS, Dell PowerScale F200/F600, HPE Alletra MP).
- ФС: ZFS / Btrfs / WAFL / OneFS — снапшоты, сжатие, репликация «из коробки».
- Бэкап: Veeam -> Локальная лентотека (LTO-8/9) или Облако (S3).
- Плюсы: Простота, низкий TCO.
- Минусы: Предел масштабирования (Scale-up), единая точка отказа контроллера (если не кластер).
50 ТБ – 2 ПБ: Scale-out NAS / Объектное хранилище On-Prem - Scale-out NAS (Файловый доступ SMB/NFS): Dell PowerScale (Isilon), Qumulo, VAST Data, Huawei OceanStor Pacific, IBM Spectrum Scale (GPFS). Линейное масштабирование производительности и емкости добавлением нод.
- Объектное хранилище (S3 API): MinIO (Enterprise), Cloudian, Dell ECS, OpenIO, Ceph (RadosGW). Идеально для WORM, версионности, метаданных, тирирования в облако/ленту.
- ECM-интеграция: Большинство систем (1С, Directum, ELMA, Docsvision) умеют писать по S3 или NFS.
2 ПБ+: Гибридное мультиоблако (Hybrid Cloud) - On-Prem (Hot/Warm): VAST Data / Pure Storage FlashBlade / PowerScale — для активной работы, поиска, ИИ-аналитики.
- Cloud / Tape (Cold/Archive): AWS S3 Glacier / Azure Blob Archive / Yandex Cloud Archive / Selectel Cold / Ленточная библиотека (Spectra Logic, Quantum Scalar i6/i7).
- Data Fabric: ПО для прозрачного перемещения (Komprise, Datadobi, встроенные ILM в PowerScale/VAST/ECS).
Скрытые расходы (Hidden Costs), увеличивающие TCO
- Железо: 2-нодовый кластер (Synology, QNAP, TrueNAS, Dell PowerScale F200/F600, HPE Alletra MP).
- ФС: ZFS / Btrfs / WAFL / OneFS — снапшоты, сжатие, репликация «из коробки».
- Бэкап: Veeam -> Локальная лентотека (LTO-8/9) или Облако (S3).
- Плюсы: Простота, низкий TCO.
- Минусы: Предел масштабирования (Scale-up), единая точка отказа контроллера (если не кластер).
50 ТБ – 2 ПБ: Scale-out NAS / Объектное хранилище On-Prem - Scale-out NAS (Файловый доступ SMB/NFS): Dell PowerScale (Isilon), Qumulo, VAST Data, Huawei OceanStor Pacific, IBM Spectrum Scale (GPFS). Линейное масштабирование производительности и емкости добавлением нод.
- Объектное хранилище (S3 API): MinIO (Enterprise), Cloudian, Dell ECS, OpenIO, Ceph (RadosGW). Идеально для WORM, версионности, метаданных, тирирования в облако/ленту.
- ECM-интеграция: Большинство систем (1С, Directum, ELMA, Docsvision) умеют писать по S3 или NFS.
2 ПБ+: Гибридное мультиоблако (Hybrid Cloud) - On-Prem (Hot/Warm): VAST Data / Pure Storage FlashBlade / PowerScale — для активной работы, поиска, ИИ-аналитики.
- Cloud / Tape (Cold/Archive): AWS S3 Glacier / Azure Blob Archive / Yandex Cloud Archive / Selectel Cold / Ленточная библиотека (Spectra Logic, Quantum Scalar i6/i7).
- Data Fabric: ПО для прозрачного перемещения (Komprise, Datadobi, встроенные ILM в PowerScale/VAST/ECS).
Скрытые расходы (Hidden Costs), увеличивающие TCO
- On-Prem (Hot/Warm): VAST Data / Pure Storage FlashBlade / PowerScale — для активной работы, поиска, ИИ-аналитики.
- Cloud / Tape (Cold/Archive): AWS S3 Glacier / Azure Blob Archive / Yandex Cloud Archive / Selectel Cold / Ленточная библиотека (Spectra Logic, Quantum Scalar i6/i7).
- Data Fabric: ПО для прозрачного перемещения (Komprise, Datadobi, встроенные ILM в PowerScale/VAST/ECS).
Скрытые расходы (Hidden Costs), увеличивающие TCO
При расчете бюджета на «ТБ на диске» часто забывают:
- Электропитание и Охлаждение (PUE): HDD потребляет 5–8 Вт/ТБ (в работе), SSD, 0.1–0.3 Вт/ТБ. Лента — 0 Вт (офлайн). Разница в OPEX за 5 лет на 1 ПБ: сотни тысяч долларов/рублей.
- Пространство стойки (Rack Units): 4U на 60 дисков (High Density) vs 2U на 24 диска. Цена «квадратного метра» ДЦ.
- Лицензии ПО (Software Defined Storage): Часто лицензируются за «Raw TB» или «Usable TB». Ceph — бесплатно, но поддержка (Red Hat / SUSE) — за ноды. VAST / Qumulo / PowerScale — за емкость.
- Сетевая инфраструктура: 25/100/200/400 GbE свитчи, оптика, кабели. Для Scale-out кластеров сеть — это 30–40% стоимости железа.
- Миграция данных (Data Migration): Перекачка ПБ данных при смене поколения железа (Tech Refresh) — недели работы, риск потерь, простои. Планируйте «непрерывную миграцию» (Non-disruptive migration).
- Кадры / Экспертиза: Администрирование Ceph/GPFS/ECS требует высококвалифицированных инженеров (DevOps/Storage Admin).
Чек-лист: Аудит текущего архива и план действий
Пройдитесь по пунктам, чтобы понять, где вы стоите:
- Инвентаризация: Сколько ТБ «чистых» данных сейчас? Какой рост в ТБ/месяц за последние 6 месяцев?
- Классификация: Какой %, Горячие / Теплые / Холодные? (Запустите скрипт анализа atime/mtime).
- Сроки хранения: Есть ли матрица сроков (Retention Policy) по типам документов? Настроен ли автоматический Disposition (уничтожение)?
- Защита: Есть ли вторая копия в другом пожароустойчивом секторе/ДЦ? Проверяли ли восстановление (DR Drill) за последний год?
- Форматы: Все ли долгосрочные документы в PDF/A? Есть ли «мусор» (TMP, LOG, CACHE, старые бэкапы БД внутри файлового архива)?
- Поиск: Устраивает ли скорость полнотекстового поиска? Где живет индекс (на быстрых дисках)?
- Бюджет: Какой CAPEX/OPEX заложен на 3 года? Есть ли резерв на M&A или новые регуляторные требования?
Будущее: DNA-хранилище, Керамика и Квантовые ленты
На горизонте 5–10 лет:
- DNA Data Storage: Плотность ~1 Эксабайт/мм³. Microsoft / Twist Bioscience / Catalog Technologies уже пилотно хранят данные. Пока скорость записи/чтения, часы/дни, стоимость — $1000+/Гб. Перспектива для «вечного» холодного архива (Национальные библиотеки, Генофонды).
- Керамическая память (Cerabyte): Запись лазером на керамическом слое на стекле. Устойчиво к температуре, излучению, воде. Срок хранения 5000+ лет. Начинают коммерциализацию для Cold Tier.
- LTO-10 / LTO-11 / LTO-12: Дорожная карта LTO Consortium обещает 36 ТБ (LTO-10) -> 96 ТБ (LTO-11) -> 192 ТБ (LTO-12) на картридж. Остается самым дешевым $/TB для Cold Tier ближайшие 10 лет.
- Qumulo / VAST Data / WEKA / Hammerspace: Программно-определяемые файловые системы, стирающие границу между NAS и Object, работающие одинаково в On-Prem и AWS/Azure/GCP.
Размер электронного архива — это не статическая цифра в отчете «Диск С: свободно 5 ТБ». Это динамическая система, управляемая законами физики (энтропия, плотность записи), экономики ($/TB/Year) и права (Retention, GDPR/152-ФЗ).
Главные принципы успешного управления размерами:
- Измеряйте не только «сколько весит», но и «как часто читают» (Telemetry/Analytics).
- Тирируйте безжалостно: 80% данных через год не нужны для операционной работы — уходите на ленту/облако Archive.
- Автоматизируйте ILM (Information Lifecycle Management) и Disposition (уничтожение по срокам) — ручная работа не масштабируется.
- Планируйте Scale-out, а не Scale-up — покупайте архитектуру, где добавление ноды занимает часы, а не месяцы закупок и миграций.
- Считайте TCO за 5 лет, а не цену диска сегодня. Электричество, место, лицензии, люди — главные статьи расходов.
Грамотно спроектированная архитектура хранения превращает архив из «кладбища файлов» в актив: быстрый поиск знаний, правозащита, аналитика данных и соответствие регулятору — всё это становится дешевле, если вы управляете размерами осознанно.
Статья подготовлена на основе актуальных на 2026 год практик проектирования Enterprise Information Management (EIM) систем, стандартов SNIA, IDC и требований российского законодательства.