Интернет‑пространство постоянно меняется: страницы обновляются, контент удаляется, а иногда целые сайты исчезают без следа․ Веб‑архивы позволяют «заморозить» любой публичный URL‑адрес в определённый момент времени и вернуться к нему позже․ В этой статье мы разберём, какие сервисы существуют, как ими пользоваться, какие ограничения у них есть и как извлекать данные программно․

Что такое веб‑архив?

• Wayback Machine (Internet Archive) – самый известный и крупнейший архив, запущенный в 2001 году, но содержащий данные с 1996 года․
• archive․is / archive․today – быстрый сервис «один клик», позволяющий сохранять страницу вручную без ожидания плановых сканирований․
• Memento Aggregator – агрегатор, который собирает результаты из разных архивов и предоставляет единый интерфейс․
• Российские сервисы – Web Archive доступен в России, а также существуют локальные проекты (например, rutracker․org архивирует форумы) и государственные инициативы по сохранению публичных ресурсов․

Как работает процесс архивации?

Сохранение происходит схожим способом с поисковыми роботами Google или Яндекса:

1. Краулер (паук) посещает публичный URL․
2. Сохраняет полную копию в хранилище (обычно в виде WARC‑файла – веб‑архивный формат)․
3. При следующем обходе добавляется новая версия, а старая сохраняется навсегда (в большинстве сервисов – минимум в двух географически разнесённых дата‑центрах)․

Важно понимать, что сохраняются только общедоступные ресурсы․ Содержимое, защищённое паролем, требующее авторизации или находящееся за robots․txt с запретом, обычно не попадает в архив․

Основные публичные архивы адресов

3․1 Wayback Machine (Internet Archive)

Сервис web․archive․org хранит более 835 млрд веб‑страниц, 44 млн книг, 15 млн аудиозаписей и т․д․ Архивные данные размещаются в трёх географических регионах (Сан‑Франциско, Нидерланды, Египет) и дублируются минимум в двух экземплярах․

• Как искать: введите URL в поле поиска → нажмите Browse History․ Появится календарь с цветными маркерами:
  • Синий – успешное сохранение (HTTP 200)․
  • Зелёный – редирект․
  • Красный – ошибка (404, 500 и др․)․
• Сравнение версий: вкладка Changes → Compare позволяет открыть две даты рядом и увидеть различия в тексте и структуре․
• API: https://archive․org/wayback/available?url=example․com возвращает JSON с датой последнего снимка; CDX API позволяет получать список всех сохранений․

3․2 archive․is (archive․today)

Сервис ориентирован на ручное сохранение․ Пользователь вводит URL, нажимает кнопку «Save», и сервис мгновенно создаёт «снимок», который доступен по постоянному короткому URL․

• Не требует ожидания плановых сканирований․
• Сохраняет страницу в том виде, в каком её видит браузер (выполняет JavaScript)․
• Не сохраняет файлы, подгружаемые динамически после первой загрузки (например, бесконечный скролл)․

3․3 Memento Aggregator

https://timetravel․mementoweb․org/api/json/2019/http://example․com

Ответ содержит список всех найденных копий с указанием архива, даты и ссылки․

Как сохранить свой сайт в архиве?

1. Автоматическое сканирование: убедитесь, что ваш robots․txt не блокирует User‑Agent: archive․org_bot и аналогичные боты․
2. Ручное сохранение: зайдите на Save Page Now (Wayback) или archive․is и введите URL․
3. Через API: отправьте POST‑запрос к https://web․archive․org/save/{URL}․ Пример cURL:

   curl -X POST "https://web․archive․org/save/https://example․com"
    

4. Уведомление поисковых систем: добавьте <link rel="canonical" href="https://example․com"> и sitemap․xml – это ускорит обнаружение новых страниц․

Как удалить страницу из архива?

Только владелец ресурса может потребовать удаление․ Нужно написать письмо на info@archive․org с указанием:

• Точного URL․
• Подтверждения прав собственности (например, скриншот панели управления хостингом)․
• Причины удаления (нарушение авторских прав, конфиденциальные данные и т․п․)․

После проверки запрос будет выполнен, и копия будет удалена из публичного доступа (но может сохраняться в резервных копиях в течение некоторого времени)․

Ограничения и подводные камни

• Динамический контент: SPA‑приложения, бесконечные ленты и контент, подгружаемый только после скролла, часто сохраняются лишь «первый экран»․
• Серверный код: PHP, Python, Node․js и прочие серверные скрипты не сохраняются – в архиве будет только статический вывод․
• Внешние ресурсы: если изображение, шрифт или скрипт загружаются с другого домена, который позже исчезнет, в архиве будет пустое место․
• Авторские права: коммерческий контент (фильмы, книги, платные статьи) обычно не сохраняется полностью, а только метаданные․

Практические лайфхаки

1. Поиск файлов определённого типа: используйте «звёздочку»․ Пример: example․com/․pdf покажет все сохранённые PDF‑документы․
2. Получение списка всех сохранённых URL: запрос к CDX API:

   https://web․archive․org/cdx/search/cdx?url=example․com/&output=json&fl=timestamp,original,mimetype,statuscode
    

3. Сравнение изменений в изображениях: скачайте два WARC‑файла, извлеките нужные картинки и сравните их в любом графическом редакторе․
4. Анализ популярности домена: в разделе Summary можно увидеть количество сохранений по годам – полезно для SEO‑исследований․

Примеры использования в разных сферах

• Юриспруденция: доказательство наличия того или иного текста на сайте в конкретный день (например, условия договора)․
• Маркетинг и аналитика: отслеживание изменений дизайна, контента и SEO‑элементов конкурентов․
• Научные исследования: сбор исторических данных о публичных сервисах, медиа‑контенте, политических заявлениях․
• Восстановление утерянных сайтов: при потере бэкапа можно «воскресить» большую часть контента из Wayback Machine․

Технические детали инфраструктуры

По данным 2021 года (а к 2026 году объём только вырос):

• ≈ 750 серверов и 1 300 виртуальных машин․
• ≈ 30 000 устройств хранения данных, более 20 000 жёстких дисков․
• Хранятся более 835 млрд веб‑страниц, 44 млн книг, 15 млн аудиозаписей, 10,6 млн видеороликов и т․д․

Данные реплицируются в нескольких дата‑центрах, что обеспечивает надёжность и доступность даже в случае локальных сбоев․

«Все архивы адреса» – это набор инструментов, позволяющих сохранять, находить и анализировать любые публичные веб‑страницы․ Самый мощный и универсальный – Wayback Machine, но в ряде случаев удобнее использовать archive․is или агрегаторы типа Memento․ Понимание ограничений (динамический контент, авторские права) поможет избежать разочарований, а знание API и лайфхаков – ускорит работу с большими объёмами данных․

Помните, что интернет помнит всё․ Даже если вы удалили страницу, её копия может жить в одном из архивов ещё десятки лет․

Дата актуализации статьи: 03:12:17