Бесплатная консультация юриста

+7 (800) 301-07-30

Реклама jurik.ru

Веб‑архивы позволяют получить доступ к историческим версиям сайтов, но для этого необходимо знать, как именно формировать URL‑запросы. В статье рассмотрены основные принципы построения запросов к самым популярным сервисам, параметры фильтрации, типичные ошибки и практические примеры.

Что такое запрос к веб‑архиву

Запрос к архиву – это специально сформированный адрес (URL), который указывает сервису, какую именно страницу, в какой момент времени и с какими дополнительными условиями нужно вернуть. Правильный запрос гарантирует:

быстрое получение нужной версии;
отсутствие лишних редиректов;
возможность автоматизации через скрипты и API.

Основные сервисы и их базовые адреса

Wayback Machine (archive.org)

Базовый домен: https://web.archive.org

Стандартный вид запроса:

https://web.archive.org/web/<timestamp>/<original_url>

<timestamp> – дата и время в формате YYYYMMDDhhmmss (можно указывать только часть, например 2020 или 202001);
<original_url> – полный адрес интересующей страницы (с http/https).

Веб‑архив.ру (web-arhive.ru)

Базовый домен: https://web-arhive.ru

Запрос имеет аналогичную структуру, но использует собственный префикс /web/:

https://web-arhive.ru/web/<timestamp>/<original_url>

Сервис также поддерживает параметр ?save=1 для инициирования немедленного архивирования.

Архиварикс (archivarix.com)

Базовый домен: https://ru.archivarix.com

Для получения архивной копии используется endpoint /download/:

https://ru.archivarix.com/download/<original_url>?date=<timestamp>

Если параметр date опущен, возвращается самая свежая сохранённая версия.

Параметры и фильтры запросов

Помимо базовой конструкции, многие сервисы позволяют уточнять поиск с помощью дополнительных параметров.

Фильтрация по дате

from=YYYYMMDD – начальная дата;
to=YYYYMMDD – конечная дата;
limit=N – ограничить количество снимков.

Пример (Wayback Machine): https://web.archive.org/web/*/https://example.com?from=20190101&to=20191231&limit=5

Поиск по содержимому (full‑text search)

Некоторые архивы предоставляют endpoint /search/ с параметром query:

https://web.archive.org/web//https://example.com/?query=ключевое+слово

Обратите внимание, что полнотекстовый поиск работает медленно и часто выдаёт лишь единичные совпадения на очень старых страницах.

Режим «только метаданные»

Для получения списка доступных снимков без загрузки самого контента используется параметр output=json (Wayback Machine) или format=meta (Web‑archive.ru).

Пример: https://web.archive.org/__wb/https://example.com?output=json

Примеры типовых запросов

Получить конкретную версию страницы

https://web.archive.org/web/20200315080000/https://news.ru/article/123

Посмотреть все доступные снимки за год

https://web.archive.org/web/2020/https://oldsite.ru/

Найти все архивные копии внутренних страниц сайта

С помощью wildcard после домена:

https://web.archive.org/web//https://myshop.ru/

Запросить немедленное сохранение страницы

Веб‑архив;ру: https://web-arhive.ru/save?url=https://example.com/new-page.html

Инструменты для автоматизации работы с адресами запросов

waybackurls – утилита, которая из списка доменов генерирует все возможные URL‑запросы к Wayback Machine.
WebArchiveDownloader – скрипт на Python, позволяющий массово скачивать архивные копии по списку URL.
API Wayback Machine – endpoint https://archive.org/wayback/available?url=…×tamp=… возвращает JSON с информацией о ближайшем снимке;
Архиварикс API – https://ru.archivarix.com/api/v1/pages?url=…&date=….

Пример использования waybackurls в bash:

echo "example.com" | waybackurls > urls.txt

Полученный файл содержит строки вида:

https://web.archive.org/web/20210515123045/https://example.com/about

Советы по эффективному поиску

Всегда указывайте полный протокол (http:// или https://) в исходном URL – иначе архив может не найти совпадения.
Если точная дата неизвестна, используйте только год или месяц (2020 или 202005) – сервис вернёт ближайший доступный снимок.
Для массовой проверки доступности страниц удобно сначала получить список метаданных (output=json) и уже потом скачивать нужные версии.
Помните о лимитах на количество запросов в минуту (особенно у бесплатных API) – при превышении вы получите ответ 429 Too Many Requests.
При работе с кириллическими доменами преобразуйте их в Punycode (xn--…) перед формированием запроса, иначе некоторые сервисы могут не распознать адрес.

Распространённые ошибки и как их избежать

Отсутствие слеша перед timestamp – правильный вид: /web/20200101/, а не /web20200101/.
Дублирование протокола – в <original_url> уже содержится http:// или https://, добавлять его ещё раз не нужно.

Неучёт редиректов – если исходная страница переадресует на другой домен, запрос к старому URL может вернуть пустую страницу; в таких случаях ищите снимки по конечному адресу. Перепутанные параметры даты – некоторые сервисы ожидают YYYYMMDDhhmmss, другие – только дату. Проверяйте документацию конкретного архива.

Умение правильно формировать адреса запросов к веб‑архивам – ключевой навык для исследователей, SEO‑специалистов, разработчиков и всех, кто работает с историческими данными интернета. Зная базовые конструкции, параметры фильтрации и доступные инструменты автоматизации, вы сможете быстро находить нужные версии сайтов, избегать типичных pitfalls и эффективно интегрировать архивные данные в свои проекты. Помните: архив хранит не только страницы, но и их метаданные, поэтому комбинируя точные URL‑запросы с дополнительными фильтрами, вы получаете максимально полную картину эволюции любого веб‑ресурса.