AI-ассистенты для программирования создают каркасы API, генерируют фронтенд-компоненты и пишут тесты за секунды. Но модель может рассуждать только о том, что она уже знает или что вы вставили в контекст, и это перестаёт работать в тот момент, когда вы интегрируете незнакомый API, работаете с документацией, которая изменилась вчера, или строите на быстро развивающейся платформе.
Попросите Codex интегрировать новый сервис, и он уверенно сгенерирует клиент, настроит аутентификацию и задаст переменные окружения. Всё выглядит правильно, пока вы не сверитесь с официальной документацией: обязательный параметр отсутствует, эндпоинт переименовали, аутентификации теперь нужен дополнительный заголовок. Ничего из этого не очевидно до момента выполнения, потому что сгенерированный код по-прежнему выглядит правдоподобно.
Обычное решение это прервать свой рабочий поток: открыть документацию в другой вкладке, покопаться в GitHub в поисках свежего README, вставить нужные разделы в чат и просить перегенерацию, пока всё не сойдётся. Трение не в написании кода. Оно в постоянном переключении между исследованием и реализацией.
Crawlbase Codex Plugin устраняет этот разрыв. Опираясь на Crawlbase Web MCP Server, он даёт Codex живой доступ к вебу через естественный язык: обходить HTML, извлекать чистый Markdown, делать скриншоты и при необходимости сохранять страницы в Crawlbase Cloud Storage, и всё это не покидая редактор. Сопутствующий репозиторий поставляет промпты, примеры файлов и структуру проекта, используемые здесь. Клонируйте его, прежде чем начать:
git clone https://github.com/ScraperHub/turn-codex-into-a-full-stack-web-scraper.git cd turn-codex-into-a-full-stack-web-scraper
К концу вы установите плагин, проверите его дымовым тестом, вытянете живую документацию прямо из GitHub и заставите Codex построить минимальный full-stack скрейпер на основе этой документации. Что ещё полезнее, у вас будет рабочий процесс, применимый почти к любой задаче с участием AI, где важна точная и актуальная информация.
Почему разработке с участием AI нужны живые веб-данные
Модели сильны в рассуждении о том контексте, который им дают. Их слабое место не программирование, а информация, изменившаяся после обучения. Документация постоянно развивается: SDK добавляют параметры, API объявляют эндпоинты устаревшими, требования к аутентификации меняются, а примечания к релизам несут детали реализации, которые никогда не попадают в руководства.
Без живого доступа к вебу цикл выполняется вручную: попросить Codex интегрировать API, получить в основном правильный код, сверить его с текущей документацией, вставить различия обратно в чат и перегенерировать. С плагином Codex замыкает этот цикл сам.
Вместо того чтобы собирать документацию вручную, Codex извлекает актуальную версию, прежде чем написать хоть строчку кода.
Что такое Crawlbase Codex Plugin
Экосистема плагинов OpenAI Codex позволяет расширять Codex переиспользуемыми навыками, интеграциями приложений и серверами MCP. Crawlbase Codex Plugin упаковывает Crawlbase Web MCP Server в плагин, который предоставляет промышленный обход через естественный язык. После установки вы можете попросить Codex:
- Обойти веб-страницу и вернуть HTML.
- Извлечь чистый Markdown из статьи.
- Сделать скриншоты всей страницы.
- Обходить сайты, отрисованные с помощью JavaScript.
- Сохранять обойдённые страницы в Crawlbase Cloud Storage и извлекать их позже без повторного обхода.
Под капотом плагин запускает npx -y @crawlbase/mcp, передаёт ваши учётные данные Crawlbase через переменные окружения и обращается к инфраструктуре обхода Crawlbase. Главная схема выше прослеживает весь путь: ваш промпт идёт к Codex, Codex вызывает плагин, плагин управляет Web MCP Server, а Crawlbase занимается отрисовкой, повторами, ротацией прокси, обходом защит от ботов и хранением за кулисами. С вашей стороны всё происходит через промпты.
Вы могли бы попросить Codex написать код скрейпинга с нуля, но он гадал бы по движущейся мишени: разметке сайта, его защите от ботов и текущей форме API. Плагин направляет каждый запрос через Crawling API, поэтому Codex наследует отрисовку JavaScript, ротацию резидентных IP и обработку защит от ботов, и получает чистый контент уже с первого вызова.
Что вы создадите
Цель не просто обойти один сайт, а построить повторяемый инженерный рабочий процесс, который соединяет живую документацию с разработкой при участии AI. За следующие пять шагов вы установите плагин, проверите его дымовым тестом, получите свежую документацию Web MCP из GitHub, используете эту документацию для генерации минимального full-stack скрейпера и узнаете, где скриншоты и Cloud Storage вписываются в более крупные рабочие процессы.
Шаг 1: Установите плагин
Клонируйте плагин в каталог плагинов Codex:
git clone https://github.com/crawlbase/crawlbase-codex-plugin ~/.codex/plugins/crawlbase-mcp
Экспортируйте свои API-токены Crawlbase (если у вас ещё нет аккаунта, сначала зарегистрируйтесь в Crawlbase). Сопутствующий репозиторий включает .env.example, перечисляющий ожидаемые им переменные:
export CRAWLBASE_TOKEN=your_token_here export CRAWLBASE_JS_TOKEN=your_js_token_here
Перезапустите Codex. Плагин затем появляется как Crawlbase Web Scraper, предоставляя инструменты вроде crawl, crawl_markdown, crawl_screenshot и операции Cloud Storage. Входящий в комплект .mcp.json запускает npx -y @crawlbase/mcp и читает ваши учётные данные из окружения, поэтому внутри самого плагина не хранится никаких секретов, что делает его безопасным для общих, версионируемых окружений.
Шаг 2: Проверьте дымовым тестом
Прежде чем генерировать код приложения, убедитесь, что весь конвейер работает. Вставьте prompts/00-smoke-test.txt в Codex или просто попросите:
Get the markdown content of https://example.com
Запрос намеренно почти ничего не делает. Если всё подключено правильно, Codex вызывает crawl_markdown и возвращает чистый Markdown (заголовок, подзаголовки, тело) вместо сырого HTML. Это подтверждает весь путь выполнения, от вашего промпта через Codex, плагин и Web MCP Server вплоть до Crawling API. Этот путь это костяк всего остального руководства: вы описываете результат, а сервер подаёт живой веб-контент в контекст Codex. Если не получилось, проверьте, что CRAWLBASE_TOKEN экспортирован, и перезапустите Codex после установки плагина.
Шаг 3: Получите свежую документацию перед написанием кода
Вместо того чтобы Codex интегрировал Crawlbase по памяти, сначала дайте ему текущую документацию из GitHub. Вставьте prompts/01-fetch-api-readme.txt в Codex; он извлекает README для Web MCP по сырому URL GitHub, охватывая переменные окружения, инструменты MCP, store=true, извлечение из Cloud Storage и поведение хранилища, зависящее от токена.
Обучающие данные устаревают. Вытягивание README прямо из GitHub означает, что Codex работает с той же документацией, что находится в ветке main сегодня. Если README большой, обойдите его с store=true и вытяните обратно позже с помощью storage_get, используя as=markdown (см. документацию Cloud Storage).
Шаг 4: Сгенерируйте full-stack скрейпер
С текущей документацией в контексте попросите Codex сгенерировать приложение с помощью prompts/02-build-full-stack-scraper.txt. Промпт запрашивает три слоя:
| Слой | Ответственность |
|---|---|
| Бэкенд |
POST /scrape, вызывает Crawlbase Crawling API |
| Фронтенд | Поле ввода URL, кнопка отправки, панель результатов |
| Проект | README, .env.example, .gitignore, инструкции по запуску |
Теперь у Codex есть ваши требования, контекст вашего проекта и свежая документация, поэтому он генерирует код по текущему справочнику API, а не по историческим обучающим данным. Протестируйте приложение на books.toscrape.com или другом публичном тренировочном сайте. Если возвращённый Markdown пуст, потому что сайт зависит от JavaScript, повторите попытку с CRAWLBASE_JS_TOKEN, следуя документации, которую вы получили на Шаге 3.
Шаг 5: Итерируйте с живыми веб-данными
Откройте prompts/03-iterate-with-live-data.txt. Он объединяет рабочие процессы для сравнения вывода Markdown, создания скриншотов, сохранения документации с store=true и повторных попыток для страниц, отрисованных с помощью JavaScript. На этом этапе исследование, реализация и отладка живут внутри одного диалога Codex, а не разбросаны по вкладкам.
Сохраняйте обходы в Cloud Storage
Многие рабочие процессы скрейпинга не заканчиваются на одном запросе. Вам может понадобиться вернуться к документации, сравнить, как изменилась страница, или переобработать тот же обход без повторного обращения к целевому сайту. Установите store: true для любого обхода, и вместо того чтобы возвращать страницу напрямую, Crawlbase хранит исходный HTML в Cloud Storage и возвращает метаданные, такие как rid, stored_at, storage_url и token_type. Вы управляете сохранённым контентом с помощью:
-
storage_getиstorage_bulk_get -
storage_listиstorage_count -
storage_deleteиstorage_bulk_delete
Одну деталь стоит знать: вызываете ли вы crawl, crawl_markdown или crawl_screenshot, сохранённым артефактом всегда является исходный HTML. Когда вы извлекаете сохранённую страницу как Markdown, Crawlbase генерирует его из этого HTML в момент извлечения. Скриншоты не хранятся в Cloud Storage; они возвращаются отдельно через временный URL скриншота.
Разбираемся с разделами хранилища
Cloud Storage разделяет обойдённые страницы по API-токену, использованному для обхода. Страницы, полученные с CRAWLBASE_TOKEN, находятся в отдельном хранилище от страниц, полученных с CRAWLBASE_JS_TOKEN, потому что обычные обходы и обходы с отрисовкой JavaScript выполняются на разной инфраструктуре.
token_type со значением normal или js; передавайте это же значение (через use_js_token) в инструменты хранилища, чтобы запрашивать тот раздел, в который страница действительно попала.Каждый успешный ответ обхода включает поле token_type (normal или js), сообщающее, где был сохранён документ. Переиспользуйте это значение для последующих операций хранилища: если страница была обойдена с токеном JavaScript, передайте use_js_token: true в storage_get, storage_list или storage_bulk_get. Ответ "Not found" обычно не означает, что документ пропал; он означает, что вы запрашиваете не тот раздел. Проверки token_type исходного обхода обычно достаточно, чтобы найти нужное хранилище.
Лучшие инженерные практики
Рабочий процесс выше отлично подходит для прототипов; несколько практик помогут ему выдержать рост проектов.
- Получайте актуальную документацию перед генерацией интеграционного кода. API и SDK развиваются быстро, и предоставление модели сегодняшней документации резко сокращает число устаревших эндпоинтов, неверных параметров и устаревших потоков аутентификации.
-
Храните учётные данные в переменных окружения. Закоммитьте
.env.example, чтобы другие знали, что требуется, но никогда не коммитьте настоящие токены. -
Сохраняйте большие обходы вместо того, чтобы встраивать их. Для крупных страниц документации или наборов данных
store: trueсохраняет диалог сфокусированным и позволяет извлечь контент позже. - Относитесь к сгенерированному коду как к продакшен-коду. Проверяйте коды состояния, задавайте разумные тайм-ауты и выводите содержательные ошибки. С участием AI или нет, именно надёжная обработка ошибок делает приложение стабильным.
По мере того как проекты вырастают из прототипов, начинают иметь значение и параллелизм, повторы, мониторинг и надёжность инфраструктуры; наше руководство по масштабированию проектов веб-скрейпинга охватывает эти продакшен-вопросы.
Заключение
AI-ассистенты для программирования проявляют себя лучше всего, когда могут рассуждать об актуальной информации, а не об исторических обучающих данных. Сочетание Crawlbase Codex Plugin с Crawlbase Web MCP Server даёт Codex прямой доступ к живому веб-контенту: он может получать документацию, извлекать чистый Markdown, делать скриншоты и строить приложения на основе самой свежей доступной информации, и всё это внутри одного диалога.
Дайте Codex (и любому MCP-клиенту) живой доступ к вебу одним вызовом инструмента. Каждый обход отрисовывает JavaScript за ротируемым резидентным IP и возвращает чистый Markdown, с опциональным Cloud Storage для переиспользования. Никакого пула прокси, никакого парка headless-браузеров, никакого кода скрейпинга для сопровождения. Получите свои API-токены и создавайте на бесплатном тарифе.
Часто задаваемые вопросы
Что такое Crawlbase Codex Plugin?
Это расширение для OpenAI Codex, которое интегрирует Crawlbase Web MCP Server в ваш рабочий процесс разработки. После установки Codex может обходить веб-страницы, извлекать чистый Markdown, делать скриншоты и управлять Crawlbase Cloud Storage через промпты на естественном языке. Вместо того чтобы писать инфраструктуру скрейпинга самостоятельно, вы просите Codex получить живой веб-контент и использовать его как контекст для генерации кода.
Зачем использовать Web MCP Server вместо того, чтобы просить Codex сгенерировать скрейпер?
Codex хорошо генерирует код скрейпинга, но у него нет доступа к живым сайтам или документации, если вы их не предоставите. Плагин даёт Codex доступ к вебу в реальном времени через инфраструктуру Crawlbase, поэтому он может вытягивать свежую документацию API, обходить сайты, отрисовывать страницы на JavaScript и генерировать код на основе актуальной информации, а не потенциально устаревших обучающих данных.
Можно ли использовать плагин для сайтов с большим количеством JavaScript?
Да. Он поддерживает как статические, так и отрисованные с помощью JavaScript страницы. С настроенным CRAWLBASE_JS_TOKEN Codex использует отрисовку JavaScript от Crawlbase, чтобы обходить динамические сайты, извлекать контент после выполнения скриптов и делать скриншоты отрисованной страницы.
Почему storage_get возвращает «Not found» после сохранения страницы?
Страницы, обойдённые с CRAWLBASE_TOKEN, хранятся отдельно от страниц, обойдённых с CRAWLBASE_JS_TOKEN. Если страница была обойдена с токеном JavaScript, передайте use_js_token: true в инструменты хранилища. Большинство ответов «Not found» просто означают, что вы запрашиваете не тот раздел хранилища, а не что страница отсутствует.
Обходите любой сайт в масштабе, без борьбы с инфраструктурой.
Crawlbase берёт на себя прокси, отпечатки и CAPTCHA, чтобы ваша команда выпускала конвейеры данных вместо поддержки обвязки краулинга. 1 000 запросов бесплатно, без карты.