Что такое AI-извлечение данных?Как это работает на самом деле

На протяжении многих лет извлечение данных из сети означало написание хрупких CSS или XPath-селекторов к разметке страницы, а затем наблюдение за тем, как они ломаются, как только сайт выпускает новый дизайн. AI-извлечение данных идёт другим путём: вместо того чтобы точно указывать скрипту, где находится поле в HTML, вы передаёте модели машинного обучения содержимое страницы и просите её вернуть нужные поля. Модель читает страницу так, как это делает человек, выводит структуру из контекста и возвращает чистые структурированные записи. Этот сдвиг от жёстко закодированных селекторов к пониманию, управляемому моделью, это то, что большинство людей имеет в виду сегодня, говоря об «AI-извлечении данных».

Эта статья объясняет, чем на самом деле является AI-извлечение данных, как работает конвейер шаг за шагом и где оно превосходит (и где не превосходит) традиционный скрейпинг на основе селекторов. Она также охватывает неромантичную, но ключевую часть, которая определяет, работает ли всё это в масштабе: доставка необработанной страницы к модели в первую очередь в формате, который модель может чисто разобрать. Именно здесь подходит Crawlbase, поэтому мы будем конкретны.

Что такое AI-извлечение данных?

AI-извлечение данных, это использование моделей машинного обучения, всё чаще больших языковых моделей (LLM), для преобразования неструктурированного или полуструктурированного контента в структурированные данные без написания правил извлечения для каждого поля вручную. Вы передаёте модели некоторые входные данные (HTML-страницу, отображённую статью, PDF, электронное письмо, журнал чата) и описание схемы, которую хотите получить (название товара, цена, SKU, автор, дата публикации), и модель возвращает эти поля в JSON.

Ключевое слово, вывод. Традиционный скрейпер ничего не знает о смысле страницы; он знает, что «цена, это текст внутри .product-price span». AI-экстрактор работает со смыслом: он распознаёт, что «$129.00» рядом с названием товара, это цена, даже если окружающая разметка изменилась за ночь. Именно эта устойчивость к грязным, постоянно меняющимся входным данным и есть вся причина, по которой этот подход получил широкое распространение.

Традиционный скрейпинг на основе селекторов против AI-извлечения

Скрейпинг на основе селекторов быстр, дёшев и детерминирован. Когда страница стабильна и её структура известна, CSS-селектор, правильный инструмент, и его выполнение ничего не стоит за запрос. Его слабость, хрупкость: селекторы привязаны к точной разметке, поэтому изменение макета, A/B-тест или новая локаль незаметно ломают задачу, и вы узнаёте об этом только тогда, когда данные становятся пустыми.

AI-извлечение обменивает часть этой скорости и детерминизма на устойчивость. Модели безразлично, что имя класса изменилось с price-tag на cost-label; она читает поле по смыслу. Она также обрабатывает входные данные, у которых вообще нет чёткой структуры, например свободное текстовое описание товара или письмо в службу поддержки, к которым селекторы неприменимы. Затраты реальны: вызовы модели добавляют задержку и стоимость за токен, и модель иногда может выдумать поле или неправильно прочитать неоднозначное, поэтому вы проверяете её вывод, а не доверяете ему слепо.

На практике большинство серьёзных конвейеров гибридны. Они используют дешёвые селекторы или вызов Crawling API, где структура известна и стабильна, и обращаются к модели только на запутанных, высоковариативных страницах, где селекторы постоянно ломаются. Та же логика применима независимо от того, занимаетесь ли вы веб-скрейпингом в электронной коммерции по сотням шаблонов магазинов или извлекаете поля из документов, которые никогда не следуют одному и тому же макету.

Как работает AI-извлечение данных: конвейер шаг за шагом

Какими бы ни были инструменты, AI-извлечение данных следует одним и тем же четырём этапам по порядку. Понимание каждого из них подскажет, где что-то идёт не так и какую часть на самом деле заменяет Crawlbase.

1. Получить страницу

Нельзя извлекать из страницы, которую нельзя получить. Этот этап получает необработанный ответ для целевого URL. Для простых статических сайтов достаточно обычного HTTP-запроса, но большинство коммерческих сайтов защищены от автоматизированного трафика: IP дата-центров получают задания, паттерны запросов, не похожие на человеческие, блокируются, и вместо контента вы видите CAPTCHA или пустое тело. Именно здесь такой инструмент, как Crawling API, оправдывает своё существование, маршрутизируя запрос через резидентные IP, чтобы цель воспринимала его как реального посетителя.

2. Отрендерить контент

Значительная часть современного интернета рендерится на стороне клиента: исходный HTML, почти пустая оболочка, и данные, которые вам нужны, появляются только после выполнения JavaScript в браузере. Если ваш шаг получения возвращает эту оболочку, модели, находящейся ниже по цепочке, нечего читать. Рендеринг означает запуск страницы в настоящем движке браузера и ожидание загрузки динамического контента перед захватом HTML. Crawling API обрабатывает это с помощью JavaScript-токена, так что страница полностью отрендерена до возврата вам.

3. Дать модели извлечь поля

Теперь модель делает своё дело. Вы передаёте ей содержимое страницы вместе со схемой (поля, которые вы хотите, и их типы) и даёте инструкцию вернуть структурированный JSON. Два фактора определяют успех или неудачу этого этапа. Первый, подсказка и схема: чёткая, явная схема с описаниями полей даёт значительно более чистый вывод, чем расплывчатое «извлеки важное». Второй, который люди недооценивают, это формат входных данных. Модели разбирают чистый, ориентированный на контент текст значительно надёжнее, чем 400-килобайтный блок вложенных div, скриптов отслеживания и встроенных стилей. Сведение страницы к значимому контенту или конвертация её в markdown и повышают точность, и снижают стоимость токенов, поскольку модель тратит свой контекст на контент, а не на шаблонный код.

4. Проверить вывод

Вывод модели, это обоснованная догадка, а не гарантия. На последнем этапе он проверяется: подтверждается, что JSON разбирается, что обязательные поля присутствуют, что типы совпадают (цена, это число, дата, это дата) и что значения находятся в разумных диапазонах. Записи, не прошедшие проверку, помечаются, повторяются или отправляются на проверку, а не записываются прямо в базу данных. Этот шаг делает конвейер AI надёжным в производстве; пропуск его, способ, которым выдуманные или некорректные поля незаметно отравляют набор данных.

Как вписывается Crawlbase: чистый сбор и вывод, удобный для разбора

Crawlbase не извлекает поля за вас, и это сделано намеренно. Он владеет первыми двумя этапами конвейера, теми, которые действительно сложно запустить самостоятельно, и передаёт модели чистые входные данные для третьего.

Crawling API принимает URL, загружает его через ротирующие резидентные IP, чтобы вас не блокировали, рендерит JavaScript при передаче JS-токена и возвращает готовую страницу. Критически важно для AI-рабочих процессов: он может вернуть эту страницу как чистый HTML или как markdown. Markdown близок к идеальному вводу для LLM: он сохраняет заголовки, списки, ссылки и таблицы, отбрасывая скрипты, стили и рекламную разметку, которые раздувают необработанную страницу и сбивают модель с толку. Подача markdown вместо сырого HTML регулярно снижает использование токенов и одновременно повышает точность извлечения.

Для более сложных целей с интенсивными блокировками существует также Smart AI Proxy (также называемый AI Proxy), который ротирует каждый запрос через пул из миллионов резидентных и датацентровых IP, чтобы ни один адрес никогда не превышал ограничение частоты запросов. Согласно опубликованным исследованиям веб-скрейпинга, наибольшей единственной причиной неудачных задач является не логика разбора, а блокировка до того, как возвращаются какие-либо данные, это именно та часть, которую Crawlbase берёт на себя.

const { CrawlingAPI } = require('crawlbase')
const OpenAI = require('openai')

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_JS_TOKEN' })
const llm = new OpenAI({ apiKey: 'YOUR_LLM_API_KEY' })

async function extractProduct(url) {
  // Stage 1 + 2: fetch through residential IPs and render, returned as markdown
  const page = await api.get(url, { ajax_wait: true, format: 'markdown' })

  // Stage 3: hand the clean markdown to a model and ask for a strict schema
  const result = await llm.chat.completions.create({
    model: 'gpt-4o-mini',
    response_format: { type: 'json_object' },
    messages: [{
      role: 'user',
      content: `Return JSON with name, price (number), currency, inStock (boolean).\n\n${page.body}`,
    }],
  })

  return JSON.parse(result.choices[0].message.content)
}

extractProduct('https://example.com/product/123').then(console.log)

Обратите внимание на разделение труда. Crawlbase гарантирует, что вы получаете реальную, отрендеренную страницу в чистом формате, часть, которая чаще всего ломается при самостоятельной реализации. Модель превращает этот чистый ввод в поля. А отсутствующий четвёртый этап, проверка того, что price действительно является числом, а inStock действительно является булевым значением, это обёртка, которую вы добавляете вокруг этого до записи чего-либо в хранилище.

Почему формат ввода определяет точность

Легко воспринимать модель как главный элемент, а страницу как нечто само собой разумеющееся, но всё скорее наоборот: качество того, что вы подаёте модели, доминирует над качеством того, что выходит. Необработанная страница товара может занимать несколько сотен килобайт, большую часть которых составляют скрипты аналитики, встроенные SVG, рекламные блоки и глубоко вложенные блоки макета. Залейте это в модель, и произойдут три вещи. Вы платите за токены, которые вам не нужны, рискуете переполнить контекстное окно, так что реальный контент усекается, и даёте модели больше шансов зацепиться за неправильное число.

Чистый markdown решает все три проблемы сразу. Сохраняя заголовки, абзацы, списки, ссылки и таблицы и отбрасывая всё остальное, он оставляет модели почти исключительно смысл. Точность извлечения возрастает, стоимость токенов снижается, а ваши подсказки упрощаются, поскольку вы больше не боретесь с шумом. Именно поэтому опция вывода в формате markdown имеет такое большое значение именно для AI-рабочих процессов, гораздо большее, чем для человека, читающего страницу.

Распространённые ловушки и как их избежать

Несколько видов сбоев повторяются снова и снова, как только конвейер AI-извлечения встречается с реальным трафиком.

• Пропуск проверки. Модели уверены, даже когда ошибаются. Без этапа проверки одна выдуманная цена или ошибочное поле напрямую попадают в ваши данные. Всегда разбирайте, проверяйте типы и диапазоны перед сохранением.
• Подача сырого HTML. Это раздувает стоимость, усекает контент и снижает точность. Сначала сведите к контенту или запросите markdown.
• Игнорирование сбора. Если вас заблокировали или вы получаете неотрендеренную оболочку, умнейшая модель в мире не сможет ничего извлечь. Решите задачу сбора до того, как настраивать подсказки.
• Использование модели там, где справится селектор. На стабильных, известных по структуре страницах селектор или вызов Crawling API дешевле, быстрее и предсказуемее. Резервируйте LLM для страниц, которые действительно варьируются.

Если постоянные блокировки, ваша главная проблема, статья о том, как скрейпить сайты без блокировок, содержит подробное руководство. Если вы хотите разобраться в стороне моделирования, а не просто потреблять её результаты, следующими хорошими источниками будут веб-скрейпинг с машинным обучением и как работает обучение AI-моделей. Для прокси-уровня, поддерживающего работоспособность сбора, статья о том, что такое AI-прокси, описывает, как ротация вписывается в тот же конвейер.

Часто задаваемые вопросы

Что такое AI-извлечение данных простыми словами?

Это использование модели машинного обучения, нередко большой языковой модели, для превращения неструктурированного или запутанного контента в структурированные данные. Вместо того чтобы писать правила, указывающие «цена находится в этом конкретном HTML-элементе», вы даёте модели содержимое страницы и описание нужных полей, и она возвращает их в JSON, читая страницу для понимания смысла, как это делает человек.

Чем AI-извлечение данных отличается от традиционного веб-скрейпинга?

Традиционный скрейпинг опирается на CSS или XPath-селекторы, привязанные к точной разметке страницы, поэтому он быстр и дёшев, но ломается при изменении макета. AI-извлечение читает поля по смыслу, поэтому оно переносит изменения макета и обрабатывает контент без чёткой структуры. Компромисс, дополнительная задержка и стоимость за токен, плюс необходимость проверки вывода. Большинство производственных систем используют оба подхода: селекторы там, где структура стабильна, и модель там, где она варьируется.

Нужен ли мне всё ещё прокси или инструмент скрейпинга, если я использую LLM?

Да. LLM извлекает поля, но не может загрузить страницу, отрендерить JavaScript или обойти антибот-защиту. Эти этапы сбора стоят первыми, и именно на них большинство задач скрейпинга терпят неудачу. Такой инструмент, как Crawling API, обрабатывает загрузку, рендеринг и ротацию IP, а затем передаёт модели чистую страницу для работы.

Зачем подавать модели markdown вместо сырого HTML?

Сырой HTML, это в основном скрипты, стили и разметка макета, не несущие смысла. Подача его модели стоит лишних токенов, рискует усечь реальный контент и даёт модели больше способов выбрать неправильное значение. Markdown сохраняет заголовки, списки, ссылки и таблицы, отбрасывая шум, что одновременно снижает стоимость и повышает точность извлечения. Crawlbase может возвращать страницы в формате markdown напрямую.

Может ли AI-извлечение ошибаться, и как это обнаружить?

Да. Модели могут выдумать поле или неправильно прочитать неоднозначное, и звучат уверенно в любом случае. Решение, этап проверки: подтвердите, что JSON разбирается, что обязательные поля существуют, что типы правильны и что значения находятся в разумных диапазонах. Записи, не прошедшие проверку, помечаются или повторяются, а не записываются прямо в хранилище. Проверка, это то, что делает конвейер AI надёжным в производстве.

Как Crawlbase вписывается в конвейер AI-извлечения?

Crawlbase охватывает первые два этапа: получение и рендеринг. Crawling API получает страницу через ротирующие резидентные IP, запускает JavaScript с JS-токеном и возвращает готовую страницу как HTML или markdown, удобный для LLM. Затем вы передаёте этот чистый вывод своей модели для извлечения и добавляете собственную проверку. Для целей с интенсивными блокировками Smart AI Proxy добавляет ещё один уровень ротации IP.

TA

Thomas Adewale

Технический писатель · Crawlbase

Технический писатель в Crawlbase, освещает прокси-сети, стратегии ротации и внутреннее устройство надёжного краулинга в больших масштабах.