Методика

Как устроен сбор открытых данных ВКонтакте

Источник, период, полнота и ограничения — четыре вещи, которые нужно понимать до интерпретации любой цифры.

МетодикаОткрытые данныеПолнота

Сбор данных часто описывают как одну кнопку. На практике качественный результат требует нескольких проверок: правильно определить задачу, пройти нужный период, сохранить уникальные публикации и честно показать то, что получить не удалось.

1. У системы есть три режима сбора

Поисковый мониторинг находит публикации по выражению. Мониторинг страниц читает заранее заданные сообщества и аккаунты. Мониторинг хэштегов работает отдельно.

Эти режимы нельзя безусловно смешивать: найденное упоминание не становится наблюдаемой страницей, а хэштег не заменяет поисковое выражение. Раздельность сохраняет смысл результата.

2. Период определяется фактическим временем публикации

Материал относится к дню и часу по времени своей публикации. Иногда источник может вернуть материал вне выбранного периода. Его можно сохранить для проверки, но он не должен увеличивать итог за этот период. Текущий день показывается «по состоянию на сейчас», без объявления завершёнными сутками.

3. Полнота — это отсутствие незакрытой работы

Статус готовности зависит от результата проверки: обработан весь выбранный период, а ошибки источника и ограничения запросов либо устранены, либо явно указаны.

Если ошибка осталась, результат может быть полезным для просмотра, но должен сохранять предупреждение и не маскироваться как полностью закрытый.

4. Повторная проверка не прибавляет копии

Одна и та же запись определяется по странице и номеру публикации в источнике, поэтому повторная проверка не добавляет её второй раз.

При аналитике дополнительно выделяются разные тексты и повторные размещения. Это позволяет видеть и объём распространения, и разнообразие содержания.

5. Комментарии собираются отдельным этапом

Сначала сохраняются публикации, затем доступные комментарии и ответы. Такой порядок позволяет сохранить основной результат даже тогда, когда обсуждение большое или часть сообщений недоступна.

Публичный счётчик площадки остаётся исходным показателем, а сохранённые комментарии и ответы используются для содержательного анализа.

6. Готовый результат должен воспроизводиться

После завершения сохраняются запрос, период, условия отбора, публикации, комментарии и рассчитанные показатели. Повторное открытие не должно незаметно запускать новый сбор и менять уже подтверждённые числа.

Если нужно обновление, оно выполняется как новый явный период или новая проверка с собственной историей.

Показ платформы

Посмотрите, как платформа решает вашу задачу

Покажем рабочую область на понятном примере и ответим на вопросы о сборе, метриках и отчётах.