Что это такое?
Набор скриптов для автоматического сбора данных (товары, заказы, видео) с китайского маркетплейса JD.com путём обхода его системы защиты API.
Это инструмент для автоматического сбора данных с маркетплейса JD.com. Он решает главную проблему — обход системы подписи запросов h5st. Проект состоит из Python-скриптов, которые используют JavaScript-библиотеку для расчёта подписи. Всё, что нужно —...
Для разработчиков, которые создают парсеры, аналитические системы или AI-агентов, работающих с данными китайского ритейлера JD.com. Подходит тем, кто знаком с Python и JavaScript.
Платформа JD.com защищает свои API сложным алгоритмом подписи h5st, который постоянно обновляется. Вручную генерировать правильные запросы для сбора данных — мучительно долго и ненадёжно.
Проект использует JavaScript-реализацию алгоритма h5st, которую запускает из Python через execjs. Он автоматически генерирует правильные подписи для запросов к API JD.com. Для имитации реального браузера используется curl_cffi, что помогает избежать блокировок. Готовые скрипты позволяют получать данные о товарах по SKU, списки заказов пользователя и ссылки на видео в высоком разрешении.
Это инструмент для автоматического сбора данных с маркетплейса JD.com. Он решает главную проблему — обход системы подписи запросов h5st. Проект состоит из Python-скриптов, которые используют JavaScript-библиотеку для расчёта подписи. Всё, что нужно — установить зависимости, подставить свои cookies от аккаунта JD и запустить нужный скрипт.
Проект использует гибридный подход: критичная для обхода защиты логика на JavaScript, а управление и HTTP-запросы — на Python. Это как шпионский набор: один язык взламывает замок, другой — забирает данные.
Стоит попробовать, если вам реально нужны данные с JD.com. Это рабочий, хотя и сыроватый, инструмент, который решает конкретную сложную задачу. Но будьте готовы к необходимости разбираться в коде и поддерживать его актуальность при изменениях API.
Проект создан в апреле 2024 года, выглядит свежим и актуальным для текущих методов защиты JD. Активность в issues нулевая, но код рабочий.
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
Набор скриптов для автоматического сбора данных (товары, заказы, видео) с китайского маркетплейса JD.com путём обхода его системы защиты API.
Для разработчиков, которые создают парсеры, аналитические сервисы или интеграции с JD.com и сталкиваются с проблемой генерации корректных подписей для запросов.
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.