Что это такое?
MCP-сервер для поиска в интернете и извлечения структурированных данных с веб-страниц с помощью локальных LLM.
Это MCP-сервер на Python, который позволяет LLM-агентам искать информацию в интернете и извлекать структурированные данные с веб-страниц. Проект интегрируется с локальными LLM через OpenAI-совместимые API и предлагает гибкие методы загрузки контента.
Для разработчиков, создающих исследовательских LLM-агентов, которым нужен доступ к актуальной информации из интернета и её автоматическая обработка.
LLM-агенты часто не имеют прямого доступа к свежей информации из интернета, а ручной сбор и структурирование данных с веб-страниц требует времени и усилий.
Сервер предоставляет инструменты для поиска через DuckDuckGo или SearXNG, загрузки веб-страниц с помощью Playwright для JavaScript-сайтов или быстрого HTTP-запроса для статических страниц. Извлечённый контент очищается и отправляется в локальную LLM для структурированного извлечения данных по заданному промпту или схеме.
Это MCP-сервер на Python, который позволяет LLM-агентам искать информацию в интернете и извлекать структурированные данные с веб-страниц. Проект интегрируется с локальными LLM через OpenAI-совместимые API и предлагает гибкие методы загрузки контента.
Проект использует два разных размера моделей LLM для разных задач: большую модель для исследовательской работы и меньшую — для извлечения данных, что оптимизирует использование ресурсов.
Стоит пробовать, если вы разрабатываете исследовательских LLM-агентов и хотите дать им доступ к актуальной информации из интернета. Проект сыроват, но предлагает работающий фундамент.
Проект активно развивается, но имеет открытые задачи по улучшению извлечения контента и обходу антибот-систем.
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
MCP-сервер для поиска в интернете и извлечения структурированных данных с веб-страниц с помощью локальных LLM.
Для разработчиков, создающих исследовательских LLM-агентов, которым нужен доступ к свежей информации из интернета.
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.