Что это такое?
Локальный ИИ-ассистент, который работает полностью на вашем компьютере без облачных сервисов и платных API.
Локальный ассистент с полным офлайн-стеком: веб-интерфейс, CLI-клиент и REST API. Поддерживает потоковую генерацию ответов, управление сессиями, инструменты для работы с файловой системой и памятью на основе эмбеддингов.
Для разработчиков и технических специалистов, которые хотят экспериментировать с локальными языковыми моделями или создать персонального ассистента с доступом к файлам и заметкам.
Платформы вроде ChatGPT хранят ваши данные в облаке, требуют подписки и ограничивают возможности интеграции с локальными инструментами.
Проект использует Ollama для запуска локальных моделей (llama3, mistral, phi3), FastAPI предоставляет REST API, SQLite хранит историю чата, а FAISS реализует семантический поиск по долговременной памяти. Модель может вызывать инструменты для чтения файлов, создания заметок и поиска по памяти, получая доступ к вашим данным.
Локальный ассистент с полным офлайн-стеком: веб-интерфейс, CLI-клиент и REST API. Поддерживает потоковую генерацию ответов, управление сессиями, инструменты для работы с файловой системой и памятью на основе эмбеддингов.
Ассистент умеет вызывать инструменты через специальные XML-теги <tool_call> — модель генерирует JSON с командой, система её выполняет и возвращает результат в контекст, создавая подобие автономного агента.
Стоит попробовать, если вам интересны локальные LLM и нужен готовый каркас для собственного ассистента с памятью и инструментами. Проект сыроват, но архитектура продумана.
Проект выглядит активным (51 звезда), код структурирован, но документация минимальна и нет issue/обсуждений.
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
Локальный ИИ-ассистент, который работает полностью на вашем компьютере без облачных сервисов и платных API.
Для разработчиков, которые хотят экспериментировать с локальными LLM или создать персонального помощника с доступом к своим файлам.
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.