Что это такое?
Библиотека на Python для структурированной обработки технических тексов с помощью локальной языковой модели.
avbiswas/neural-txt — open-source проект на Python, который стоит оценить перед внедрением или доработкой.
Для разработчиков Python, которые работают с технической документацией, научными статьями или образовательными материалами и хотят автоматизировать их анализ.
Большие языковые модели вроде GPT требуют облака, денег и интернета, а для простых задач структурирования текста это избыточно.
Проект использует дообученную маленькую модель на 135 млн параметров, которая работает локально на вашем компьютере. Поддерживает два бэкенда: HuggingFace (для обычных компьютеров) и MLX (для Apple Silicon). Модель специально обучена на технических текстах и умеет выполнять структурированные задачи: выделять основные пункты, создавать пары вопрос-ответ, извлекать триплеты для графов знаний.
NeuralTxt — это Python-библиотека для структурированной обработки технических текстов с помощью локальной языковой модели. Вместо того чтобы отправлять данные в облако, всё работает на вашем устройстве, что дешевле и приватнее. Проект предлагает готовые методы для типовых NLP-задач с гарантированно структурированным выводом через Pydantic-модели.
Модель специально дообучена на датасете из 300 тысяч научных статей и технических инструкций, поэтому она особенно хорошо работает с профессиональными текстами, а не с общими диалогами.
Стоит попробовать, если вам нужен простой локальный инструмент для анализа технических текстов. Проект сыроват (альфа-версия), но идея узкоспециализированной локальной модели перспективна.
Проект активен: есть документация, примеры кода, Gradio-демо и поддержка двух бэкендов. Автор поддерживает через Patreon и YouTube-канал.
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
Библиотека на Python для структурированной обработки технических тексов с помощью локальной языковой модели.
Для разработчиков, которые работают с технической документацией, научными статьями и хотят автоматизировать их анализ без облачных сервисов.
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.