← Все проекты
Проект / Go

yemrealtanay/llm-hasher: llm-hasher — приватная токенизация персональных данных для LLM

Заменяй чувствительные данные на безопасные токены перед отправкой к любым языковым моделям — LLM никогда не увидит реальные номера карт, адреса и паспорта.

Это Go-библиотека и HTTP-сервис для приватной обработки текстов перед отправкой к языковым моделям. Обнаруживает 10+ типов PII (номера карт, emails, имена, адреса, паспорта), работает полностью локально без отправки данных в облако, хранит маппинги в...

★ 11 Go Форки 0 Issue 0 Оценка 7/10 Карточка проверена

Для кого это

Для разработчиков, которые интегрируют LLM в продукты с обработкой пользовательских данных: чат-боты поддержки, анализ транскриптов, классификация документов.

Проблема / задача

При отправке пользовательских диалогов или документов в LLM вы невольно передаёте третьим сторонам реальные номера карт, телефоны, адреса и паспортные данные в открытом виде — это нарушает GDPR и создаёт риски утечек.

Как это работает

Проект работает как middleware между вашим приложением и LLM. Он анализирует текст, находит персональные данные с помощью локального запуска Ollama и регулярных выражений, заменяет их на непрозрачные токены и сохраняет соответствия в зашифрованном хранилище. LLM получает обезличенный текст, а при возврате ответа токены автоматически заменяются обратно на исходные значения.

Что видно по README

Это Go-библиотека и HTTP-сервис для приватной обработки текстов перед отправкой к языковым моделям. Обнаруживает 10+ типов PII (номера карт, emails, имена, адреса, паспорта), работает полностью локально без отправки данных в облако, хранит маппинги в зашифрованном SQLite. Можно запустить через Docker Compose или встроить в своё Go-приложение.

Ключевые возможности

Гибридное обнаружение PII: regex для структурированных типов + локальная LLM через Ollama для контекстныхПолная локальность — данные не покидают вашу инфраструктуруЗашифрованное хранилище соответствий токен-значение с AES-256-GCMПоддержка своих context_id (например, zoom_call_789)Дедупликация — одинаковые PII в одном контексте получают одинаковый токенРабота как HTTP-сервис или Go-библиотека

Технологии

GoSQLiteOllamaDockerOpenAI APILLaMA

Темы и ключи

ai-safetydata-privacygdprgollmmiddlewareollamapiiprivacytokenization

Интересный факт

Для обнаружения контекстных PII (имён, адресов, номеров паспортов) используется крошечная локальная LLM llama3.2:3b всего на 2 ГБ — она работает даже без GPU.

С чего начать

  • Клонируйте репозиторий и перейдите в папку
  • Запустите make docker-up (поднимет Ollama и сервис на порту 8080)
  • Отправьте POST-запрос на /v1/tokenize с текстом и context_id

Оценка GitRadar

Удобство
7/10
Свежесть
9/10
Перспектива
8/10
Монетизация
6/10
Общая оценка
7/10

Вердикт GitRadar

Стоит попробовать, если вы уже используете LLM с пользовательскими данными и беспокоитесь о compliance. Проект решает конкретную боль, архитектура продумана, но он очень молодой (11 звёзд, 0 форков) — для продакшена нужны тесты и аудит безопасности.

Наблюдения по обновлениям

Проект активный, последние коммиты свежие, есть Docker-образ и подробная документация, но пока мало звёзд и нет issues — это либо очень нишевый инструмент, либо его ещё не нашли.

Что мы проверили

Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.

Исходный репозиторий
https://github.com/yemrealtanay/llm-hasher
Лицензия
MIT
Создан на GitHub
6 апреля 2026 г.
Последнее обновление репо
6 апреля 2026 г.
Последняя проверка GitRadar
6 апреля 2026 г.
Изученные файлы
README.md, cmd/llm-hasher/main.go, internal/config/config.go, pkg/hasher/hasher.go, go.mod, internal/server/server.go

FAQ

Что это такое?

Промежуточный слой для замены персональных данных на токены перед отправкой текстов в языковые модели. LLM видит только маски, а реальные значения хранятся у вас в зашифрованном виде.

Для кого подходит?

Для разработчиков на Go, которые внедряют LLM в продукты с обработкой диалогов поддержки, транскриптов звонков или документов с персональными данными.

Источники

  • GitHub исходный код и активность
  • README описание, ссылки, стартовые материалы

Нужна помощь с yemrealtanay/llm-hasher?

Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.