Пакет реализует подключение к источникам данных, логирование, аггрегирование, обработку ошибок и отправку результата получателю.
pip install Nika
- Cконируйте репозиторий
- В корне проекта создайте и заполните своими данными файл config.cfg следующего содержания:
[Nika]
name = {project name}
srcData = kafka
trgData = kafka
[kafkaConsumer]
topic = {topic}
groupID = {group}
brokers = {"ip:port", "ip:port", "ip:port"}
[kafkaProducer]
topic = {topic}
brokers = {"ip:port", "ip:port", "ip:port"}
[Logger]
level = debug
folder_to_log = Logs
[Postgres]
user = {user}
password = {pass}
host = {host}
port = {port}
database = {db_name}
- Nika
- colorprint
- config
- consumer
- error
- filter
- logger
- nika
- postgres
- producer
- response
- util
Модуль Colorprint отвечает за отображение кода в цвете для нагладного эффекта
Данный модуль инициализирует и синхронизирует параметры конфигураций
Модуль реализует создание объекта подписчика (Consumer), который подключаяcь к Кафке, принимает и обрабатывает поступающие сообщения
Модуль, который осуществляет обработку возникшей ошибки для ее последующей записи в бд
Модуль для создания и ведения логов, которые записываются в корневую папку проекта. В случае возникновения ошибок, производится их запись в бд.
Основной модуль проекта Nika, собирающий все процессы воедино (подключение к бд, инициализация конфигов и логов, отправка и принятие сообщений).
Модуль для работы с базой данных (управление подключениями, заполнение базы данными)
Данный модуль реализует создание объекта издателя (Producer), который подключается к Кафке и отправляет сообщения
Данный модуль формирует объект Response для его отправления в Кафку
Вспомогательные функции для проекта