Comments 6
Статья прекрасная, но мне далекому от nifi не понятно под какой юз кейс это все ?
Приветствую! Один из самых простых примеров - это преобразование данных. Представь, что у тебя есть большой поток XML/JSON, логи разных приложений, какие то данные из БД. Далее, с помощью Nifi, ты эти данные можешь преобразовывать (и преобразовывать не целиком, а постепенно, что в свою очередь делает процесс удобным для тебя) - преобразовывать в единый формат, используя процессоры и другие сущности Nifi. На выходе, ты эти данные можешь затолкать куда-нибудь, где сможешь это визуализировать.
В голову также пришли следующие примеры:
- Преобразование таблиц в одну большую;
- Преобразование форматов (XML -> Json);
- Получение данных из веба (пускай это будут комментарии), преобразование и обработка, получение конкретного типа (пускай, это будут плохие отзывы);
- Получение данных из IoT устройств, обработка и визуализация под конкретные паттерны;
- Работа с логами;
Понятное дело, что подобные задачи можно решать и командной строкой, но с Nifi ты сможешь всё это выполнять, используя один интерфейс, автоматизируя и не храня всё это в крон скриптах на серверах, забыв об этом через месяц работы.
В целом, никто тебе не мешает использовать ELK, Kafka и другие решения, цель статьи - предоставить вводную для изучения и настройки конкретно Nifi.
Если интересно - могу поработать над описанием конкретных сущностей, с примерами и какими-нибудь простыми кейсами.
Thank you so much for this article.
I am still a learner in Nifi, please can you briefly explain this line : keytool -importcert -file cert.crt -keystore $(hostname).jks -alias "cert"
In particular, where does the "cert.crt" comes from.
Thank you once again.
Hi rafy. For this example, you may add cert to keystore (for create connection between nifi and registry). First time, you need to find CA and intermediate certificate (may to create, buy or etc.). For second time, place it as cert.crt (its 2 commands, just replace cert.crt and alias). You need to do it at nifi and registry, because servers are auth by Owner in certificate. For my example, i take certs (root and intermediate) from idm servers.
Okay, I got it. Thank you so much.
Also, i was expecting you to create a truststore.jks but you did not, is it not that important.
And if i am to create truststore.jks in this exaample, can you kindly give me the code snippet to do that.
The keystore is created same as the truststore (see command above as keystore). in my case I left them the same, but in a production environment it is important to separate them. If memory serves, in production env for keystore need provide server cert (full chain) and key. Trustore need provide only root and intermediate cert
Apache NiFi. Как быстро подружиться с LDAP и Registry