istex/istex-api-kibana repository overview

⁠istex-api-kibana

Dashboard kibana des données disponibles en production sur la plateforme ISTEX⁠.

https://api-kibana.istex.fr⁠ (prochainement disponible)

Pour :

• proposer une vitrine orientée données aux utilisateurs finaux,
• permettre de visuellement naviguer dans les données de la plateforme ISTEX pour des besoins internes de compréhension et de diagnostiques afin de mieux cibler les chantiers de curration et d'amélioration des données.

Ces même données sont également accessibles programatiquement à travers l'API ISTEX⁠.

⁠Pré-requis

• Docker⁠ (Version ⩾ 17.09.0)
• Docker Compose⁠ (Version ⩾ 1.17.0)
• vm.max_map_count ⩾ 262144 (see elasticsearch doc⁠)

⁠Lancer l'application en développement

IAK_ADMIN_USERNAME="istex-api-kibana" \
IAK_ADMIN_PASSWORD="changeme" \
make run-debug

Ouvrez alors un nouveau terminal et initialisez les données en lançant ce script :

make load-istex-data

(laissez la tourner en tache de fond pour charger 1000 documents)

Rendez alors sur http://127.0.0.1:8080/app/kibana⁠ et si c'est votre premier lancement, attendez un petit moment pour qu'elasticsearch et kibana s'initialisent (cela peut prendre 2 minutes).

⁠Lancer l'application en production

# lancement de l'application (changez les variables nécessaires 
# comme par exemple le mot de passe)
# Notice: parameter "-Xmx10G -Xms10G" should not be set to more than 50% of available RAM
#         see https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html
mkdir istex-api-kibana/ && cd istex-api-kibana/
wget https://raw.githubusercontent.com/istex/istex-api-kibana/master/docker-compose.yml
mkdir -p logs/iak-rp/
mkdir -p data/elastic/data/
IAK_ADMIN_USERNAME="istex-api-kibana" \
IAK_ADMIN_PASSWORD="changeme" \
IAK_BASEURL="https://api-kibana.istex.fr" \
IAK_ELASTICSEARCH_JAVA_OPTS="-Xmx10G -Xms10G" \
IAK_ISTEX_API_URL="https://api.istex.fr" \
IAK_LOAD_10_DOC="yes" \
docker-compose up -d

# chargement des données ISTEX dans la base elasticsearch
docker exec -it iak-loader load-random-istex-doc-bulk.sh

Rendez alors sur http://<nom-du-serveur>:8080/ ou sur https://api-kibana.istex.fr⁠ (nécessite la configuration préalable du reverse proxy), et attendez un petit moment pour qu'elasticsearch et kibana s'initialisent (cela peut prendre 2 minutes), vous aurez alors le Kibana qui s'affichera. Suivez les instructions de la section suite au premier démarrage.

En cas de souci au démarrage, docker-compose logs pourra vous aiguiller.

⁠Configurer l'application à son premier lancement

Une fois que vous arrivez à afficher Kibana sur votre URL locale http://127.0.0.1:8080/app/kibana⁠ vous avez plusieurs opérations à réaliser manuellement (qui ne seront pas à réaliser au prochain redémarrage).

1. Configurer un "index pattern" au niveau du kibana, il faudra indiquer istex-corpus-* et ne pas séléctionner de champs pour le "Time filter". Cf copie d'écran :

1. Vous devez ensuite importer manuellement le modèle de tableau de bord Kibana en vous rendant dans "Management"

puis en cliquant sur

et finalement en sélectionnant le fichier export.json présent dans le répertoire data/kibana/export.json :

Ces deux opérations ne sont à faire qu'une fois après le premier lancement de l'application. Notez également que kibana vous demandera de vous authentifier et vous aurez alors besoin du login/mot de passe défini dans les variables IAK_ADMIN_USERNAME et IAK_ADMIN_PASSWORD.

⁠Chargement des données

Vous pouvez à tout moment charger de nouvelles données dans votre Kibana en lançant cette commande dans un autre terminal une fois que l'application est lancée.

docker exec -it iak-loader load-random-istex-doc-bulk.sh

Cette commande va charger des documents aléatoirement trouvées sur l'API ISTEX dans L'ElasticSearch de istex-api-kibana.

⁠Comment sauvegarder un nouveau tableau de bord

Si vous désirez d'enrichire les tableaux de bord d'istex-api-kibana faites le depuis l'interface Kibana, pensez alors à sauvegarder vos modifications (authentification nécessaire via IAK_ADMIN_USERNAME et IAK_ADMIN_PASSWORD).

La dernière étape pour que ce soit sauvegardé dans le github est de vous rendre alors dans

ensuite cliquez sur

et sélectionnez l'emplacement data/kibana/export.json pour y sauvegarder le fichier export.json généré. N'oubliez pas ensuite de faire un git commit et un git push de ce fichier.