Historique de la page

Si besoin : pour supprimer les anciennes versions d'Erlang  : (yum list installed | grep erl | grep -v perl)

yum remove 'erlang-*'

mkdir /data/elasticsearch/data -p
[root@ts-sun-video ~]# mkdir /data/elasticsearch/logs
[root@ts-sun-video ~]# #chown On crée un nouvel utilisateur pod qui dispose d'un mot de passe xxxxxelasticsearch:elasticsearch /data/elasticsearch/ -R
[root@ts-sun-video ~]# rabbitmqctl add_user pod xxxxxchown elasticsearch:elasticsearch /usr/share/elasticsearch/ -R
[root@ts-sun-video ~]# #chown On donne les droits administrateurs. Commande documentée mais ne fonctionne pas dans mon cas "rabbitmqctl set_admin pod" remplacée par celle ci-dessous
[root@ts-sun-video ~]# rabbitmqctl set_user_tags pod administrator
[root@ts-sun-video ~]# # Commande documentée mais ne fonctionne pas elasticsearch:elasticsearch /etc/elasticsearch/ -R

Celery est intégré à Pod dans le fichier requirements.txt à la racine du projet. Pensez à vérifier que vous avez bien installé les prérequis python au passage (n'oubliez pas d'être en environnement virtuel) :

(django_pod) %userPod%@ts-sun-video:~/django_projects/pod$ pip3 install -r requirements.txt

Les fichiers relatifs à Celery sont déjà créés dans Pod. L'installation est donc terminée.

# Encode with Celery
CELERY_TO_ENCODE = True
CELERY_BROKER_URL = "amqp://pod:xxxx@162.38.xxx//"

Le paragraphe suivant concerne le serveur d'encodage. Dans son cas, il doit recevoir les ordres d'encodage qui lui ont été envoyés.
La création des fichiers celeryd permettent au serveur d'encodage de recevoir ces ordres !

CELERYD_NODES="worker1"                                                        # Nom du/des worker(s)
DJANGO_SETTINGS_MODULE="pod.settings"                                  # settings de votre Pod
CELERY_BIN="/data/www/%userpod%/.virtualenvs/django_pod/bin/celery"              # répertoire source de celery
CELERY_APP="pod.main"                                      	# Active the module or not
#H5P_VERSION = '7.x'          # application où se situe celery
CELERYD_CHDIR="/data/www/%userpod%/django_projects/podv2"	           # répertoire du projet Pod (où se trouve manage.py)
CELERYD_OPTS="--time-limit=86400 --concurrency=1 --maxtasksperchild=1"         # options à appliquer en plus sur le comportement du/des worker(s)
CELERYD_LOG_FILE="/var/log/celery/%N.log" # Current version of H5P module
H5P_DEV_MODE = 0                                        # Active the development mode or not
#H5P_PATH = os.path.join(BASE_DIR, 'h5pp/static/h5p')   # fichier log
CELERYD_PID_FILE="/var/run/celery/%N.pid"Path to static ressources of H5PP module
H5P_URL = '/h5p/'                                       # fichier pid
CELERYD_USER="%userpod%"All H5PP pages begin with this url
H5P_SAVE = 30                                           # How often current content state should be saved
H5P_EXPORT = '/exports/'      # utilisateur système utilisant celery
CELERYD_GROUP="nginx"                      # Location of exports (packages .h5p)
H5P_LANGUAGE = 'fr'                            # groupe système utilisant celery
CELERY_CREATE_DIRS=1     # Language of the module H5P.
BASE_URL     = 'https://pod-test.umontpellier.fr'                                            # si celery dispose du droit de création de dossiers
CELERYD_LOG_LEVEL="INFO"                                                       # niveau d'information qui seront inscrit dans les logs

Ayant eu des problèmes de droits sur le répertoire contenant les vidéos (qui peuvent être déposés et par le user nginx et par le user Celery), j'ai ajouté l'utilisateur dans le groupe Nginx et j'ai changé quelques droits :

[root@ts-sun-video ~]# usermod -g nginx %userpod%
[root@ts-sun-video ~]# chown %userpod%:nginx /data/www/%userpod%/media -R
[root@ts-sun-video ~]# chmod 755 /data/www/%userpod%/media/ -R

[root@ts-sun-video ~]# systemctl daemon-reload
[root@ts-sun-video ~]# systemctl enable celeryd

/var/log/celery/*.log {
    missingok
    notifempty
    compress
    delaycompress
    copytruncate
    daily
    dateext
    rotate 7
    size 10M
}

[root@ts-sun-video ~]# yum install java-1.8.0-openjdk.x86_64

[root@ts-sun-video ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

[root@ts-sun-video ~]# yum install elasticsearch

cd
[root@ts-sun-video ~]# systemctl daemon-reload
[root@ts-sun-video wget https://github.com/rabbitmq/erlang-rpm/releases/download/v21.2.3/erlang-21.2.3-1.el7.centos.x86_64.rpm
[root@ts-sun-video ~]# systemctlyum enable elasticsearch.service

[root@ts-sun-video ~]# # On crée un nouvel utilisateur pod qui dispose d'un mot de passe xxxxx
[root@ts-sun-video ~]# rabbitmqctl add_user pod xxxxx
[root@ts-sun-video ~]# # On donne les droits administrateurs. Commande documentée mais ne fonctionne pas dans mon cas "rabbitmqctl set_admin pod" remplacée par celle ci-dessous

[root@ts-sun-video ~]# systemctl start elasticsearch.service
# Mettre l'adresse IP du serveur Elasticsearchrabbitmqctl set_user_tags pod administrator
[root@ts-sun-video ~]# curl -XGET http://162.38.xx.xx:9200/_cat/nodes

[root@ts-sun-video ~]# systemctl cd /usr/share/elasticsearch/ # Commande documentée mais ne fonctionne pas dans mon cas "abbitmqctl clear_admin guest" remplacée par celle ci-dessous
[root@ts-sun-video ~]# bin/elasticsearch-plugin install analysis-icu
[root@ts-sun-video ~]# systemctl restart elasticsearch

THIRD_PARTY_APPS = ['live', 'enrichment', 'interactive']


##
# H5P relative parameters
#
H5P_ENABLED =répertoire Truedu projet Pod (où se trouve manage.py)
CELERYD_OPTS="--time-limit=86400 --concurrency=1 --maxtasksperchild=1"         # options à appliquer en plus sur le comportement du/des worker(s)
CELERYD_LOG_FILE="/var/log/celery/%N.log"            	# Active the module or not
#H5P_VERSION = '7.x'                   # fichier log
CELERYD_PID_FILE="/var/run/celery/%N.pid"               # Current version of H5P module
H5P_DEV_MODE = 0                # fichier pid
CELERYD_USER="%userpod%"                      # Active the development mode or not
#H5P_PATH = os.path.join(BASE_DIR, 'h5pp/static/h5p')   # Path to static ressources of H5PP module
H5P_URL = '/h5p/'              # utilisateur système utilisant celery
CELERYD_GROUP="nginx"                     # All H5PP pages begin with this url
H5P_SAVE = 30                           # groupe système utilisant celery
CELERY_CREATE_DIRS=1            # How often current content state should be saved
H5P_EXPORT = '/exports/'                                # Location of exports (packages .h5p)
H5P_LANGUAGE = 'fr'        # si celery dispose du droit de création de dossiers
CELERYD_LOG_LEVEL="INFO"                              # Language of the module H5P.
BASE_URL = 'https://pod-test.umontpellier.fr'                         # Hostname of your django ap

Comme tout changement majeur au fichier settings_local.py, il sera sûrement nécessaire de réaliser une migration de la base de données via les commandes suivantes :

• python manage.py makemigrations
• python manage.py migrate

N'oubliez pas de relancer tous les services en lien avec ce fichier de configuration (en cas de cache) : uWSGI, celeryd voire nginx et rabbitmq (cf. document d'exploitation v2).

# Les fichiers statiques sont dans l'environnement virtuel. Il a fallu copier le répertoire h5p :
cp /data/www/%userpod%/.virtualenvs/django_pod/lib/python3.6/site-packages/h5pp/static/h5p /data/www/%userpod%/django_projects/podv2/pod/static/h5p -R