DOCUMENTATION EN COURS DE RÉDACTION ET QUI NE CONCERNE QUE LA VERSION DE TEST DE POD

Contexte et solution apportée

Contexte

Suite à la pandémie de COVID-19, il a été mis en place, à l'université de Montpellier, un système de classe virtuelle Open Source reposant sur Big Blue Button (BBB).

Pour informations, BigBlueButton (https://bigbluebutton.org/) est un outil de classe virtuelle ayant les fonctionnalités suivantes :

• Vidéo/webcam
• Audio
• Chat
• Partage de document + annotation
• Partage d’écran
• Sondage
• Enregistrement
• Création de groupes
• Prises de notes partagées
• Intégration de vidéos externes
• Intégration Moodle et WordPress

Il faut savoir que l'enregistrement d'une session BBB se fait sous la forme d'une présentation Web. Cette présentation Web peut alors être lue directement depuis un navigateur, en ayant récupéré l'adresse dans le client BBB (typiquement Moodle ou Greenlight).

Bien que cette façon de faire est des avantages - en particulier concernant l'espace de stockage (une présentation Web n'étant pas une vidéo, sa taille est très petite) - elle présente quelques inconvénients, à savoir :

• cette présentation Web n'est pas une vidéo, elle ne peut être publiée sur des plateformes telles Pod ou Youtube,
• cette présentation Web n'est pas une vidéo, elle ne peut être coupée,
• cette présentation Web ne peut être consultée qu'au travers des clients BBB (Moodle ou Greenlight), ou donnée via un lien dans un mail. Si l'on souhaite donner d'autres accès, cela n'est pas possible,
• cette présentation Web ne peut être lue que sur les navigateurs Firefox et Chrome dans une version à jour.

Au final, certains enseignants souhaitaient convertir ces présentations Web sous la forme de vidéos, et les publier directement dans la plateforme vidéo de l'université, qui repose sur Pod v2.

Solution

Pour résoudre cette problématique et répondre favorablement aux demandes des enseignants de l'université, j'ai conçu la solution suivante, qui se repose totalement sur Pod v2.

L'idée de cette solution est de :

• Récupérer régulièrement les informations concernant les sessions en cours, ainsi que les usagers, dans BigBlueButton,
  
  
• Positionner ces informations dans la base de données de Pod,
  
  
• Traiter ces données pour permettre aux utilisateurs, connectés dans Pod, de pouvoir consulter leurs enregistrements des sessions BigBlueButton qu'ils ont réalisé,

Par exemple, voici la liste des sessions BigBlueButton réalisée à des fins de test.

• Permettre à ces utilisateurs, connectés dans Pod, de créer des vidéos à partir de ses présentations BigBlueButton.

Voici l'écran permettant la confirmation de la création d'une vidéo à partir d'une présentation BigBlueButton.

• Une fois la vidéo créée à partir de la présentation Web BigBlueButton, celle-ci apparaît dans la liste habituelle de mes vidéos.

Voici le rendu d'une vidéo créée à partir d'une présentation Web BigBlueButton.

Une vidéo créée à partir d'une présentation Web BigBlueButton est réellement identique à cette présentation Web, ce qui signifie qu'elle contient :

• le document de présentation,
• l'audio,
• la vidéo/webcam,
• le partage d'écran,
• le chat public,
• le tableau blanc.

Architecture de la solution

Choix du plugin permettant la conversion d'une présentation Web BigBlueButton en vidéo

Pour convertir une présentation Web BigBlueButton en vidéo, certains plugins existent déjà sur Github; il ne paraît pas raisonnable de redévelopper un tel système.

Pour arriver à faire mon choix, j'ai testé les 3 solutions suivantes :

• bbb-recorder (https://github.com/jibon57/bbb-recorder) : un plugin, indépendant de BigBlueButton, qui permet de convertir - via un script - une présentation Web BigBlueButton en fichier vidéo. Ce plugin permet également une diffusion en direct (flux RTMP) d'un cours BigBlueButton.
• bbb-download (https://github.com/createwebinar/bbb-download) : un plugin, totalement couplé à BigBlueButton, qui convertit automatiquement les présentations Web de BigBlueButton en fichier vidéo.
• BigBlueButton-liveStreaming (https://github.com/aau-zid/BigBlueButton-liveStreaming) : un plugin, indépendant de BigBlueButton, permettant de publier en live (via RTMP) une session BigBlueButton et de l'enregistrer.

Au final, voici ce qui est ressorti de mes tests.

	bbb-recorder	bbb-download	BigBlueButton-liveStreaming
Enregistre un cours BBB en vidéo	format webm, mp4		peut enregistré le cours qu'il publie en live au format mkv
Exporte un cours BBB en direct live
Enregistre un cours en temps réel
Indépendance vis-à-vis de BigBlueButton	peut-être installé sur n'importe quel serveur	doit être installé sur tous les serveurs BBB	peut-être installé sur n'importe quel serveur
Contenu de la vidéo finale	présentation  audio  vidéo partage d'écran chat whiteboard	présentation  audio  vidéo  partage d'écran  chat  whiteboard	présentation  audio  vidéo  partage d'écran  chat  whiteboard
Technologies	NodeJS, xvfb, Chrome, ffmpeg, shell	Python, ruby, ffmpeg, shell	Docker, python, xvfb, ffmpeg, shell
Mise à jour régulière		Dernière mise à jour en 2018
Notion de charge	Le fichier vidéo fait entre 2 et 4Mo par minute, en webm ou mp4	Encode nécessairement toutes les Web conférences en vidéo	1 stream nécessite (à minima ?) 8 CPU cores + 4 Go RAM possibilité de faire plusieurs streams sur une même VM ? le fichier vidéo fait ~19Mo par minute, en mkv
Commentaires	Facilement modifiable (scripts JS pour NodeJS)	Complètement intégré à BBB (une fois un cours enregistré terminé, une vidéo - en plus de la présentation - est générée)	Il faut bien respecter l'ordre de démarrage (session BBB avant liveStreaming).
Remarques sur mes tests	Peut également publier en live le cours (publication RTMP).		Le fait de partager l'écran semble - dans certains cas - faire planter ce plugin, avec une erreur "Conversion failed ( Error writing trailer of rtmp://xxxx:xxxx@xxxx.umontpellier.fr:1935/live/myStream: Broken pipe)".

Aux vues des besoins, j'ai alors choisi bbb-recorder comme solution pour la conversion des présentations Web BigBlueButton en fichier vidéo.

Installation et configuration

Pré-requis

Techniquement, la solution repose sur :

• Le développement d'un plugin BBB pour Pod v2,
• L'utilisation du plugin spécifique bbb-recorder (https://github.com/jibon57/bbb-recorder).

Le fait d'exécuter le script bbb-recorder réalise les étapes suivantes :

• Lance un navigateur Chrome en arrière-plan,
• Chrome visite le lien - correspondant à la présentation Web BigBlueButton - fourni,
• Il effectue l'enregistrement d'écran sous la forme d'un fichier vidéo.

Installation de bbb-recorder sur les serveurs d'encodage

Il est nécessaire d'installer bbb-recorder sur les serveurs d'encodage.

La documentation de référence est accessible ici : https://github.com/jibon57/bbb-recorder

Pour ma part, sur les serveurs CentOS 7, voici ce qui a été réalisé.

Installation de bbb-recorder sur CentOS7

Ce plugin n'a pas besoin d'être installé sur un serveur BigBlueButton.

Installation de Chrome et des pré-requis (sous root)

# Install xvfb
podtest@ts-sun:~/$ yum install xorg-x11-server-Xvfb
podtest@ts-sun:~/$ wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
podtest@ts-sun:~/$ yum localinstall google-chrome-stable_current_x86_64.rpm

Étant un serveur d'encodage, je considère que ffmpeg est déjà installé. Si besoin, il est nécessaire d'installer ffmpeg.

Installation effective

Voici l'installation pour un utilisateur %userpod% (pensez à remplacer %userpod% par votre utilisateur).

%userpod%@ts-sun:~/$ cd ~
%userpod%@ts-sun:~/$ git clone https://github.com/jibon57/bbb-recorder
%userpod%@ts-sun:~/$ cd bbb-recorder
%userpod%@ts-sun:~/bbb-recorder/$ npm install --ignore-scripts
%userpod%@ts-sun:~/bbb-recorder/$ cp .env.example .env

Gestion du répertoire contenant les vidéos : dans mon cas /data/www/%userpod%/bbb-recorder et du répertoire de logs /data/www/%userpod%/bbb-recorder/logs.

%userpod%@ts-sun:~/bbb-recorder/$ mkdir /data/www/%userpod%/bbb-recorder
%userpod%@ts-sun:~/bbb-recorder/$ mkdir /data/www/%userpod%/bbb-recorder/logs

Paramétrage

• Édition du fichier de configuration ~/bbb-recorder/.env pour paramétrer le RTMP (inutile ici) et surtout le répertoire des vidéos.

{
"rtmpUrl": "rtmp://xxxxxxxx:xxxxxxxxxx@xxxxx.umontpellier.fr:1935/live/stream",
"ffmpegServer": "ws://localhost",
"ffmpegServerPort": 4000,
"auth": "xxxx",
"copyToPath": "/data/www/%userpod%/bbb-recorder"
}

• Si besoin, réaliser le paramétrage dans le fichier examples/index.js (pour réaliser un live ou enregistrer en direct une Web conférence) :

const BBBUrl = "https://xxxx.umontpellier.fr/bigbluebutton/", 
BBBSalt = "xxxxxxxxxxxxxxxxxxxx", 
joinName = "recorder";

• Si vous le souhaitez, vous pouvez configurer le bitrate pour contrôler la qualité de la vidéo exportée en ajustant la propriété videoBitsPerSecond dans background.js.

Configuration dans Pod

Une fois bbb-recorder installé sur les différents serveurs d'encodage, il reste à configurer le plugin bbb directement dans Pod, via l'édition de fichier custom/settings_local.py :

##
# BigBlueButton settings
#
# Use of BigBlueButton
USE_BBB = True
# Directory of bbb-recorder plugin (see documentation https://github.com/jibon57/bbb-recorder)
# bbb-recorder must be installed in this directory, on all encoding servers
# bbb-recorder create a directory 'homedir'/Downloads that needs disk space
DEFAULT_BBB_PLUGIN = '/home/%userpod%/bbb-recorder/'
# Directory that will contain the video files generated by bbb-recorder
DEFAULT_BBB_PATH = '/data/www/%userpod%/bbb-recorder/'
# BigBlueButton or Scalelite server URL, where BBB Web presentation and API are
BBB_SERVER_URL = 'https://bbb.univ.fr/'
# BigBlueButton key or Scalelite LOADBALANCER_SECRET
BBB_SECRET_KEY = 'xxxxxxxxxxxxxxxxxxxxxxxx'
# Type of the generated video by default
DEFAULT_BBB_TYPE_ID = 1

Les éléments de paramétrage sont les suivants :

• USE_BBB : utilisation (True/False) du plugin BBB pour Pod
  
  

• DEFAULT_BBB_PLUGIN : répertoire d'installation de bbb-recorder sur les serveurs d'encodage (cf. paragraphe précédent)

• DEFAULT_BBB_PATH : répertoire qui contiendra les fichiers vidéos générés par bbb-recorder et les fichiers de logs inhérents à la conversion
  
  
• BBB_SERVER_URL : URL du serveur BigBlueButton ou Scalelite où est positionné les présentations Web et l'API bbb
  
  
• BBB_SECRET_KEY : la clé de sécurité de BigBlueButton (côté BigBlueButton, il est possible d'obtenir cette clé via la commande sudo bbb-conf secret).
  
  
• DEFAULT_BBB_TYPE_ID : type par défaut de la vidéo générée

Concernant le répertoire contenant les fichiers vidéos générés par bbb-recorder (DEFAULT_BBB_PATH), il est à créer manuellement - en même temps que son sous-répertoire des logs -  avec les lignes de commande suivantes; n'hésitez pas à les modifier à votre convenance selon votre architecture système et vos droits :

%userpod%@ts-sun:~/$ mkdir /data/www/%userpod%/bbb-recorder
%userpod%@ts-sun:~/$ mkdir /data/www/%userpod%/bbb-recorder/logs
%userpod%@ts-sun:~/$ chown %userpod%:nginx /data/www/%userpod%/bbb-recorder/logs

Mise en place du job CRON

Comme expliqué préalablement, le système repose principalement sur un job CRON. Ce job CRON est à installer sur un serveur Pod de votre choix et devra tourner régulièrement (toutes les  5 minutes me paraît un délai correct).

Le script à lancer est positionné dans django_projects/podv2/pod/video/management/commands/bbb.py.

Personnellement, mon CRON est configuré de la sorte :

crontab -e
*/5 * * * * /usr/bin/bash -c 'export WORKON_HOME=/data/www/%userpod%/.virtualenvs; export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3.6; cd /data/www/%userpod%/django_projects/podv2; source /usr/bin/virtualenvwrapper.sh; workon django_pod; python manage.py bbb

Voici les explications techniques sur ce que réalise cette tâche :

Exploitation