Contexte et solution apportée

Contexte

Suite à la pandémie de COVID-19, il a été mis en place, à l'université de Montpellier, un système de classe virtuelle Open Source reposant sur Big Blue Button (BBB).

Pour informations, BigBlueButton (https://bigbluebutton.org/) est un outil de classe virtuelle ayant les fonctionnalités suivantes :

• Vidéo/webcam
• Audio
• Chat
• Partage de document + annotation
• Partage d’écran
• Sondage
• Enregistrement
• Création de groupes
• Prises de notes partagées
• Intégration de vidéos externes
• Intégration Moodle et WordPress

Cependant, l'une des plus grosses contraintes de BigBlueButton concerne la limite de 100 étudiants par session (cf. https://docs.bigbluebutton.org/support/faq.html#how-many-simultaneous-users-can-bigbluebutton-support).

Dans la plupart des cas, cette limite de 100 étudiants par session n'est pas un blocage, mais dans certains cas bien précis - par exemple, des cours magistraux pour des L1 - cette limite devient bloquante à l'utilisation de BigBlueButton.

Solution

Pour résoudre cette problématique, je suis parti d'une solution mise en place à l'Université Polytechnique Hauts-de-France et l'ai modifié pour l'intégrer totalement dans Pod v2.

Contexte et solution apportée

Contexte

Suite à la pandémie de COVID-19, il a été mis en place, à l'université de Montpellier, un système de classe virtuelle Open Source reposant sur Big Blue Button (BBB).

Pour informations, BigBlueButton (https://bigbluebutton.org/) est un outil de classe virtuelle ayant les fonctionnalités suivantes :

• Vidéo/webcam
• Audio
• Chat
• Partage de document + annotation
• Partage d’écran
• Sondage
• Enregistrement
• Création de groupes
• Prises de notes partagées
• Intégration de vidéos externes
• Intégration Moodle et WordPress

Cependant, l'une des plus grosses contraintes de BigBlueButton concerne la limite de 100 étudiants par session Cette solution fonctionne pour BigBlueButton mais également pour Scalelite (cf. https://githubdocs.bigbluebutton.comorg/blindsidenetworks/scalelite), un système de répartition de charge pour BigBlueButton.

L'idée de cette solution est de :

...

Avertissement

Il ne faut pas que l'utilisateur utilise de salles privées dans BigBlueButton. En effet, le système de salles privées de BigBlueButton ouvre des popups, et il pourrait arriver que le direct n'affiche que l'appel de la popup. Image Removed Image Removed Il faut également que l'utilisateur mette fin à la réunion pour que le direct s'arrête (une déconnexion n'est pas suffisante et le direct continue alors). Image Removed

...

Enregistrer la session dans Mes vidéos : Cette option permet l'enregistrement de la vidéo du direct en même temps. Cela signifie qu'une fois le direct réalisé, le fichier vidéo sera automatiquement publié en mode Brouillon pour cet utilisateur et sera alors mis automatiquement dans la file d'attente pour encodage.

support/faq.html#how-many-simultaneous-users-can-bigbluebutton-support).

Dans la plupart des cas, cette limite de 100 étudiants par session n'est pas un blocage, mais dans certains cas bien précis - par exemple, des cours magistraux pour des L1 - cette limite devient bloquante à l'utilisation de BigBlueButton.

Solution

Pour résoudre cette problématique, je suis parti d'une solution mise en place à l'Université Polytechnique Hauts-de-France et l'ai modifié pour l'intégrer totalement dans Pod v2.

Cette solution fonctionne pour BigBlueButton mais également pour Scalelite (cf. https://github.com/blindsidenetworks/scalelite), un système de répartition de charge pour BigBlueButton.

L'idée de cette solution est de :

• Récupérer régulièrement les informations concernant les sessions en cours, ainsi que les usagers, dans BigBlueButton pour les insérer dans la base de données de Pod.
  Cf. le système de publication des présentations Web de BigBlueButton vers Podv2 : https://www.esup-portail.org/wiki/x/AgCBNg
  
  

• Traiter ces données pour permettre aux utilisateurs, connectés dans Pod, de pouvoir réaliser un direct de leur session BigBlueButton en cours,
  
  
  
  

  Avertissement

  Il ne faut pas que l'utilisateur utilise de salles privées dans BigBlueButton. En effet, le système de salles privées de BigBlueButton ouvre des popups, et il pourrait arriver que le direct n'affiche que l'appel de la popup. Image Added Image Added Il faut également que l'utilisateur mette fin à la réunion pour que le direct s'arrête (une déconnexion n'est pas suffisante et le direct continue alors). Image Added

  
  
  

• Pour réaliser ce direct, l'utilisateur devra valider les options possibles en validant un formulaire :
  
  Image Added
  
  Ces options sont les suivantes :
  
  
  • Accès restreint : Mettre l'accès restreint permet que le direct ne soit accessible qu'aux utilisateurs authentifiés, typiquement via le système d'authentification CAS de l'université. Sans accès restreint, le direct peut être accessible à tous.
    
    
  • Affichage du tchat public : En cas d'activation, le tchat public sera affiche dans la partie gauche du direct.
    
    

  • Enregistrer la session dans Mes vidéos : Cette option permet l'enregistrement de la vidéo du direct en même temps. Cela signifie qu'une fois le direct réalisé, le fichier vidéo sera automatiquement publié en mode Brouillon pour cet utilisateur et sera alors mis automatiquement dans la file d'attente pour encodage.

    Info
    Cette option peut être désactivée dans le paramétrage de Pod et ne sera alors pas affiché aux utilisateurs (cf. explications techniques ci-dessous).

    
    

  • Activer le tchat : Via cette option, un tchat sera affiché dans la page de ce direct de Pod, sous la vidéo en direct. Les messages envoyés dans le tchat de cette page de direct se retrouveront dans le tchat public de BigBlueButton. Ainsi, les étudiants qui consultent la page de direct pourront communiquer avec l'enseignant et autres usagers de BigBlueButton.

    Info
    Pour informations, seuls les utilisateurs authentifiés sur la page de direct pourront envoyer des messages, même si le direct est accessible à tous. Non authentifié, l'utilisateur obtiendra ce message : Image Added Une fois authentifié, l'utilisateur pourra envoyer un message : Image Added Dans BigBlueButton, le nom de l'utilisateur qui a envoyé le message sera bien entendu affiché : Image Added

    
    

  Une fois le formulaire validé, le direct sera lancé en moins d'une minute.
  
  Image Added

• Les étudiants pourront accéder au direct créé automatiquement, via l'onglet des directs de Pod.
  
  Image Added
  
  

  Info
  Le système va créer automatiquement un diffuseur (terminologie Pod) dont le nom correspond à une concaténation de (BBB) et du nom de la session dans BigBlueButton. Bien entendu, ce diffuseur sera automatiquement supprimé lors de l'arrêt de la session BigBlueButton.

  
  

Remarques importantes

Architecture de la solution

Choix du plugin permettant la diffusion de la session BigBlueButton en direct

Pour diffuser une session BigBlueButton en direct, certains plugins existent déjà sur Github; il ne paraît pas raisonnable de redévelopper un tel système.

Pour arriver à faire mon choix, j'ai testé les 2 solutions suivantes :

• bbb-recorder (https://github.com/jibon57/bbb-recorder) : un plugin, indépendant de BigBlueButton, qui permet de convertir - via un script - une présentation Web BigBlueButton en fichier vidéo et qui permet également une diffusion en direct (flux RTMP) d'un cours BigBlueButton.
• BigBlueButton-liveStreaming (https://github.com/aau-zid/BigBlueButton-liveStreaming) : un plugin, indépendant de BigBlueButton, permettant de publier en live (via RTMP) une session BigBlueButton et de l'enregistrer.

Au final, voici ce qui est ressorti de mes tests.

	bbb-recorder	BigBlueButton-liveStreaming
Exporte un cours BBB en direct live
Enregistre un cours BBB en vidéo	format webm, mp4	peut enregistré le cours qu'il publie en live au format mkv
Indépendance vis-à-vis de BigBlueButton	peut-être installé sur n'importe quel serveur	peut-être installé sur n'importe quel serveur
Contenu de la vidéo finale	présentation  audio  vidéo partage d'écran chat whiteboard	présentation  audio  vidéo  partage d'écran  chat  whiteboard
Possibilité de chat depuis la page de direct avec BBB
Possibilité de faire plusieurs streams sur une même VM

Activer le tchat : Via cette option, un tchat sera affiché dans la page de ce direct de Pod, sous la vidéo en direct. Les messages envoyés dans le tchat de cette page de direct se retrouveront dans le tchat public de BigBlueButton. Ainsi, les étudiants qui consultent la page de direct pourront communiquer avec l'enseignant et autres usagers de BigBlueButton.

...

Remarques importantes

Architecture de la solution

Choix du plugin permettant la diffusion de la session BigBlueButton en direct

Pour diffuser une session BigBlueButton en direct, certains plugins existent déjà sur Github; il ne paraît pas raisonnable de redévelopper un tel système.

Pour arriver à faire mon choix, j'ai testé les 2 solutions suivantes :

• bbb-recorder (https://github.com/jibon57/bbb-recorder) : un plugin, indépendant de BigBlueButton, qui permet de convertir - via un script - une présentation Web BigBlueButton en fichier vidéo et qui permet également une diffusion en direct (flux RTMP) d'un cours BigBlueButton.
• BigBlueButton-liveStreaming (https://github.com/aau-zid/BigBlueButton-liveStreaming) : un plugin, indépendant de BigBlueButton, permettant de publier en live (via RTMP) une session BigBlueButton et de l'enregistrer.

Au final, voici ce qui est ressorti de mes tests.

bbb-recorder	BigBlueButton-liveStreaming
Exporte un cours BBB en direct live
Enregistre un cours BBB en vidéo	format webm, mp4	peut enregistré le cours qu'il publie en live au format mkv
Indépendance vis-à-vis de BigBlueButton	peut-être installé sur n'importe quel serveur	peut-être installé sur n'importe quel serveur
Contenu de la vidéo finale	présentation  audio  vidéo partage d'écran chat whiteboard	présentation  audio  vidéo  partage d'écran  chat  whiteboard
Possibilité de chat depuis la page de direct avec BBB
Possibilité de faire plusieurs streams sur une même VM
Technologies	NodeJS, xvfb, Chrome, ffmpeg, shell	Docker, python, xvfb, ffmpeg, shell
Mise à jour régulière
Notion de charge	Le fichier vidéo fait entre 2 et 4Mo par minute, en webm ou mp4	1 stream nécessite 4-6 vCPU + 4 Go RAM le fichier vidéo fait ~19Mo par minute, en mkv

...

Au final, il suffit d'avoir Docker et Docker-compose qui tourne tournent sur cette machine bbb-pod-live.

Installation

...

Docker et Docker-compose sous CentOS 7

Personnellement, sous Cent OS 7, j'ai utilisé les documentations suivantes : 

• Installation de Docker sous CentOS 7 : https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-centos-7
• (Au cas où) Installation de Docker sous Scientific Linux 7 : https://medium.com/@Dylan.Wang/how-to-install-docker-ce-on-scientific-linux-7-8-180e161f5947
• Installation de Docker-compose sous CentOS 7 : https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-compose-on-centos-7
• Installer Docker et Docker-compose depuis les dépôts officiels : https://computerz.solutions/centos-docker/

Au final, voici les commandes utilisées.

Installation Docker

La solution reposant sur le projet Github bigbluebutton-liveStreaming, il est indispensable de s'assurer que ce dernier fonctionne correctement avant d'installer bbb-pod-live.

Pour ce faire, le mieux est de vérifier, au plus tôt, qu'il n'y ait pas de problème en lien avec ce projet et de réaliser un test simple, dès que possible, en suivant la documentation fournie :  https://github.com/aau-zid/BigBlueButton-liveStreaming

Pour informations, lors de l'exécution de la commande docker-compose up -d, si vous obtenez une erreur de ce style : ERROR: Couldn't connect to Docker daemon at http+docker://localhost - is it running?

Cela signifie que docker nécessite d'être exécuté avec des privilèges. Dans ce cas, 2 possibilités :

Installation de bbb-pod-live

bbb-pod-live se présente sous la forme d'un simple script PHP (et d'un fichier de référence docker-compose.default.yml). Il faut donc avoir à minima :

• PHP 7,
• php-xml,
• php-redis

qui tourne sur cette machine.

Une fois PHP installé, il suffit de :

...

• Vérifier qu'il y ait bien le script bbb-pod-live.php et le fichier docker-compose.default.yml dans ce répertoire, avec les bons droits utilisateurs.

Configuration de bbb-pod-live

Pour l'instant, la configuration se réalise directement dans les premières lignes du script PHP. A terme, il faudra utiliser un fichier de configuration.

Voici la liste des éléments paramétrables :

...

Numéro unique de ce serveur dans la liste des serveurs BBB-POD-LIVE
Par exemple: s'il y a 2 serveurs BBB-POD-LIVE (NUMBER_SERVERS = 2), alors un serveur devra avoir SERVER_NUMBER=1 et l'autre SERVER_NUMBER=2

...

Serveur RTMP qui va gérer les directs pour ce serveur bbb-pod-live cf. BBB_STREAM_URL
Format, sans authentification : rtmp://serveurRTMP.domaine.fr:port/application/
Format, avec authentification : rtmp://user@password:serveur.domaine.fr:port/application/
Exemple : rtmp://live.univ.fr:1935/live/

...

Mot de passe des modérateurs cf. BBB_ATTENDEE_PASSWORD
Doit être défini comme le mot de passe du modérateur de Moodle / Greenlight ou de tout autre frontend pour permettre la participation via leurs liens

...

Installation Docker-compose

Gestion des droits

Ces droits permettent de pouvoir lancer docker sans sudo et d'éviter l'erreur de type Permission denied.

Après avoir ajouté le user au groupe docker, ne pas oublier de fermer sa session et de se reconnecter pour que cela soit pris en compte.

Installation Docker et Docker-compose sous Ubuntu 20.04

Installation de bbb-pod-live

bbb-pod-live se présente sous la forme d'un simple script PHP (et d'un fichier de référence docker-compose.default.yml). Il faut donc avoir à minima :

• PHP 7,
• php-xml,
• php-redis

qui tourne sur cette machine.

Une fois PHP installé, il suffit de :

• Récupérer le répertoire bbb-pod-live de Pod, se trouvant dans le répertoire scripts (à la racine).
  
  
  

• Vérifier qu'il y ait bien le script bbb-pod-live.php et le fichier docker-compose.default.yml dans ce répertoire, avec les bons droits utilisateurs.

Configuration de bbb-pod-live

Pour l'instant, la configuration se réalise directement dans les premières lignes du script PHP. A terme, il faudra utiliser un fichier de configuration.

Voici la liste des éléments paramétrables :

Après avoir réalisé ce paramétrage, le mieux est de lancer manuellement, en mode DEBUG, le script bbb-pod-live.php via : 

cd /home/user/bbb-pod-live/; php -f ./bbb-pod-live.php

Cette première exécution est importante car :

• cela va créer le répertoire des logs et le fichier de log correspondant à la journée,
  
  
• cela va créer un répertoire bbb-live-streaming par le nombre de directs gérés par ce serveur (NUMBER_LIVES).
  
   Par exemple, si 2 directs sont gérés par ce serveur, 2 répertoires seront créés dans le répertoire bbb-pod-live : 
       » bbb-live-streaming1
       » bbb-live-streaming2
  
  
• pour chacun de ces répertoires  bbb-live-streaming, un fichier de configuration de bbb-live-streaming, docker-compose.yml, sera positionné avec les valeurs par défaut dans ce répertoire (cf. paragraphe suivant).

Fichier docker-compose.yml

 Il est primordial de ne pas modifier le fichier docker-compose.default.yml : il servira de modèle pour les containers bbb-liveStreaming.

Lors de la première exécution, le fichier de référence docker-compose.default.yml va être copié en tant que fichier docker-compose.yml  et sera positionné dans chaque répertoire bbb-live-streaming créé :

version: '3.3'
services:
  redis:
    image: redis
    ports:
      - "modifie_automatiquement:6379"
    networks:
     - app-tier
  bbb-streamer:
    image: aauzid/bigbluebutton-livestreaming
    container_name: liveStreaming1
    shm_size: '2gb'
    environment:
      # BigBlueButton Server url

...

Après avoir réalisé ce paramétrage, le mieux est de lancer manuellement, en mode DEBUG, le script bbb-pod-live.php via : 

cd /home/user/bbb-pod-live/; php -f ./bbb-pod-live.php

Cette première exécution est importante car :

...

Fichier docker-compose.yml

 Il est primordial de ne pas modifier le fichier docker-compose.default.yml : il servira de modèle pour les containers bbb-liveStreaming.

Lors de la première exécution, le fichier de référence docker-compose.default.yml va être copié en tant que fichier docker-compose.yml  et sera positionné dans chaque répertoire bbb-live-streaming créé :

version: '3.3'
services:
  redis:
    image: redis
    ports:
      - "modifie_automatiquement:6379"
    networks:
     - app-tier
  bbb-streamer:
    image: aauzid/bigbluebutton-livestreaming
    container_name: liveStreaming1
    shm_size: '2gb'
    environment:
      # BigBlueButton Server url:
      - BBB_URL=modifie_automatiquement
      # BigBlueButton secret:
      - BBB_SECRET=modifie_automatiquement
      # BigBlueButton meetingID:
      - BBB_MEETING_ID=modifie_automatiquement
      # start meeting (optional):
      - BBB_START_MEETING=falseURL=modifie_automatiquement
      # attendeeBigBlueButton passwordsecret:
 (optional - has to be set to the attendee password of moodle/greenlight or any other frontend to allow joining via their links- BBB_SECRET=modifie_automatiquement
      # BigBlueButton meetingID:
      - BBB_MEETING_ID=modifie_automatiquement
      # start meeting (optional):
      - BBB_ATTENDEESTART_PASSWORDMEETING=modifie_automatiquementfalse
      # moderatorattendee password (optional - has to be set to the moderatorattendee password of moodle/greenlight or any other frontend to allow joining via their links):
      - BBB_MODERATORATTENDEE_PASSWORD=modifie_automatiquement
      # meetingmoderator titlepassword (optional):
 - has to be set - BBB_MEETING_TITLE=modifie_automatiquement
      # to the moderator password of moodle/greenlight or any other frontend to allow joining via their links):
      - BBB_MODERATOR_PASSWORD=modifie_automatiquement
      # meeting title (optional):
      - BBB_MEETING_TITLE=modifie_automatiquement
      # download / save BigBlueButton meeting
      - BBB_DOWNLOAD_MEETING=modifie_automatiquement
      # Media server url:
      - BBB_STREAM_URL=modifie_automatiquement
      # Resolution to be streamed/downloaded in format WxH (default 1920x1080)
      - BBB_RESOLUTION=modifie_automatiquement
      # stream video bitrate
      - FFMPEG_STREAM_VIDEO_BITRATE=modifie_automatiquement
      # threads used for stream (0=auto)
      - FFMPEG_STREAM_THREADS=modifie_automatiquement
      # Enable chat functionality
      - BBB_ENABLE_CHAT=modifie_automatiquement
      # shows the chat on the left side of the window (Default: false)
      - BBB_SHOW_CHAT=modifie_automatiquement
      # Timezone (default: Europe/Vienna):
      - TZ=modifie_automatiquement
      # Set REDIS host (default: 'redis')
      - BBB_REDIS_HOST=redis
      # Set REDIS channel to subscribe (default: 'chat')
      - BBB_REDIS_CHANNEL=modifie_automatiquement
      # Username for the chat (default: 'Chat')
      - BBB_CHAT_NAME=Chat
      # DEBUG
      - DEBUG=modifie_automatiquement
    networks:
      - app-tier
    volumes:
      - ./videodata:/video
networks:
  app-tier:
    driver: bridge

...

crontab -e
*/1 * * * * /usr/bin/bash -c 'cd /home/user%USER%/bbb-pod-live/; php -f ./bbb-pod-live.php'

...

Voici alors les 2 possibilités en lien avec le paramétrage :

J'ai déjà configuré la publication des présentations Web en vidéo

J'ajoute alors les 3 paramètres ci-dessus :

...

Au final, le fichier settings_local.py, concernant BBB, va être de ce type :

##
# BigBlueButton settings
#
# Use of BigBlueButton
USE_BBB = True
# Directory of bbb-recorder plugin (see documentation https://github.com/jibon57/bbb-recorder)
# bbb-recorder must be installed in this directory, on all encoding servers
# bbb-recorder create a directory 'homedir'/Downloads that needs disk space
DEFAULT_BBB_PLUGIN = '/home/%userpod%/bbb-recorder/'
# Directory that will contain the video files generated by bbb-recorder
DEFAULT_BBB_PATH = '/data/www/%userpod%/bbb-recorder/'
# BigBlueButton or Scalelite server URL, where BBB Web presentation and API are
BBB_SERVER_URL = 'https://bbb.univ.fr/'
# BigBlueButton key or Scalelite LOADBALANCER_SECRET
BBB_SECRET_KEY = 'xxxxxxxxxxxxxxxxxxxxxxxx'
# Username format in BBB
BBB_USERNAME_FORMAT = 'first_name last_name'
# Type of the generated video by default
DEFAULT_BBB_TYPE_ID = 1
# Number of days before removal the meetings (and associated users) not already published
# To not remove old meetings, set 0 value
BBB_NUMBER_DAYS_BEFORE_DELETE = 0
# Allow the users to perform a BigBlueButton live
USE_BBB_LIVE = True
# Allow users to record their BigBlueButton live
USE_BBB_LIVE_DOWNLOADING = True
# Number maximum of BBB lives simultaneous managed by the system
BBB_NUMBER_MAX_LIVES

...

 = 5

Récapitulatif des étapes à réaliser pour l'installation

...

• soit il faut configurer Pod pour être en mode debug (cf. settings_local.py).
   Attention : le mode debug ne doit pas être activé dans un environnement de production.
  
  
• soit modifier directement le script /django_projects/podv2/pod/video/management/commands/bbb.py pour qu'il affiche directement les traitements réalisés (cf. fonction print_if_debug).

...