SECOND SCREEN – Companion Second Screen Application
1 – Introduzione
La televisione resta ancora oggi una delle principali fonti di intrattenimento nella maggior parte delle abitazioni; tuttavia, il modo in cui si guarda la TV è cambiato in modo significativo negli ultimi anni.
L’utente grazie alle innovazioni tecnologiche oggi ha la possibilità di registrare i propri programmi preferiti e guardarli in qualsiasi momento indipendentemente dalla programmazione delle emittenti o delle piattaforme televisive, e può anche fruire di contenuti televisivi di varia natura contemporaneamente su più device diversi, attraverso la ormai diffusa pratica c.d. “Second Screen” che consiste nell’uso simultaneo della televisione o di un laptop per l’uso in streaming e di un dispositivo mobile come smartphone o tablet. Gli spettatori, oltre a chattare o controllare la mail, cercano informazioni sugli attori, sulle location, sulle puntate precedenti, etc.
L’interazione tra applicazioni mobili e programmi TV presenta aspetti tecnologici complessi che la rendono un territorio ancora poco esplorato.
L’uso sempre più diffuso fra gli utenti del “Second Screen” ha spinto la Humanativa e la Media Production ad investire in tale settore tecnologico per ideare nuove modalità di visione della TV per l’utente che consentano un’interazione ancora più coinvolgente.
Il progetto che abbiamo ideato ha l’obiettivo di sperimentare una piattaforma applicativa in grado di proporre agli spettatori, durante la visione di un programma televisivo o durante l’ascolto di un programma radiofonico, contenuti integrativi tramite dispositivi di tipo mobile (smartphone/tablet).
Con il sistema “HN Second Screen” l’emittente televisiva oltre ad offrire agli spettatori la messa in onda di programmi e trasmissioni televisive, potrà proporre loro l’uso contestuale di una App ad hoc per smartphone o tablet che consente agli utenti di accedere durante la visione di quello specifico programma ad ulteriori contenuti informativi ed integrativi.
Tali contenuti archiviati in una base dati che l’emittente provvede a mantenere sempre aggiornata, consistono in informazioni di vario genere associate a specifiche scene o a contenuti del programma che viene trasmesso (sono escluse le dirette TV).
L’App in dotazione allo spettatore, una volta avviata, attiva il microfono in modo da rilevare l’audio del programma e, quando riconosce la sequenza audio di una scena censita in base dati, visualizza i relativi contenuti associati.
Il sistema “HN Second Screen” richiede la realizzazione ed il mantenimento di una base dati di contenuti multimediali associati a specifiche porzioni dei programmi televisivi che verranno mandati in onda.
Occorre, pertanto, prevedere un archivio per conservare:
L’elenco dei programmi
Per ciascun programma le porzioni (scene) a cui associare un contenuto
Per ciascuna scena, il contenuto associato, che nel caso più banale può essere un testo semplice, oppure, nei casi più complessi, un testo formattato recante immagini e ulteriori sequenze video
Per il popolamento ed il mantenimento della base dati dei contenuti, è necessario prevedere una applicazione di back-office che consenta di gestirne le informazioni in essa contenute:
Gestire l’elenco dei programmi
Definire, per ogni programma, le scene di interesse, ossia l’inizio e la durata di ciascuna all’interno del programma.
Editare i contenuti associati alle scene.
Il front-end destinato agli utilizzatori finali deve essere di utilizzo elementare ed intuitivo, proprio perché l’App è destinata ad un pubblico vasto.
L’App, una volta attivata, deve sfruttare il microfono del dispositivo (telefono o tablet) per rilevare l’audio del programma, qualora riconosca una sequenza censita in base dati, la visualizzerà sullo schermo.
2 – Soluzione HN Second Screen
Il sistema è costituito da 3 componenti principali:
- La base dati dei contenuti associati alle tracce audio
- Un’applicazione web destinata agli operatori dell’emittente televisiva, per la gestione dei contenuti e per la distribuzione degli stessi alle App
- L’App per la fruizione del sistema HN Second Screen da parte dello spettatore, che ha accesso ai contenuti della base dati ed è in grado di riconoscere sequenze audio utilizzando il microfono del dispositivo mobile su cui viene eseguita.
2.1 – Algoritmo di fingerprinting delle tracce audio
In generale, esistono due principali metodologie per la soluzione del problema di riconoscimento di sequenze audio:
- Watermarking
- Fingerprinting
Il watermarking consiste nel sovrapporre ad una traccia audio ed in corrispondenza delle scene di cui si vuole consentire l’identificazione, brevi sequenze sonore costruite da frequenze non percepibili dall’orecchio umano ma riconoscibili via software.
Il fingerprinting non apporta invece alcuna modifica alle tracce audio, ma estrae dalle scene da identificare poche informazioni essenziali e sufficienti che consentono la loro successiva identificazione anche in presenza di rumori o distorsione.
Il watermarking e il fingerprinting utilizzano normalmente le medesime tecniche per ridurre la dimensione del problema del riconoscimento, tra cui la trasformata di Fourier (FFT) impiegata per filtrare le alte frequenze (normalmente contenenti rumore), le Wavelet che serve invece a rappresentare il segnale in forma compatta, oltre a vari metodi numerici di hashing adoperati invece per minimizzare la quantità di informazioni in gioco.
D’altra parte, sebbene il watermarking manifesti di solito performance migliori del fingerprinting – in quanto differenti watermark possono essere costruiti appositamente per renderli facilmente distinguibili tra di loro, pur rimanendo impercettibili all’orecchio umano – nel contesto delle applicazioni Second Screen è più facilmente applicabile una metodologia basata su fingerprint, poiché non impone di modificare le tracce audio di contenuti già registrati in possesso dell’emittente televisiva.
Per questa ragione HN Second Screen utilizza un algoritmo di fingerprinting.
2.2 – Modello dati
Il diagramma seguente descrive il modello dati del database di supporto al sistema.
Per ciascun programma TV è possibile definire più scene e, a ciascuna di esse, associare un contenuto integrativo ed interattivo che, nell’applicazione dimostrativa è costituito da un testo semplice, ma che invece può essere costituito anche da un testo HTML arricchito con immagini o altri elementi multimediali. Ogni scena dovrà avere una durata di alcuni secondi (intorno a 10s-20s ), dalla quale l’algoritmo di fingerprinting provvederà ad estrarre un certo numero di “impronte”, che verranno memorizzate in base dati.
2.3 – Portale di gestione
Il portale fornisce le funzionalità di back-office necessarie alla gestione dei contenuti della base dati.
Realizzato in linguaggio di programmazione Microsoft .NET 4.7, il portale è destinato ad essere installato in ambienti server dotati di sistema operativo Microsoft Windows Server 2012 o superiore.
2.3.1 – Home Page
Dalla home page, cliccando sul menu “Movies” si accede alla pagina per la gestione dei titoli audio/video e relativi contenuti extra da visualizzare sul Second Screen degli spettatori.
2.3.2 – Gestione delle tracce video
La finestra presenta le funzionalità essenziali di gestione: aggiunta/modifica/cancellazione di un contenuto audio/video e caricamento del relativo file, che deve essere fornito in formato .mp4.
Cliccando sul link posto a destra di ciascun titolo, si accede alla pagina di gestione dei contenuti extra associabili alle scende del film o programma televisivo.
2.3.3 – Gestione delle scene con contenuti extra
Questa è la pagina che consente di definire i contenuti testuali da visualizzare sul Second Screen.
Start e Duration sono le proprietà, espresse in secondi, che consentono di definire la porzione di una scena sulla quale saranno calcolati i fingerprint. Mediamente occorre che la durata di tali spezzoni sia compresa tra 10 e 20 secondi per poter ottenere una affidabilità sufficiente in fase di riconoscimento da parte dell’App Second Screen.
Si noti che la sequenza audio usata per i fingerprint deve precedere o sovrapporsi parzialmente all’inizio della scena a cui i contenuti extra si riferiscono, dato che l’App avrà necessità di “ascoltare” buona parte di questa sequenza audio, prima di riconoscerla e visualizzarne i contenuti associati. Così, per esempio, se si desidera associare contenuti extra ad una scena che inizia a 45″ dall’inizio, si potrà scegliere uno spezzone della durata di 10″ che inizia a 40″, in modo che dopo pochi secondi dall’inizio della scena, lo spettatore vedrà comparire sul proprio Second Screen le informazioni suppletive.
2.4 – App di fruizione del Second Screen
L’App HN Second Screen destinata agli end-user, ossia i telespettatori, è stata sviluppata utilizzando il framework Microsoft Xamarin, una soluzione che consente di sviluppare agevolmente applicazioni mobile destinate sia ad ambienti Android che IOS.
Trattandosi di uno studio di fattibilità, l’App presenta le funzionalità strettamente necessarie a dimostrare l’efficacia dell’algoritmo di fingerprinting.
2.4.1 – Selezione del programma
L’utente seleziona il programma televisivo dal menu principale, che riporta i titoli censiti in base dati dagli operatori dell’emittente utilizzando il portale di gestione.
2.4.2 – Schermata Second Screen
Una volta selezionato un titolo, si attiva il funzionamento del Second Screen cliccando sul pulsante “start listening”.
Il pulsante consente allo spettatore, alternativamente, di sospendere il riconoscimento audio e di riattivarlo.
Quando il Second Screen è attivo, l’App si pone in ascolto utilizzando il microfono incorporato nel tablet o nello smartphone e, mentre lo spettatore guarda il programma su un qualsiasi altro dispositivo (televisione, computer, etc.) fornisce visualizza i contenuti testuali associati alle scene che vengono via via identificate dall’App.