Culture pour tous

À l’automne 2015, ­­je recevais une invitation à me rendre à New York pour participer à un Brain Trust – nouveau mot à la mode désignant une rencontre de cerveaux minutieusement choisis – organisé par le Harmony Institute, un institut qui produit annuellement des recherches sur les médias et leurs répercussions sociales. Ce jour-là, dans leurs bureaux loués du Center for Social Innovation, l’événement regroupait des réalisateurs, des codeurs, des journalistes, des psychologues, des designers de jeux vidéos et des représentants de grande Fondations philanthropiques, dans l’objectif de résoudre la grande énigme de l’heure : comment mesurer l’impact des œuvres interactives ?

J’étais alors surprise par la variété d’acteurs s’intéressant au sujet. J’ai vite dû m’y faire. Le braintrust était le premier d’une série de rencontres et d’événements auxquels j’ai pris part dans le cadre de mon projet de recherche-création Hello_Publics (mené au Massachusetts Institute of Technology, avec le support du Lab Culturel) et où j’ai constaté la panoplie de groupes de travail (Media Impact Funders, Sea Change Projects, I-docs), de laboratoires scientifiques (MIT-Open Doc Lab, Harvard Nieman Lab, Bristol’s Digital Cultures Research Centre, Columbia Tow Center), de grandes fondations (MacArthur Foundation, Fledgling Fund, Mozilla Foundation) et même de festivals et événements médiatiques (Tribeca, Sundance, IDFA, Prime Time in Ottawa) qui mettent la question de l’impact à l’ordre du jour.

Loin de n’intéresser que les responsables de marketing, les métriques et indicateurs de succès sont désormais sur les lèvres tant des institutions qui financent les œuvres que sur celles des créateurs. On voit même émerger un nouveau corps de métier – le « producteur d’impact » (impact producer) – qui alimente une véritable industrie de production de rapports, de boîtes à outils et de méthodes proposant mille et une façons d’évaluer l’impact des œuvres numériques.

Mais d’où vient cette préoccupation soudaine à mesurer les effets des œuvres interactives ? Pourquoi vouloir définir ou quantifier la portée d’une création ? Et de quel genre d’impact est-il question? D’un impact social, technologique, culturel ?

Dans le brouhaha de réflexions sur le sujet, il est parfois difficile de s’y retrouver. Pour faire le point, l’Office National du Film du Canada a choisi d’organiser, le 2 février dernier, un atelier où Katie McKenna (productrice d’impact pour This Changes Everything) et moi-même (fellow au MIT-Open Documentary Lab) étions invitées à partager nos apprentissages. Retour sur les grandes lignes (voir  keynote ci-bas).

Prendre le pouls de l’audience ou compter des clics

Premier constat : penser l’impact des médias n’est pas une nouveauté. Il y a toute une documentation, toute une branche des sciences de la communication et de la sociologie des médias qui s’intéresse justement aux effets sociaux et politiques des médias (et ce depuis près de 70 ans). Comme le souligne Katie McKenna, penser à l’impact des œuvres est aussi au cœur des préoccupations des créateurs et des producteurs depuis longtemps – particulièrement dans le milieu du documentaire.

Un document produit pour l’occasion par l’ONF rappelle d’ailleurs que, depuis sa fondation en 1939, l’Office s’est donné le mandat de produire et de diffuser des œuvres qui informent les Canadiens de sujets qui les touchent et qui participent et contribuent au changement social. Dans les années 40, cela s’est traduit par des films visant à mobiliser le public dans des efforts de guerre ou à promouvoir des valeurs démocratiques (Women Are Warriors, 1942; Wings on Her Shoulders, 1943). Dans les années 50 et 60, la notion d’impact se juxtapose à celle de la « portée », alors que l’ONF embauche une armée de projectionnistes mobiles qui parcourent le Canada avec des génératrices et des projecteurs 16mm, pour rejoindre près de 500000 Canadiens par mois, souvent en régions éloignées – des chiffres qui, comme le souligne McKenna, font paraître dérisoire la portée des œuvres numériques actuelles.

En plus d’assurer la diffusion des œuvres, ces projectionnistes permettaient à l’ONF de « prendre le pouls » du public canadien. Au-delà du nombre de billets vendus ou de chaises occupées, ils rapportaient les commentaires et les réactions du public: comment réagissait-il au film ? Qu’est-ce qui avait marqué l’attention ? Qu’est-ce semblait motiver à agir, ou à vouloir en savoir plus sur un sujet? Plus tard, entre 1967 et 1980, l’initiative Société nouvelle/Challenge for Change allait directement favoriser la participation du public au processus de création (on se rapproche ici de l’interactivité). Près de 200 films ont ainsi été produits dans l’objectif explicite d’encourager le dialogue et de promouvoir le changement social (Fogo Island, 1967 ; VTR St.Jacques, 1969).

Ces objectifs – rester à l’écoute du public, encourager le débat, favoriser la participation ou le changement social – font encore partie de l’argumentaire d’une majorité d’œuvres interactives, et peut-être même plus que jamais. Il faut dire que, dans un contexte où les fonds à la création se font minces, où les institutions publiques, les villes et les grandes fondations deviennent des sources importantes de financement d’œuvres numériques et où on assiste parallèlement à la fragmentation des publics, les créateurs doivent plus que jamais convaincre de l’impact des œuvres qu’ils produisent.

D’une part, l’urgence à évaluer l’impact de ces créations  provient donc d’un besoin de répondre aux exigences philanthropiques ou institutionnelles de ces nouvelles sources de financement. Mais d’autre part, les technologies numériques offrent aussi de nouvelles façons d’encourager la participation du public, d’observer son interaction et de comptabiliser ses réactions – nombre de tweets citant une œuvre, nombre de clics par contenu, secondes ou minutes d’attention – d’où l’intérêt que soulève les mesures. Mais quels indicateurs choisir? Pour mesurer quel type d’impact? Et l’impact se réduit-il à des métriques ?

Nouveaux défis, nouveaux problèmes : l’impact

Dans le domaine de la « production d’impact », l’innovation émerge souvent à force d’expérimentation. On ne sait pas bien si une stratégie de diffusion aura les effets souhaités mais on essaie de déceler les bons coups, d’apprendre des meilleures pratiques pour reproduire des stratégies et avoir des succès similaires – avec bien sûr, aucune garantie de parvenir à ses fins. Dans le milieu de la technologie aussi, l’innovation arrive par essais erreurs – on connaît le potentiel des plateformes, on sait la quantité d’information qu’elles peuvent compiler et on se demande à quoi ça pourrait bien servir.

On arrive alors à une situation paradoxale. Les œuvres ou installations interactives sont présentées comme facilitant l’engagement ou la participation du public. Les producteurs d’impact prennent en compte des données qu’ils peuvent compiler dès la conception de ces œuvres. Les pratiques des usagers, le type d’interaction du public, ses préférences ou comportements sont évalués dans la planification des campagnes de diffusion, dans le A-B testing, dans le prototypage et à la suite du lancement d’une plateforme (partages, tweets, likes, mapping de diffusion d’un mot-clic, etc). En d’autres termes, on estime arriver à mieux observer, comprendre et prévoir les réactions du public à chaque étape de la production et pourtant, il demeure tout aussi difficile d’évaluer comment et à quel point ces œuvres ont un impact réel auprès du public.

En partie, l’intuition derrière cette conception utilitariste de l’impact provient de la nature de l’interaction. Les plateformes et les installations numériques font graduellement partie de nos vies quotidiennes. Tous les jours, nous communiquons avec des machines qui nous demandent d’entrer nos données, reconnaissent nos gestes, notre voix. La participation du public est de plus en plus sollicitée et nous ne sommes plus surpris de voir que notre interaction peut agir sur l’œuvre. Parallèlement, à l’image du proverbe chinois : « Dites-moi et j’oublierai, montrez-moi et je me souviendrai, impliquez-moi et je comprendrai », on se dit  que, puisque le public n’est plus passif, cela demande un plus grand investissement de sa part et donc possiblement un meilleur engagement (et un plus grand impact).

Ce qui reste flou par contre, c’est de savoir comment définir cet impact. S’agit-il d’un impact social, politique ou culturel ? Veut-on comprendre le rapport entre les coûts et les retours financiers ? Ou veut-on prendre en compte des changements sociaux à plus long terme ?

Les projets interactifs ne sont pas tous les mêmes. Ils n’utilisent pas les mêmes plateformes, ne permettent pas les mêmes interactions. Ce qui rend d’autant plus difficile la standardisation des mesures. Alors que le projet The Enemy (Karim Ben Khelifa) emploie une plateforme de réalité virtuelle (Oculus Rift) pour nous confronter à nos préjugés et « humaniser l’ennemi », le projet Jusqu’ici (Vincent Morisset, AATOAA) emploie la même plateforme pour nous faire prendre consciences de notre environnement. L’outil est le même, mais les objectifs sont différents. Comment évaluer, voire comparer l’impact de ces deux œuvres ? Leurs impacts doivent-ils être quantifiés ? Et en fonction de quels seuils ? Pour en tirer quels apprentissages ?

Repenser l’impact, ce n’est donc pas uniquement une question de formules et de mesures applicables à toute production. Pour aider les créateurs et les institutions dans leur démarche, certains groupes de recherche offrent toutefois un ensemble de méthodes et de boîtes à outils qui peuvent être utiles.

Tout d’abord, Schiffrin et Zuckerman (2015) mais aussi Kate Nash (2014), invitent à distinguer en amont le type d’impact à évaluer:

• la portée (reach) – Google Analytics, nombre de pages vues, visiteurs uniques, minutes d’attention, partage sur les réseaux sociaux, etc.
• l’influence (changements dans des comportements, attitudes ou perceptions) – entrevues de groupes, questionnaires ou des nouveaux outils d’analyse de « sentiments » enligne, tels NewsLynx ou Media Cloud
• ou les impacts à plus long terme – changements législatifs, changement dans les attitudes ou comportements, diminution des préjugés, etc.

Parmi les guides et les boîtes à outils utiles pour évaluer mais aussi « planifier » les stratégies d’impact d’œuvres médiatiques, on trouve :

• les publication du groupe Media Impact Funders
• les articles et outils de Video4Change
• le Participant Index (tpi) – un système de recherche sur l’impact d’une œuvre – qui est fort utile pour penser celui-ci avec plus de nuances.
• Le guide « Are We There Yet – A Roadmap for Creating High Impact Documentary » – produit par le MIT Open Doc Lab et le Center for Media and Social Impact – est une illustration simple des étapes à prendre en compte pour améliorer l’impact d’une œuvre

• En particulier, le Impact Field Guide and Toolkit produit par Britdoc propose différentes méthodes et outils jumelant le quantitatif au qualitatif pour évaluer les répercussion d’une œuvre sur les communautés qu’elle vise, penser l’impact de manière longitudinale, impliquer une variété d’acteurs (pas juste des technologues et des chercheurs) dans le processus d’évaluation, etc.

Nouveaux défis, nouveaux problèmes : les mesures

Ce que le passé de l’ONF nous apprend aussi, c’est que les projectionnistes mobiles permettaient avant tout d’être « à l’écoute » du public. Pour s’assurer de l’impact d’une œuvre, ils observaient des réactions, posaient des questions, prenaient note des commentaires et évaluaient subjectivement et qualitativement le succès d’une projection et les leçons à en tirer. Bien sûr, on pouvait compter le nombre de places vendues ou le nombre de yeux observant l’œuvre (on le fait d’ailleurs encore, cette fois avec des applications de « eyeball tracking » ou de reconnaissance faciale). Mais la leçon qu’il me semble ici importante de tirer, c’est que tout impact n’est pas mesurable.

Avec les médias numériques, on promet de comptabiliser plus précisément que jamais les réactions et comportements d’un public. On emploi ces données tant pour planifier l’impact que pour évaluer celui-ci en cours de route. Or, l’évaluation devient synonyme de métriques: l’intérêt se calcule en minutes d’attention ; la portée s’estime en click, likes et tweets et le changement social s’observe par la cartographie de hashtags sur les réseaux sociaux.

Ne soyons pas cyniques – ce potentiel de mesures offre bien sûr des opportunités fantastiques pour comprendre comment un public réagit à une œuvre, comment il en parle, ce qui stimule son attention (ou au contraire le déconcentre). Mais cela soulève aussi plusieurs questions. Notamment, un premier problème concerne la fiabilité des données. Après tout, ma participation à la série webdocumentaire Traque Interdite m’aura appris une chose, les chiffres ne parlent pas d’eux-mêmes. Les data ou métriques offrent peu d’information sur le contexte (social, émotif, physique) dans lequel une œuvre est consommée et encore moins d’explications sur la façon d’interpréter ces données. Comment déceler l’ironie ou la critique dans la circulation d’un hashtag? Comment interpréter l’émotion derrière les secondes d’attention passées à regarder une œuvre (ennui ou choc émotif)? Pour compenser, certains projets jumèlent aux métriques des questionnaires et des sondages d’opinion. Mais ce n’est pas suffisant.

Un deuxième problème des métriques, c’est qu’elles sont faciles à manipuler. Les créateurs ne sont pas dupes. Si l’impact d’un projet (et ses possibilités de financement) se calcule en clicks, tweets ou minutes d’attention, il devient facile de truquer le système : ralentir le téléchargement ou la lecture d’une page pour augmenter le temps d’attention (ou favoriser la « fixité » du regard – eyeball tracking) ; employer des bots pour multiplier le partage d’un hashtag, ou le nombre de likes sur la page Facebook d’un projet. Le danger de cette « pression à la mesure », c’est alors d’influencer directement le type d’œuvres financées mais aussi la façon dont les œuvres sont créées et pensées.

Enfin, rappelons qu’on a  généralement tendance à évaluer ce qui est, en soi, plus facile à mesurer. C’est le poisson qui se mord la queue – on arrive à calculer le nombre de clics, à pister la position du regard, à détecter des rictus ou grimaces par la reconnaissance faciale ? Ces métriques deviennent synonymes d’impact, au détriment d’autres indicateurs importants – l’appréciation d’une œuvre, les questions qu’elle soulève et les compétences réflexives des individus. On suit, en quelques sortes, un dicton populaire dans le milieu des finances : « What measures is what matters ».

Le piège serait alors de ne prêter attention qu’à ce que les outils permettent de calculer, plutôt qu’aux objectifs, aux impacts sociaux, communautaires, ou culturels que l’on souhaite réellement produire. Comment penser ce qui est pertinent pour penser l’impact d’une œuvre?

En marge de ces réflexions, de nombreux technologues essaient aussi tout simplement de mieux comprendre notre rapport à ces outils – les effets physiologiques, psychologiques, émotifs de plateformes qui, après tout, sont encore en plein développement. Des études proposent même aujourd’hui des approches plus longitudinales, behaviorales ou encore neuro-cognitives. À titre d’exemple, on peut penser au travail d’Emile Bruneau, chercheur postdoctoral en neurosciences au MIT, qui explore par des analyses synaptiques et des électroencéphalogrammes les réactions physiques de sujet lors de leur expérience du projet VR The Enemy.

D’une part, toutes ces manières de mesurer, observer, pister les réactions du public soulèvent un ensemble de questions éthiques. Les usagers savent-ils qu’ils sont observés ? À quel point ? Peuvent-ils choisir de ne pas partager leurs données ? Et qui choisi comment interpréter les données ? D’autre part, les apprentissages que ces outils et plateformes nous permettent de faire peuvent aussi inspirer de nouvelles façons de penser la relation avec le public, de concevoir le potentiel participatif d’une œuvre et même d’informer la création (voir 2/3).

Ce ne sont donc pas, en soit, les métriques qui posent problème mais le type d’apprentissage qu’on veut en faire. Qu’est-ce qu’on veut savoir du public au juste ? Que veut-on favoriser comme type d’engagement, comme impact ? Qu’est-ce qu’on perd quand on choisir d’évaluer, de quantifier, et de comparer la portée des œuvres plutôt que de favoriser des indicateurs qui prennent en compte l’affect ou la réflexivité des acteurs? On peut mesurer la portée (reach) d’une œuvre mais plus difficilement l’empowerment. On peut évaluer les effets d’une plateforme sur la compréhension d’un usager mais plus difficilement ce qui l’attire, comment il expérimente l’oeuvre et ce qu’il en retient.

En somme, les œuvres interactives sont des expériences complexes et multidimensionnelles. Alors qu’elles se multiplient dans l’espace public et culturel, alors que les médias interactifs évoluent et que les développements technologiques offrent de nouvelles façons d’engager le public et de mesurer sa participation, il importe de penser à la façon dont on choisi d’en évaluer la portée et la pertinence :

1. Comment fixer des objectifs qui font appel à une définition de l’impact qui ne soit pas limitée au court terme (cohésion sociale, engagement du public, débat citoyen) ?
2. Comment penser des indicateurs de « performance » mais aussi d’engagement et de création ?
3. Comment éduquer les bailleurs de fonds et autres institutions financières à la variété de façons d’évaluer la pertinence des projets qu’ils financent ? Comment penser l’impact au-delà de la « mesure » ?
4. Et enfin, comment éviter de se concentrer uniquement sur le potentiel technologique pour mettre l’interaction humaine, la réflexivité et l’affect au cœur des questionnements?

Repenser ces questions, c’est aussi, en grande partie, repenser la relation avec le public. Dans un prochain billet, j’aborderai le projet Hello_Public, qui prend en compte le point de vue de l’individu, en particulier dans les plateformes émergentes où les mesures peuvent aussi informer le processus de création.

Conference_SRodriguez_ONF:fevrier2016

—

Sandra Rodriguez est à la fois réalisatrice documentaire (linéaire et interactif) et Sociologue des médias numériques. Ses travaux et  créations explorent les développements actuels du documentaire et des nouvelles écritures et portent sur le changement social à l’ère des cultures en réseaux, le pistage et l’utilisation des données numériques. Elle mène actuellement son projet Hello_Publics à titre de Fellow et chercheure post-doctorale au MIT – Open Documentary Lab, avec l’appui du CRSH et de Lab Culturel.