[Réflexion/Marronnier] Système de notation idéal des jeux ?

Discutons jeux
1

Résumé éclair de la problématique :
Les systèmes de notation avec une note unique, c'est le mal !
Remplaçons-les par des systèmes avec :
1. une double appréciation globale : qualité et envie de jouer ;
2. des critères de notation secondaires pondérés par le profil du notant, permettant de définir le type de jeu ET les attentes du notant.
Les systèmes de notation chiffré, c'est le mal !
Remplaçons-les par des systèmes de notation uniquement "littéraire" sous forme de questionnaire.


A partir de ce sujet : Critiques franchophones vs critiques anglophones, je me pose la question du système idéal de notation des jeux.

1. Je suis sceptique sur la pertinence d'une notation chiffrée qu'elle soit de 1 à 5, ou à 10 ou même à 20. Certes, il y a souvent des équivalences "verbales" proposées mais celles-ci ne sont pas nécessairement consultées par celui qui note. J'ai tendance à croire que cela pousse à la pifomètrie ou à la mauvaise fois en favorisant les extrêmes.

2. Je préférerais de loin des critères de jugement pondérés par le profil de l'utilisateur.
Je m'explique. J'estime réducteur d'avoir une simple note globale pour un jeu alors que beaucoup de critères peuvent rentrer en compte notamment le profil du notant. Ainsi, un jeu pourrait (devrait ?) être noté par un critère principal répondant à la question "à quelle fréquence souhaiteriez-vous jouer à ce jeu ?" complétés par des critères secondaires eux-même pondérés par le profil du joueur.

Ces critères secondaires pourraient être :
Thème/immersion.
Présence du hasard/Chance.
Réflexion/Stratégie.
Compétition/Coopération/Coopération.
Aspect visuel/qualité du matériel.
Originalité des mécanismes.

Avec à chaque fois une ou plusieurs réponses non chiffrées à ces critères, le tout étant pondéré par le profil du notant, qui classerait chacun de ces critères selon l'importance qu'il lui donne (j'aurais par exemple un profil équilibré). L'intérêt étant bien sûr de pouvoir classer les jeux selon un profil particulier, éventuellement pré-rempli (améritrasher, eurogamer, à l'allemande...).

A ce système devrait aussi se surajouter un système de pondération du nombre de votant, mais là le problème est plus mathématico-statistique que celui que je pose.

2

Mon système préfère : celui de http://opinionatedgamers.com/

4 notes : j'adore, j'aime, neutre ou pas pour moi.

Ça revient au système de tric trac en gros, en virant le 1 et en abaissant la note du jeu moyen, qui devient neutre.

3

Oui, mais une notation globale pour moi n'a pas vraiment de valeur dans le sens où elle n'est pas révèle en rien ce qui a amené cette note (les critères secondaires dont je parlais) et le profil de l'utilisateur.

Par ailleurs, le côté aimer/pas aimer n'est pas si pertinent, je trouve. Moins, en tous les cas, que celui de BGG basé sur l'envie de jouer. A la limite, un double critère principal serait l'idéal :
1. qualité globale :mauvais >>> génial
2. envie de jouer : jamais >>> le plus souvent possible

Parce qu'on peut estimer un jeu, lui reconnaitre son statut de classique mais ne pas ou ne plus avoir envie d'y jouer au moment donné où on le note.

4

erestor dit:Oui, mais une notation globale pour moi n'a pas vraiment de valeur dans le sens où elle n'est pas révèle en rien ce qui a amené cette note (les critères secondaires dont je parlais) et le profil de l'utilisateur.
Par ailleurs, le côté aimer/pas aimer n'est pas si pertinent, je trouve. Moins, en tous les cas, que celui de BGG basé sur l'envie de jouer. A la limite, un double critère principal serait l'idéal :
1. qualité globale :mauvais >>> génial
2. envie de jouer : jamais >>> le plus souvent possible
Parce qu'on peut estimer un jeu, lui reconnaitre son statut de classique mais ne pas ou ne plus avoir envie d'y jouer au moment donné où on le note.


Je suis d'accord avec toi à ce sujet c'est ce dont je parle sur l'autre post.
Et pour redonner un exemple
Je sais apprécier la qualité et l’œuvre de la musique classique (mettre en symbiose autant d'instruments c'est de l'art.
Mais je préfère écouter au jour le jour du Jazz new orléans .

Et ceci est valable pour tout.
Le vin , le cinéma, la cuisine etc etc.

Syn.

5

C'est une excellente réflexion que celle ci sur la notation des jeux de société. En tant que bon cinéphile je connais le même problème avec les notations sur Allociné.

Quelqu'un qui mettrait 1/5 pour un film comme Expandables 2 avec des explosions et des tirs dans tous les sens et des répliques over débiles il y a deux raisons possibles :
- la personne n'aime pas les films "testostéronés à explosions" (dans ce cas pourquoi être allé le voir et être allé le noter ???) :pouicnul:
- la personne aime les films "testostéronés à explosions" mais celui là ne lui a pas plu pour d'autres raisons (là ça devient intéressant) :pouicok:
Sauf qu'en pratique ça reste toujours 1/5 et si j'aime ce genre de film et que je ne regarde que la note, bah ça ne m'apprend rien, pire ça peut me dissuader.

Idem pour les jeux : un phobique de jeu à l'allemande qui note un Knizia ça donne pas un résultat très informatif.

La vraie question c'est faut-il forcément noter un jeu qui ne nous a pas plu ? Idem pour un jeu qui m'a moins plu qu'un autre mais que j'aurais trouvé bien si je n'avais pas déjà joué à cet autre là ? Si je sais que je déteste les jeux d'enchère à quoi bon noter un jeu d'enchère à part plomber gratuitement un jeu qui si ça se trouve ravira les amateurs du genre ?

Un système de notation simple de 1 à 5 demande donc avant tout de la "responsabilité" et de la pertinence de la part des utilisateurs car une mauvaise notation de la part de quelques pourfendeurs qui n'étaient manifestement pas le public cible peut plomber un jeu parfois définitivement surtout sur un site à forte exposition comme TT, avec les conséquences qu'on imagine si le jeu vient d'une petite maison d'édition.

Situation possible : machin est le premier à tester un jeu sur un salon, machin n'est clairement pas le public cible, machin met quand même une note pourrie sur TT --> internaute arrive sur la fiche du jeu : 5 notes, 2.4 de moyenne --> internaute prend pas le temps de faire l'étude sociologique des notants et passe son chemin --> jeu plombé ! :(

C'est pour ces raisons qu'à moins de donner un commentaire positif sur un jeu / un film je m'abstiens tout simplement de noter un jeu pour lequel je peux raisonnablement me dire qu'il n'était pas fait pour moi :)

6

Oui mais non.
En analysant les notes on se rend compte que les gens notent bien un jeu même s'il n'est pas pour eux. ie "c'est un jeu d'ambiance, je n'aime pas mais faut reconnaitre que dans sa catégorie il est bon donc je lui met 4/5"

Il y a évidemment des cas à la marge (genre j'ai été déçu par ce jeu alors je le sacque car je l'attendais bcp ou notation perso), mais globalement c'est ce qui se passe. Bref dans ce cas, les gens s'abstiennent souvent de noter (en tout cas sur TT).

C'est pour que cela afin de faire de la bonne reco, je milite pour un classement ou une note "secrete" des jeux par personne.

7

Ne faudrait il pas à coté de la note du testeur avoir 5 jeux qu'il a préféré et 5 jeux qu'il a détesté.

J'avoue avoir beaucoup aimé le style Faidutti: vous aimerez si vous aimez...

Sinon sur les autres site,s je lis la chronique d'un jeu pour savoir si il est bon et aprés je vais voir mes jeux préférés et ceux que j'ai pas aimé pour connaitre le gout du chroniqueur...

C aide... mais ça prend du temps.

Sur BGG j'utilise le classement.

8

Sandrine et Richard dit:Ne faudrait il pas à coté de la note du testeur avoir 5 jeux qu'il a préféré et 5 jeux qu'il a détesté.

C'est un peu l'idée du profil du notant dont je parle.
Ce profil pourrait être prérempli par le joueur ou mieux rempli par les notes qu'il donne. Informatiquement, ça doit être réalisable. Tu prends un critère donné et tu vois s'il évolue en même temps que l'appréciation globale.
S'il (le profil) est prérempli, c'est simple : le joueur classe au préalable les critères en fonction de leur importance relative. Le biais étant que le joueur peut avoir une perception fausse de ce qui l'influence réellement alors qu'en émettant un certain nombre de critiques, il finit par se définir.
Jeremie dit:Oui mais non.
En analysant les notes on se rend compte que les gens notent bien un jeu même s'il n'est pas pour eux. ie "c'est un jeu d'ambiance, je n'aime pas mais faut reconnaitre que dans sa catégorie il est bon donc je lui met 4/5"
Il y a évidemment des cas à la marge (genre j'ai été déçu par ce jeu alors je le sacque car je l'attendais bcp ou notation perso), mais globalement c'est ce qui se passe. Bref dans ce cas, les gens s'abstiennent souvent de noter (en tout cas sur TT).
C'est pour que cela afin de faire de la bonne reco, je milite pour un classement ou une note "secrete" des jeux par personne.

Un classement ou une note secrète ? C'est-à-dire ? Déconnecté des commentaires tu veux dire ? Et par classement, tu veux dire que la place d'un jeu dans le classement de chacun lui donnerait sa place globale ?

C'est intéressant, mais ça n'enlève pas le biais de la sous-représentation d'un genre. Mettons qu'un jeu d'un type x soit systématiquement premier de sa catégorie mais que sa catégorie ne regroupe qu'une centaine de joueurs et qu'un autre jeu d'un type y ne fasse pas l'unanimité même dans sa catégorie mais soit très populaire pour quelques raisons que ce soit, tu auras le jeu x, intrinsèquement meilleur que le jeu y, moins bien noté que y : ballot quand même. Et sans possibilité de voir ce qui a présidé aux choix des notants.

Ceci dit, un classement du joueur façon ludothèque, serait une bonne manière d'établir un profil du joueur. Mais après comment faire ce classement ? Simple classement 1, 2, 3, 4... ou un classement par catégorie parce que mettre à égalité certains jeux peut aussi en dire long, ce qui reviendrait à pondérer les jeux les uns par rapport aux autres : tous les mettre en top, et zéro en nul, reviendrait exactement au même que l'inverse, alors que en mettre dans chaque catégorie permettrait de pondérer chaque jeu.

Et comme le souligne deltajordan, le problème que tu reconnais finalement implicitement, c'est qu'il faut aller décortiquer les avis, si ceux-ci sont suffisamment détaillés pour faire une analyse du profil du joueur, etc. Et ça n'empêche pas certains avis extrême. Bilan, la note est bidon de toutes façons.

Je milite donc pour un espèce de questionnaire universel avec tout plein de questions pour noter tous les aspects d'un jeu. Avec toujours le double critère principal : qualité du jeu, envie de jouer.

Après la question, c'est quoi et comment : quels critères ? comment les évaluer ?

9

erestor dit:Oui, mais une notation globale pour moi n'a pas vraiment de valeur dans le sens où elle n'est pas révèle en rien ce qui a amené cette note (les critères secondaires dont je parlais) et le profil de l'utilisateur.
Par ailleurs, le côté aimer/pas aimer n'est pas si pertinent, je trouve. Moins, en tous les cas, que celui de BGG basé sur l'envie de jouer. A la limite, un double critère principal serait l'idéal :
1. qualité globale :mauvais >>> génial
2. envie de jouer : jamais >>> le plus souvent possible
Parce qu'on peut estimer un jeu, lui reconnaitre son statut de classique mais ne pas ou ne plus avoir envie d'y jouer au moment donné où on le note.


Ce que tu dis sur les faiblesses de la note unique est parfaitement fondé, mais devrait être relativisé.
Même si la note d'un unique joueur ne nous apprend presque rien sur un jeu, en revanche la moyenne d'un grand nombre de notes uniques devient significative, en ce sens qu'elle représente l'appréciation d'un jeu par un profil moyen de joueurs (sur Tric-Trac, c'est le cas au delà d'une centaine de notes).

Je trouve par exemple les notes moyennes de BGG particulièrement fiables (avec 15 à 20 fois plus de noteurs que sur Tric-Trac).
Il est vrai qu'il faut aussi savoir les interpréter, et là cela demande du temps pour en comprendre les ressorts.
Par exemple, les écarts de notes moyennes entre BGG et Tric-Trac révèlent souvent des différences de culture (entre Latins et Anglo-Saxons).

Mais il est vrai que ces notes valent pour des profils moyens de joueurs, et quand on se situe soi-même loin du profil moyen, il faut appliquer des correctifs.

Le défi est de proposer un système de notation fiable mais qui reste en même temps simple à comprendre pour le lecteur non averti.

10

Les sous représentations d'un genre on peut encore s'en sortir. Le truc c'est qu'il n'y pas bcp de notes mauvaises sur TT (moyenne de 3.9)

Le fait de conserver les notes secrètes en disant que cette partie ne sert pas à faire un classement mais seulement des recommandations aurait plusieurs conséquences :

- pas besoin de rédiger un avis pour se justifier => plus de notes collectés.

- Une mauvaise note signifie juste que je ne veux pas que l'on me recommande des jeux dans ce genre. C'est assez différent que de dire ce jeu est mauvais (Je ne peux pas blairer les LgT, mais je reconnais qu'il est bon).

- Pas de pression de la collectivité et de descente en flammes sur le forum pour avoir attribué une mauvaise note, donc plus de liberté dans les attributions.

11

Il me semble qu'il y a une question sous-jacente qui n'a pas été explicitement abordée et qui pourtant est essentielle : que doit signifier la note ? On a pris plaisir à y jouer ? On y rejouera ? On le conseille ? ll se vend très bien ?...

Suivant ce que l'on veut faire dire à des notes et des classements, la méthode utilisée pour les obtenir ne doit pas être la même.

12

C'est bien là l'intérêt des commentaires qui vont avec la note. Perso je trouve ça suffisant, en lisant plusieurs d'entre eux.

13

C'est un sujet intéressant et épineux que la notation.

j'y avais réfléchi il y a longtemps, je vous livre de mémoire mes pistes de l'époque.

- donner le nombre de parties jouées

- faire la différence entre les critères d'évaluation et les types de jeux (hasard, stratégie, mémoire, etc) Mais concernant la pertinance des type de jeux, l'on repart sur le problème de la classification des jeux qui est une autre réflexion.

- séparer les critères d'évaluation en 2 familles:
- objectif (résistance du matériel, rejouabilité, aspect novateur, etc.)
- subjectif (cela me plait, c'est beau, etc.)

cela permet un argumentaire plus clair de notre avis sur ce jeu.

ensuite effectivement nous avons une sensibilité personnelle à certains type de jeux plus qu'à d'autre et cela peux biaiser notre point de vue.

si cela vous intéresse, je peux chercher la grille d'évaluation que j'avais faite.

14

prince-baron dit:(...)
si cela vous intéresse, je peux chercher la grille d'évaluation que j'avais faite.


Carrément.
Et je pense que c'est à ça qu'il faut aboutir, un questionnaire de type sondage comme on pourrait, par exemple, en trouver dans une étude scientifique sur un médoc.

Je pense qu'il serait en fait plus intéressant de dissocier le commentaire de la "note" et que celle-ci ne soit calculée qu'a posteriori sur la base des réponses données au questionnaire. Celle-ci pouvant s'affiner par certains critères de recherche : présence d'affrontement ou non, rendu du thème, qualité du matériel, etc...

15

Voici (en anglais) une des critiques que j'avais préférées : lien

L'auteur commence par présenter son profil de joueur, puis dit de quel genre de jeu il s'agit. En clair, il commence par donner toutes les clefs de ses propres attentes autour d'un jeu, ce qui facilite vraiment le reste de la lecture.

Ça ressemble à "vous aimerez ce jeu si..." par contre, "vous apprécierez moins si". C'est un exercice difficile cela dit, que de prendre du recul sur sa propre perception et s'ouvrir à celle des autres :)

16

Deux systèmes me plaisent:
- le système double avec qualité + envie de jouer
- un système sur 7 degrés (par exemple de 0 à 6), qui offre 2 extrêmes (0 et 6), un milieu (3) et deux nuances de chaque côté. Affreux - très mauvais - mauvais - moyen - bon - très bon - parfait

17

MenacesSerieuses dit:Voici (en anglais) une des critiques que j'avais préférées : lien
L'auteur commence par présenter son profil de joueur, puis dit de quel genre de jeu il s'agit. En clair, il commence par donner toutes les clefs de ses propres attentes autour d'un jeu, ce qui facilite vraiment le reste de la lecture.
Ça ressemble à "vous aimerez ce jeu si..." par contre, "vous apprécierez moins si". C'est un exercice difficile cela dit, que de prendre du recul sur sa propre perception et s'ouvrir à celle des autres :)


Yep, c'est très bon, mais un poil d'automatisme dans tout ça ne serait pas mal. Parce que finalement là, on a une critique. Et c'est très bien, mais finalement on reste dans le purement subjectif et dans un avis personnel. Là, le but est plutôt d'atteindre ça mais après sommation de plusieurs avis. En gros, avoir un système permettant l'évaluation de tous les critères d'un jeu mais aussi de la grille de lecture des notants. La même chose que le lien mais en plus objectif et à visée collective.

18

voila j'ai retrouvé mes notes que je vous livre en brut

l'idée de base est d'avoir de phase d'évaluation:

voici la bête
1er évaluation (lors de la 1er partie)
a)l’idée
a.critères objectifs :
i.l’originalité du thème
ii.l’originalité du matériel de jeu
iii.univers dépaysant
iv.rigolo / sérieux
b.critères subjectifs :
i.plaisir de jouer


b)les règles
a.critères objectifs :
i.facilité de lecture des règles
ii.facilité de compréhension des règles
iii.rapidité des phases de jeu
iv.règles / mécaniques innovantes
v.chance ou stratégie
b.critères subjectifs :
i.j’aime le mécanisme

c)le matériel
a.critères objectifs :
i.qualité du matériel de jeu
ii.coté pratique du matériel
b.critères subjectifs :
i.choix du graphisme


2ème évaluation (après 5 parties)
d)l’idée
a.critères objectifs :
i.l’originalité du thème
ii.caractère répétitif des parties
b.critères subjectifs :
i.plaisir de jouer


e)les règles
a.critères objectifs :
i.caractère évolutif
ii.nombre de joueur optimale
iii.évolution des tactiques de jeu
b.critères subjectifs :
i.plaisir de jouer
ii.effort de concentration

f)le matériel
a.critères objectifs :
i.usure
ii.prix d’utilisation

je ne peux pas mettre ici les grilles d'évaluations qui servent ensuite à notre.

Mais en gros vous avez le principe. je pense qu'il faut peut être simplifier ou automatiser certains points

19

prince-baron dit:voila j'ai retrouvé mes notes que je vous livre en brut
l'idée de base est d'avoir de phase d'évaluation:
voici la bête
[snip]
je ne peux pas mettre ici les grilles d'évaluations qui servent ensuite à notre.
Mais en gros vous avez le principe. je pense qu'il faut peut être simplifier ou automatiser certains points


Ce qui me gêne un peu dans ce système, c'est que d'une part aucun des critères « objectifs » ne l'est vraiment (LGDT, je ne trouve pas ça rigolo du tout par exemple, ce n'est sans doute pas le cas de tout le monde), et d'autre part on peut trouver plein de critères mauvais pris indépendamment, mais quand même trouver le jeu indispensable.

Pour ma part, je serais plutôt partisan d'un système simple, avec une échelle monotone à 4 niveaux pour obliger à trancher et pouvoir faire des comparaisons :

1. J'y joue ET j'achète,
2. OK pour y jouer, mais je n'achète pas,
3. Je ne veux pas y jouer,
4. Je comprends même pas qu'on puisse vouloir y jouer.

Après, un système de classement bien foutu est tout à fait capable de déterminer les jeux les plus appréciés.

Pour aller plus loin, pour savoir si un jeu donné et fait pour moi ou pas, il faut je pense passer par de véritables critiques, bien rédigées et argumentées.

20

Il me semble que Fred Henry avait déjà proposé cette idée : une sorte de value line où on ne note pas les  jeux mais on les trie du « j’aime le moins » au « j’aime le plus ».
J’aimerai bien voir ce système en place.
On ne dirait plus « Agricola vaut 8/10 » et « Monopoly 1/10 », mais je préfère « Agricola à Monopoly ». On pourrait même comparer des choux et des carottes « je préfère Time’s Up aux Princes de Florence », parce que c’est vrai si j’ai le choix je préfère jouer à Time’s Up qu’aux princes, même si les jeux n’ont rien à voir.
Dans le temps je pourrais aussi plus facilement changé d’avis, LCDTR que j’aimais il y a quelques années maintenant j’aime moins, c’est-à-dire que je lui préfère d’autres jeux. Objectivement il est toujours aussi bon, c’est juste que dans un classement par préférence, il descendrait.
 
Une fois que j’ai classé mes jeux par préférence, il doit bien être possible de faire un classement des préférences de plusieurs joueurs en faisant une sorte de trie à bulles.
 
En étant totalement subjectif mais par la masse, on n’aura pas une image objective de la qualité d’un jeu mais une image précise de sa perception par les joueurs. Et comme la seule vérité accessible est celle des sens, c’est plus intéressant J
 
J’y vois un autre avantage, c’est que l’on mélange les choux et les carottes mais qu’on peut appliquer ensuite des filtres objectifs (type de mécanisme, durée, nbre joueurs etc …), et là par un 1er tri qui a tout mélangé mais tout comparé, je suis persuadé qu’on aura un meilleur classement par ex. des jeux d’ambiance que si on se contente de les noter ou de les comparer entre eux.