Bonjour à tous,
Le but de ce message est de décrire les méthodes de classement de TricTrac, de façon la plus objective possible.
Préambule et mise en garde
J’aimerais commencer par les limites du système de notation et des classements en général. Au moment d'écrire ces lignes, il y a environ 3000 personnes qui ont laissé près de 48 000 avis sur TricTrac. Parmi ces personnes, il y en a qui ne donneront jamais un 5/5, car cela sous-entendrait la perfection et rien n’est parfait. D’autres aiment tellement les jeux qu’ils donneront un 5/5 à tous les jeux. Si on peut avoir une confiance relative qu’un joueur donnera une meilleure note à ses préférés, il est périlleux de comparer des jeux sur des notes données par différentes personnes. C’est pourtant ce que fait un classement en comparant la moyenne des notes de jeux.
Un autre problème est que les jeux sont de genre parfois complètement différent si bien que l’on se demande si on ne compare pas des pommes avec des oranges. Peut-on avoir dans un même classement un jeu pour amuser un groupe, un jeu stratégique multi-joueurs, un jeu abstrait à deux, un jeu pour enfant et un wargame? Plusieurs en doute.
Sans oublier que selon le moment et l’humeur un joueur peut donner une note différente à un même jeu.
Malgré ses faiblesses, un classement est utile pour pointer vers ce que vos comparses ont aimé ou pas. Il est bon de se rappeler qu’un top de classement n’est pas une garantie que vous allez aimer. Vous devriez avant d’acheter, lire sa description et des comptes rendus de partie pour voir si c'est un type de jeu qui vous convient et l’essayer si vous en avez la chance. Mais devant la multitude de choix qui s'offre à vous, il vous faut un outil pour vous guider dans vos recherches et malgré ses imperfections le classement est cet outil.
Le premier classement qui nous vient à l’esprit est basé sur le calcul de la moyenne brute. De plus, les classements Finkel et Bayes, sont aussi basés sur la moyenne. Il est donc important de bien comprendre ce qu’est une moyenne. Les mathématiciens peuvent sauter la prochaine section, je vais tenter d'expliquer le plus simplement possible ce que signifie une moyenne.
La moyenne brute
La moyenne des avis est tout simplement la somme de toutes les notes divisées par le nombre de notes. Par exemple, si six personnes donnent les notes 3, 4, 4, 5, 5 et 5, cela va donner une moyenne de
(3+4+4+5+5+5)/6= 26/6 = 4,33. Si nous appelons cela une moyenne brute, c’est parce que les autres méthodes font des modifications à cette moyenne.
Puisque les notes vont de 1 à 5, la moyenne brute sera toujours comprise entre ces chiffres. Le zéro n’étant pas une note possible, un jeu moyen qui a autant d'avis favorables que défavorables aura une moyenne de 3 et non pas de 2,5 comme on pourrait le penser à prime abord.
La moyenne de plus de 40 000 notes sur TricTrac (i.e. toutes les notes, sur tous les jeux) était de 3,69 le 1er octobre 2006.
Comparer deux jeux qui ont des centaines d’avis et des moyennes de 4,3 et 4,7 peut sembler un exercice futile. Pour noter nous n’avons le choix qu’entre des nombres entiers et nous avons parfois de la difficulté à choisir entre un 4 et un 5. Lorsqu’il n’y a qu’une différence de 0,4 cela parait très peu. Nous sommes certainement en présence de deux excellents jeux dont la grande majorité des avis doivent être des 4 et des 5. Supposons pour simplifier que justement ce ne sont que des 4 et 5. Une moyenne de 4,3 voudrait dire que pour chaque groupe de trois personnes qui auraient donné un 5/5, il y aurait sept personnes qui auraient donné un 4/5. Une moyenne de 4,7 voudrait dire que la proportion serait exactement l’inverse.
Moyenne de 4,3
4444444
555
Moyenne de 4,7
444
5555555
Ce qui semblait une petite variation après la virgule représente en fait une proportion de 4 et de 5 complètements différents.
Au moment d'écrire ceci, il y a 78 jeux ayant 10 avis ou plus dont la moyenne brute se trouve entre 4,3 et 4,7 sur la base de données de TricTrac.
Le problème avec la moyenne brute est que l’on ne sait pas sur combien d’avis elle est basée. Par exemple, il y a présentement 156 jeux avec une moyenne brute de 5. Évidemment, plusieurs n’ont qu’un seul avis. Comment comparer un jeu qui a une seule note de 5 avec un jeu qui a 200 notes d'une moyenne de 4,7? Idéalement, il faudrait tenir compte et du nombre de notes et de la moyenne de celles-ci. C’est ce que les méthodes Finkel et Bayes tentent de faire.
La méthode Finkel
La note de Finkel qui sert à faire le classement des jeux les plus appréciés de TricTrac se calcule selon la formule suivante:
Note Finkel = moyenne brute + ajustement Finkel
L’ajustement à la moyenne brute étant pour chaque note :
de 5/5 on ajoute 0,02
de 4/5 on ajoute 0,01
de 2/5 on soustrait 0,01
de 1/5 on soustrait 0,02
En faisant la somme de tous ses ajustements, on obtient l’ajustement Finkel.
Il y a une correspondance entre la moyenne d’un jeu et l’ajustement Finkel moyen du même jeu. Par exemple, si la moyenne d’un jeu est de 3,96, l’ajustement Finkel moyen sera de 0,0096, si la moyenne d’un jeu est de 4,31 l’ajustement Finkel moyen sera de 0,0131. La correspondance entre les deux s’exprime selon la formule suivante:
ajustement Finkel moyen = (moyenne brute-3) / 100
Ainsi les jeux qui ont une moyenne de 3 n'ont aucune différence entre leur moyenne brute et leur note de Finkel, car l'ajustement de Finkel est alors de zéro. Les jeux qui ont une moyenne supérieure à trois ont une note Finkel plus élevée que leur moyenne brute, par contre les jeux qui ont des moyennes inférieures à trois ont une note Finkel inférieure à leur moyenne brute.
Une autre façon de calculer l’ajustement Finkel est de multiplier l’ajustement moyen par le nombre de notes, le calcul de la note Finkel devient alors:
Note Finkel = moyenne brute + (ajustement Finkel moyen x nombre de notes)
Cette façon d'exprimer la note Finkel nous rappelle le calcul d'une droite:
Y = a + b X
Où a (la moyenne brute) est l’abscisse à l’origine et b (l’ajustement Finkel moyen) est la pente. Lorsqu’on suit l’évolution de la note Finkel à chaque nouvelle note reçue pour en faire un graphique où la note Finkel est fonction du nombre de notes, on voit clairement une droite qui monte (ou descend) au fur et à mesure que les notes s'empilent.
Pour illustrer, disons qu’un jeu à une moyenne de 4,5 et qu’il garde cette moyenne peu importe le nombre de notes (en réalité la moyenne change au fur et à mesure que les notes s’ajoutent, mais simplifions).
Nb. de notes.....................Finkel
15 .................................4,725
50 .................................5,25
100 ..................................6
200 ..................................7,5
400 ................................10,5
La méthode de Bayes
Pour ceux qui ne savent pas encore l’origine de ce nom difficilement prononçable pour un francophone, feu Bayes était mathématicien. Le top bayesien se trouve sur le site de Scand1sk :
http://vion.free.fr/toptt_history/
La note de Bayes qui sert à calculer le classement bayesien se calcule en ajoutant un nombre de notes artificielles aux notes réelles et en calculant la moyenne. Présentement Scand1sk ajoute 15 notes de 3,69 aux notes réelles et fait une moyenne. La formule pour calculer la note de Bayes est :
Note Bayes = ((somme des notes) + (3,69 x 15)) / (nombre de notes +15)
Pour interpréter la note Bayes, c’est un peu comme si nous étions septiques avec les premières notes et que nous ramenions la moyenne des jeux avec peu de notes vers 3,69 (la moyenne des notes de tous les jeux), mais que lorsqu’un jeu obtient beaucoup de notes, on permet à la note Bayes de s’approcher très près de la vraie moyenne. Autrement dit, plus il y a de notes, plus on fait confiance à la moyenne.
Pour illustrer, reprenons notre exemple d’un jeu avec une moyenne de 4,5 et qui garde cette moyenne peu importe le nombre de notes.
Nb. de notes............................Bayes
15 ........................................4,095
50 .......................................4,313
100 .......................................4,394
200 .......................................4,443
400 .......................................4,471
Avec 15 notes, la note de Bayes se trouve exactement à mi-chemin entre 3,69 et la moyenne du jeu 4,5. Cependant, au fur et à mesure que les notes s’ajoutent la note de Bayes se rapproche de la moyenne du jeu.
Franchement Romain, je pense que tu as tellement énervé Mr Phal que par principe, il ne mettera jamais ton classement. Il a déjà pas assez de temps pour dévellopper d'autres fonctions du site que je considére plus important qu'un simple classement alors...
Je n'ai pas lu Romain demander à ce que sa méthode de classement soit integrée au site...
Et puis saches, Lilian, que Mr Phal n'est JAMAIS énérvé 
Reste à savoir si Mr Phal est à cheval sur les principes... 
Mitsoukos dit:Je n'ai pas lu Romain demander à ce que sa méthode de classement soit integrée au site...
Dans ce topic là, non, mais dans les cinquante précédents...
C'est dommage que la situation en soit arrivée là. Je crois que vue la tournure personnelle qu'a pris ce sujet, et vus les conflits inutilement interminables qu'il a déjà suscités, Romain aura beau créer 50 autres topics, la situation restera sans doute bloquée à son niveau actuel; car la subjectivité et l'amour propre ont depuis longtemps pris le pas sur le débat.
Alors bon, c'est regrettable, surtout que personnellement j'apprécie le classement bayesien et qu'une mise en parallèle avec le classement finkel aurait pu être intéressante si elle avait été proposé sur TT; mais j'ai peur que le point de non retour ait été atteint depuis longtemps. Mais bon tant pis je consulte le classement de scand1sk, je lis avec attention les analyses mensuelles de Romain, et finalement ça me suffit déjà pas mal comme ça.
En tout cas, moi ca m'a permis d'apprendre ce qu'est la méthode finkel et la méthode de bayes 
. Merci
Dans son post, Romain ne fait pas autre chose que d'expliquer le fonctionnement de chaque méthode. Même si cela est certainement dans le but de faire de la pub à la méthode Bayes et au classement présent sur le site de scand1sk, et même si le passif sur cette histoire de classement est indéniable, ce n'est à mon avis pas sain de lire autre chose que ce qui est écrit. Ca ne servira qu'à faire dégénérer un post de plus, ce que tous regretteront ensuite.
Stéphane, qui voit des procès d'intention de partout ces temps-ci. 
D'autant, si je puis me permettre, que les explications de Romain sont très claires et les mises en garde liminaires fort à propos. Alors quelles que soient ses motivations, y'a pas à mégoter, ce post est utile et intéressant.
Romain dit:
La méthode de Bayes
La note de Bayes qui sert à calculer le classement bayesien se calcule en ajoutant un nombre de notes artificielles aux notes réelles et en calculant la moyenne. Présentement Scand1sk ajoute 15 notes de 3,69 aux notes réelles et fait une moyenne. La formule pour calculer la note de Bayes est :
Note Bayes = ((somme des notes) + (3,69 x 15)) / (nombre de notes +15)
Petite question concernant cette méthode :
Le "15" est un paramètre libre n'est-ce pas ? Ou bien existe-t-il une règle pour le choisir ?
On pourrait imaginer des classements bayésiens avec 30, 50 ou 100 à la place de 15 non ? Il existerait alors une infinité de classements bayésiens potentiellement différents ?
nekotarie dit:Romain dit:
La méthode de Bayes
La note de Bayes qui sert à calculer le classement bayesien se calcule en ajoutant un nombre de notes artificielles aux notes réelles et en calculant la moyenne. Présentement Scand1sk ajoute 15 notes de 3,69 aux notes réelles et fait une moyenne. La formule pour calculer la note de Bayes est :
Note Bayes = ((somme des notes) + (3,69 x 15)) / (nombre de notes +15)
Petite question concernant cette méthode :
Le "15" est un paramètre libre n'est-ce pas ? Ou bien existe-t-il une règle pour le choisir ?
On pourrait imaginer des classements bayésiens avec 30, 50 ou 100 à la place de 15 non ? Il existerait alors une infinité de classements bayésiens potentiellement différents ?
En théorie tu as raison, en pratique le classement change peu avec le choix de ce paramètre. Si 15 a été choisi, c'est que c'est le nombre minimun d'avis qu'un jeu a besoin pour être inclu dans le classement de Scand1sk.
Romain, au taquet
En ce qui concerne ce paramètre, je le fais évoluer régulièrement en fonction du nombre total d'avis sur TT. J'essaie de garder la taille de la liste raisonnable, donc je risque fort de passer ce nombre à 20 quand le nombre de jeux présents dans la liste approchera les 1000.
Régulièrement est un peu exagéré, non? Cela fait presque deux ans que tu calcules la moyenne bayésienne (merci pour cela) et tu l'as changé une fois pour passer de 10 à 15.
D'accord, mais si (imaginons !) je décide de ne m'intéresser qu'aux jeux ayant au moins 50 avis, si je mets 50, ça va non seulement supprimer des jeux du classement, mais aussi changer les positions relatives de certains, non ?
En principe en prenant tes datas je dois pouvoir simuler ça. Finalement je n'ai besoin que de la moyenne brute et du nombre d'avis de chaque jeu !
J'essaye
En passant Scand1sk,
As-tu remarqué qu'Actorios utilise ton classement de Bayes pour comparer les goûts des utilisateurs de BGG et TT?
http://www.boardgamegeek.com/geeklist/24296
Voilà le résultat avec le paramètre 50 (désolé c'est moche je sais pas comment faire mieux...)
De manière assez logique, ça fait remonter les jeux qui ont beaucoup d'avis.
Chacun peut donc ajuster le paramètre pour trouver la config qui lui plait !
Intéressant !
"Rg15""Jeu""Moy Bay 15""Moy brute""Nb avis""Moy Bay 50"
1"Puerto Rico "4,594,623544,5
2"Caylus "4,544,582674,44
4"Euphrat & Tigris "4,474,522374,37
15"Time's Up ( 2e ed. , 3e ed. , 4e ed. , 5e ed. ) "4,384,422524,3
3"Yinsh "4,524,67824,29
19"Citadelles ( 2e ed. ) "4,324,345384,28
7"Funkenschlag "4,434,511344,28
5"Age of Steam "4,464,571054,28
11"Pique Plume "4,394,491114,24
9"Princes de Florence ( 2e ed. ) "4,424,55894,24
26"Tikal ( 2e ed. ) "4,34,342154,21
23"Mr. Jack ( 2e ed. ) "4,34,351884,21
14"Dvonn "4,384,48974,21
12"El Grande "4,384,51874,21
16"Go "4,374,47974,2
39"Loups Garous de Thiercelieux, Les "4,234,244504,18
8"Space Hulk "4,434,62584,18
24"Full Metal Planete "4,34,381254,18
32"Himalaya ( 2e ed. ) "4,254,291904,16
33"St Petersburg "4,254,311444,15
17"Modern Art ( 2e ed. ) "4,354,5664,14
52"Chevaliers de la Table Ronde, Les "4,184,23444,13
30"Samurai "4,264,341084,13
13"Löwenherz "4,384,6484,13
28"Santiago "4,294,41794,13
34"Yspahan "4,254,321124,12
18"Meuterer "4,334,48624,12
20"Java "4,324,48614,12
27"Goa "4,294,42714,11
54"Aventuriers du Rail Europe, Les "4,174,212134,11 
Je crois qu'un d'un point de vue mathématique, la valeur du paramètre doit correspondre à l'idée qu'on se fait de la représentativité de l'échantillon qui vote (les TTiens donnant leur avis) par rapport à l'échantillon total (les joueurs).
Ex :
avec un paramètre de 0, j'ai la moyenne brute. Donc un jeu avec un seul avis à 5 sort avec une note de 5. Ce qui a du sens si on considère que notre unique votant est totalement représentatif de la population.
avec un paramètre très elevé, les loups-garous, times up et autres vont sortir devrant. Ce qui doit être correct si on considère les TTiens comme peu représentatifs par rapport à l'ensembles joueurs (enfants, grand-mères et autres inclus...)
Donc à chacun de trouver son paramètre qui va bien, non ?
Ah, j'avais loupé la GeekList d'Actorios... Probablement plus "insightful" que ma tentative de première GeekList (les gens semble pas aimer les listes où on dit du mal de certains jeux, surtout quand je fustige de l'Amerithrash ).
Pour jouer avec les classements, je mets à disposition depuis peu une version csv des données, facilement importable sous un tableur quelconque. Le lien se trouve dans l'historique des classements : http://vion.free.fr/toptt_history/
Fustiger l'ameritrash sur BGG et le classement finkel sur TT... Tu ne manques pas une contreverse toi.
Je pense que monsieur Phal est débordé et comme il l'a dit, tous nos souhaits de programmation ne seront là que lorsqu'il engagera une personne.... ce qui n'est pas le cas pour le moment (à confirmer)
Malgré que c'est un site communautaire (avis,ajout fiche,...) , le développement n'est fait que par lui...
Le site est victime de son succès....
Par contre, un autre site communautaire se développe où là tu auras toutes tes moyennes : http://jedisjeux.kami-blue.com/
Concernant l'avis, les notes... en laissant une marge de 1 à 5 ... c'est comme il l'a dit... c'est juste pour donner une impression.
Un éditeur ou un auteur ne doit pas être choqué d'avoir un 2/5 ... c'est parfois une bonne note selon la personne qui l'indique.
Des fois j'aurai aimé indiqué 0,1/5
Trop jeux... pas évident de dire quelle est le jeu qui vous a le plus plu...
-> il faut avoir des joueurs avec vous qui aiment ce jeu
-> il faut avoir une bonne table
-> de bonnes conditions de jeux
-> ....
un jeu "null" vous fera passé un bon moment si les critères ci haut sont rempli
Le mieux est de lire l'avis si il est écrit avec des arguments que de se fier à une note "subjective"
Je suis convaincu qu'avec 5 jeux différents je peux trouver un jeu qui va plaire à quelqu'un qui n'a jamais ou déjà joué. Et parmi tous les jeux que j'ai déjà joué, je pense qu'on peut trouver facilement 20 très bons jeux.(et sans doute 100 bons jeux)
Voilà un topic qu'il est intéressant.
Merci à Scand1sk pour ses moyennes bayesiennes qui sont fort révélatrices.
Enfin, je compatis avec Mr Phal, j'ai connu le même problème de manque de moyens humains pour compenser les demandes des utilisateurs (appelé syndrôme "victime de son succès") avec Elwen...
Je continue mes élucubrations.
Tout d'abord toute mes excuses pour avoir relancé ce sujet qui (je l'ai découvert après coup) semble avoir été une source de discussions un peu trop passionnées.
Sauf erreur de calcul, si on note M la moyenne et N le nombre d'avis, on a :
Finkel = M + (M-3)*N/100
Bayes = M - (M-3.67)*15/(N+15)
Quelques commentaires philosophiques :
1) les deux calculs sont tout à fait similaires , dans l'un on apporte une correction positive qui augmente avec le nombre d'avis, dans l'autre on apporte une correction négative qui diminue avec le nombre d'avis. Philosophiquement c'est identique.
2) les deux calculs dépendent d'un paramètre libre , le 100 dans le cas de Finkel et le 15 dans le cas de Bayes. Et bien évidemment cette dépendance est assez critique. Le choix du paramètre influe autant sur le résultat final que le choix de la méthode.
Avec un paramètre Finkel plus faible on obtiendra un classement qui ressemble au Bayes actuel alors qu'avec un paramètre Bayes très elevé on obtiendra un truc qui ressemble au Finkel actuel !
3) Les deux calculs n'utilisent pour calculer leur moyenne que 2 infos : la moyenne brute et le nombre d'avis.
Finalement plutot que d'essayer de trouver la meilleure manière de fabriquer 1 nombre subjectif à partir de 2 nombres objectifs, est-ce qu'on pourrait pas également dresser une sorte de carte bidimensionnelle des avis sur les jeux avec les deux infos.
Par ex (désolé pour la mauvaise qualité mais en agrandissant c'est moins moche) :
(75 avis au moins et brute>3.5)
On y voit clairement la nature de chacun des jeux en fonction de son nombre d'avis et sa moyenne brute.