Edition et test des jeux avant parution.

Je lance une petite discussion autour des sessions test des jeux avant parution. On voit tout le temps que les jeux sont testés dans tous les sens, toutes les configs, etc… Des dizaines et des centaines de fois, par des dizaines et des centaines de personnes. Comment est-il possible alors que l’on retrouve régulièrement des problèmes d’équilibrage une fois le jeu sur les étals ?
Ceux qui me viennent comme ça, sans trop réfléchir (il est tôt hein…) sont Caverna et sa boucle infernale, Hyperborea ou encore récemment Orléans (cf l’article de Mr Phal), et il y en a pas mal d’autres…
Je pose la question sincèrement, vraiment pas pour montrer du doigt ou quoi que ce soit, juste pour comprendre le phénomène. Cela pose aussi la question des achats : est-il préférable d’attendre une (potentielle) VF pour se procurer un jeu ? Acheter une seconde édition (qui ne verra peut-être jamais le jour) ?
On peut même faire la comparaison avec le jeu vidéo, certains jeux (vendus entre 50 et 70€) sont mis sur le marché truffés de bugs, comme souvent avec Assassin’s Creed ou même très récemment avec la parution de GTA V PC (rappel de lots, le disque 4 est bugué).
Bref, comment est-il possible aujourd’hui de mettre sur le marché un jeu “non fini” ou du moins dont certaines faiblesses sont mises à jour rapidement par les joueurs ?

Je pense qu’une partie de ces problèmes, que ce soit pour le jds ou le jeu vidéo c’est qu’ils se fixent une date pour la sortie du jeu ( essen, Noël …) du coup certains ont conscience qu’il y a quelques problèmes à régler mais préfèrent ne pas rater la date fatidique.
Après il y a des problèmes sur lesquels il faut une part de chance pour les déceler ( comme la boucle de caverna )
Et après il y a les gros bugs, pour lesquels … on se demande comment le jeux à pu sortir comme ça.

Il faut aussi voir que les jeux sont généralement testés par une équipe d’une dizaine de personnes (ou quelques dizaines tout au plus). Une fois sur le marché, si un jeu se vend bien, on passe à un “groupe de test” de plusieurs milliers de personnes… et ça change tout. Dans la masse de parties jouées, les petits problèmes d’équilibrage vont forcément ressortir.
Après, quand certains problèmes plus ou moins flagrants passent au travers des mailles du filet (cf. les exemples que tu cites), je pense qu’il peut y avoir plusieurs raisons :
- au sein du groupe de testeurs, les joueurs étaient tellement habitués à gérer le problème qu’il n’apparaissait plus comme tel à leurs yeux ;
- les testeurs, par manque de temps, n’ont pas pu tester TOUTES les configurations (imagine un peu pour Caverna ou Orélans justement, le nombre de parties nécessaires pour tester toutes les combos…) ;
- quelqu’un (auteur, éditeur ?) a modifié à la dernière minute un truc qui n’a donc pas été testé à fond ;
- sortie du jeu précipitée en vue d’un gros salon (Essen notamment) ;
- EDIT : extension promo offerte pour un salon, qui n’a probablement pas été testée du tout (cf. extension de Norenberc, avec des personnages très faibles ou beaucoup trop puissants).
Bref, c’est toujours chiant quand un jeu sort avec un truc apparemment “buggé”, mais ce n’est pas non plus si surprenant en fin de compte, surtout pour les gros jeux.
Je trouve ça beaucoup moins excusable dans le monde du jeu vidéo, surtout les fameux titres AAA qui ont les moyens d’embaucher une armée de testeurs et de les rémunérer… et autant on peut difficilement jeter la pierre à des bénévoles qui font ça par passion du jeu, autant c’est énervant quand des mecs dont c’est le métier te vendent un produit incomplet et/ou mal fini juste pour se faire du blé sur ton dos.

En jeu vidéo, il y a des patchs, je trouve donc ça moins grave. En jeu de société, c’est mission impossible de corriger un truc. J’attends par exemple toujours les cartes corrigées pour Pathfinder.

Les patch, je ne connaissais pas quand j’étais sur mégadrive ou Pc engine… C’est aujourd’hui une solution de facilité pour les éditeurs de JV, je trouve ça d’autant moins pardonnable que certains prévoient des équipes de reworking en après vente et réduisent les équipes de test. C’est aujourd’hui assumé. AC Unity n’est pas fini? On lance quand même, on patchera!
Dans le JdS, la démarche est différente et souvent les éditeurs sont trop passionnés pour ne pas sortir le meilleur jeu possible.
Après, il ne s’agit pas de “seulement” tester. Il faut tester, ajuster, retester, réajuster, rédiger, rerédiger, faire relire (par des équipes/ personnes qui ne connaissent pas forcément le jeu), relire la relecture…
Le JdS est un marché où les éditeurs n’ont pas autant de moyens. donc chacune de ces étapes n’est pas faite en toute perfection. En plus, comme un ajustement impacte plusieurs éléments par interaction, il peut avoir des loupés. Sans oublier qu’un mot ou une virgule peut changer l’action d’une carte.
Ex: récupérer 1 ressource par 2 cartes; récupérer 1 ressource 2 cartes; récupérer 1 ressource puis 2 cartes… La confusion pour un relecteur est possible.
Bref, ça arrive. Les éditeurs en sont les premiers désolés. Mais heureusement, ça n’arrive pas souvent et les joueurs se renseignent pas mal.

Cette histoire de voir en échelle large un bug/pb/disfonctionnement non “vu” en comité réduit me fait écho à la théorie des liens faibles.
En gros travailler avec son réseaux, ses proches (ses liens forts donc) est parfois moins “efficace” (je pose des guillemets car j’extrapole un peu le sujet) que de travailler avec des gens éloignés (niveau réseau j’entends, ça peut être un voisin de palier).
Du coup, la phase de “test” a peut-être ce coté consanguinité que n’a pas la phase de commercialisation qui échappe aux créateurs.

Lapinesco dit:Cette histoire de voir en échelle large un bug/pb/disfonctionnement non "vu" en comité réduit me fait écho à la théorie des liens faibles.
En gros travailler avec son réseaux, ses proches (ses liens forts donc) est parfois moins "efficace" (je pose des guillemets car j'extrapole un peu le sujet) que de travailler avec des gens éloignés (niveau réseau j'entends, ça peut être un voisin de palier).
Du coup, la phase de "test" a peut-être ce coté consanguinité que n'a pas la phase de commercialisation qui échappe aux créateurs.

C'est d'autant plus vrai pour les erreurs éditoriales (rédaction / traduction de la règle, illustrations etc) car cette proximité incite à expliquer verbalement la règle aux testeurs, au lieu de les laisser la lire, du coup les erreurs de rédaction, les lacunes, les traductions pourries et autres passent plus facilement inaperçues.

Je ne pratique plus beaucoup les « gros » jeux que tu évoques, mais j’ai quand même l’impression que les gros déséquilibres sont quand même très rares aujourd’hui dans les JDS, du moins dans le domaine du kubenbois léger à moyen + (genre Feld)…
Il y a parfois aussi des déséquilibres finalement légers qui n’apparaissent comme tels qu’après des dizaines, voire des centaines de parties (comme la Hofmeisterin dans la version originale de St Petersburg), et qui ne sont pas tellement graves dans la mesure où on fait rarement autant de parties d’un même jeu (surtout depuis quelques années ><), et que c’est finalement assez facile à « patcher » quand on connait le jeu par cœur et qu’il y a des remontées officielles.

Le meilleur exemple du genre est la V1.0 de Myth, très gros KS fait par 3 personnes qui ne faisaient pas ça à plein temps avant le KS.
Ils n’ont fait leurs playtests qu’avec leurs potes et en leur expliquant le jeu directement.
Le livre de règle a été mis à disposition en pdf 2 mois avant la livraison, et l’accueil a été bon, le livre parait clair avec pleins de schémas. Mais quand le jeu est arrivé les gens se sont rendus compte qu’il manquait tellement d’informations que le jeu n’était quasiment pas jouable.

scand1sk dit:Je ne pratique plus beaucoup les « gros » jeux que tu évoques, mais j'ai quand même l'impression que les gros déséquilibres sont quand même très rares aujourd'hui dans les JDS, du moins dans le domaine du kubenbois léger à moyen (genre Feld)…

Je pense (mais je peux me tromper) que si la communauté était suffisamment développée pour organiser régulièrement des gros tournois réunissant des dizaines ou des centaines de personnes, les meilleurs joueurs sauraient identifier et exploiter des déséquilibres dans la plupart des gros jeux kubenbois (et je ne parle même pas des ameritrash).
J'ai fait un peu de playtest en CCG et c'est fou de voir comme un groupe de joueurs, même en nombre et expérimentés, peut ne pas voir un problème qui va sauter aux yeux d'autres personnes, surtout quand il y a littéralement des milliers d'interactions possibles entre des centaines de cartes différentes. L'échelle est plus petite pour les jeux de société, mais je suis persuadé qu'une pratique intensive révélerait pas mal de déséquilibres, petits ou grands.

On le voit pour des jeux comme Z First Impact, les tests avec des novices n’ont pas été de la partie. Direct on voit qu’il y a problème dès le scénario 1 dans la mise en place du plateau, la gestion des actions des joueurs et la gestion des zombies. Quand meme impressionnant d’avoir un jeu qui arrive à être édité dans un tel état, personne l’a testé d’extérieur, pas possible autrement :shock:

Hojyn dit:
J'ai fait un peu de playtest en CCG et c'est fou de voir comme un groupe de joueurs, même en nombre et expérimentés, peut ne pas voir un problème qui va sauter aux yeux d'autres personnes, surtout quand il y a littéralement des milliers d'interactions possibles entre des centaines de cartes différentes. L'échelle est plus petite pour les jeux de société, mais je suis persuadé qu'une pratique intensive révélerait pas mal de déséquilibres, petits ou grands.

Faut avouer que certains problèmes découlent d'une utilisation des règles complètement loufoques ou contraires à l'esprit du jeu, à tel point que lorsque les gents playtests ils n'y pensent pas forcement. C'est compliqué d'avoir un panel vraiment représentatif de toutes les réactions possibles face à un jeu, et comme dit plus tôt les développeurs peuvent être pressés par le temps (que cela soit la maison d'édition qui les pousse, ou leur envie de voir enfin leur jeu sortis et reconnu), ce qui limite la durée du test. Un autre facteur limitant est la diffusion des protos, qui peuvent être chers à produire en grande quantité/lisibilité...

Rimsk dit:Je pose la question sincèrement, vraiment pas pour montrer du doigt ou quoi que ce soit, juste pour comprendre le phénomène. Cela pose aussi la question des achats : est-il préférable d'attendre une (potentielle) VF pour se procurer un jeu ? Acheter une seconde édition (qui ne verra peut-être jamais le jour) ?

Attendre la VF pour espérer que les problèmes soient résolus es un peu illusoire. En effet les traducteurs ne se basent que sur les données de la VO, et ne sont même pas toujours à même de jouer eux-même au jeu (enfin, en voyant certaines trads, et leur termes vraiment malchoisis/vagues, on est ammené à le croire :roll: ). Ils vont pas refaire tout, sans compter que le boulot se passe souvent avant la sortie de la VO pour des publications groupées à quelques mois près...
Pour ce qui est de la 2e édition, il faut que le jeu marche vraiment bien, malgré les défauts avérés. Si réédition il y a, cela ne sera qu'après épuisement de la V1, donc tu peux poireauter... Je te déconseilles de retenir ton souffle...

Quoi qu'il arrive, je préfère tester les jeux avant de les acheter. Ca évite les mauvaises surprises :?
Hojyn dit:
scand1sk dit:Je ne pratique plus beaucoup les « gros » jeux que tu évoques, mais j'ai quand même l'impression que les gros déséquilibres sont quand même très rares aujourd'hui dans les JDS, du moins dans le domaine du kubenbois léger à moyen (genre Feld)…

Je pense (mais je peux me tromper) que si la communauté était suffisamment développée pour organiser régulièrement des gros tournois réunissant des dizaines ou des centaines de personnes, les meilleurs joueurs sauraient identifier et exploiter des déséquilibres dans la plupart des gros jeux kubenbois (et je ne parle même pas des ameritrash).

C'est vrai que c'était aussi arrivé avec Yspahan, qui avait été sélectionné pour le tournoi des Europe Masters, à ma connaissance le seul tournoi de JDS avec un minimum d'envergure. L'extension parue peu après implémentait quelques correctifs (quand on déplace l'Intendant, il faut faire au moins une case ; le Caravansérail ne permet plus de piocher qu'au maximum une carte par tour ; quand on choisit de piocher on prend 2 cartes et on en défausse une), mais je ne crois pas que le message soit vraiment passé (d'ailleurs dans mon dernier club, beaucoup de joueurs étaient persuadés que la Caravane ne servait à rien, alors que c'est tout le contraire). De toutes façons je ne crois pas non plus que beaucoup de joueurs se soient rendus compte du problème ;)
En passant, je n'ai pas le sentiment que les joueurs de JDS, même les gros joueurs, soient vraiment intéressés par le concept de tournoi. Ne fut-ce que parce que ça implique de jouer des dizaines de parties du même jeu :)

Quand il s’agit de petits déséquilibres je trouve toujours dommage que ce ne soit pas corrigé par l’éditeur. Par exemple l’errata sur l’un des peuples de Terra Mystica c’est juste un détail. Il faut aussi penser que toutes les personnes ne sont pas suffisamment passionnées pour venir chercher ce genre d’informations sur des sites ou forums spécialisés.

TS Léodagan dit:Dans le JdS, la démarche est différente et souvent les éditeurs sont trop passionnés pour ne pas sortir le meilleur jeu possible.

Dans le JdS ce sont des bisounours passionnés auxquels on doit tout pardonner et dans le jeu vidéo ce sont de grands méchants éditeurs qui devraient avoir honte de sortir des patchs donc.
Désolé mais tu racontes n'importe quoi.
Khelz dit:
TS Léodagan dit:Dans le JdS, la démarche est différente et souvent les éditeurs sont trop passionnés pour ne pas sortir le meilleur jeu possible.

Dans le JdS ce sont des bisounours passionnés auxquels on doit tout pardonner et dans le jeu vidéo ce sont de grands méchants éditeurs qui devraient avoir honte de sortir des patchs donc.

Je réponds même si je ne suis pas ciblé car en relisant mon premier post, je m'aperçois qu'on pourrait l'interpréter comme ça aussi.
Le problème des jeux vidéos c'est qu'on voit régulièrement des problèmes qui t'empêchent carrément de jouer : plantage du jeu, quête impossible à terminer, etc. Les bugs d'affichage ou les petits problèmes d'équilibrage de factions dans les STR, c'est excusable et même compréhensible, mais les gros bugs qui tâchent ça fait un peu mal au cul quand tu payes plusieurs dizaines d'euros... même si un patch vient corriger ça plus tard, t'as un peu l'impression d'être pris pour un gogo.
Pour moi c'est un peu comme si un éditeur de JdS vendait son jeu avec une page manquante dans le livre de règles et une planche de pions en moins. Or, c'est quand même hyper rare que ça arrive, alors que c'est un phénomène relativement fréquent (et limite passé dans les mœurs) dans le jeu vidéo.
Hojyn dit:
Khelz dit:
TS Léodagan dit:Dans le JdS, la démarche est différente et souvent les éditeurs sont trop passionnés pour ne pas sortir le meilleur jeu possible.

Dans le JdS ce sont des bisounours passionnés auxquels on doit tout pardonner et dans le jeu vidéo ce sont de grands méchants éditeurs qui devraient avoir honte de sortir des patchs donc.

Je réponds même si je ne suis pas ciblé car en relisant mon premier post, je m'aperçois qu'on pourrait l'interpréter comme ça aussi.
Le problème des jeux vidéos c'est qu'on voit régulièrement des problèmes qui t'empêchent carrément de jouer : plantage du jeu, quête impossible à terminer, etc. Les bugs d'affichage ou les petits problèmes d'équilibrage de factions dans les STR, c'est excusable et même compréhensible, mais les gros bugs qui tâchent ça fait un peu mal au cul quand tu payes plusieurs dizaines d'euros... même si un patch vient corriger ça plus tard, t'as un peu l'impression d'être pris pour un gogo.
Pour moi c'est un peu comme si un éditeur de JdS vendait son jeu avec une page manquante dans le livre de règles et une planche de pions en moins. Or, c'est quand même hyper rare que ça arrive, alors que c'est un phénomène relativement fréquent (et limite passé dans les mœurs) dans le jeu vidéo.

Je ne vois pas en quoi une comparaison entre les deux mondes est utile. Le fait est qu'un problème dans un JdS est beaucoup plus ennuyeux que dans un jeu vidéo, car le "patch" doit être effectué matériellement par l'éditeur (et c'est rarement fait) soit manuellement par l'acheteur qui doit imprimer lui-même des notes/addendum ou des cartes.
Je suis un gros joueur de JV et je ne me suis jamais senti "gogo" comme tu dis en achetant mes jeux. Les patchs sont releasés lorsque c'est nécessaire; et de manière très rapide, voir transparente. Dans les productions techniquement complexes comme celles que sont les jeux vidéo ou n'importe quel programme un tant soit peu ambitieux les bugs sont inévitables et ne sont pas toujours révélés par les tests; c'est un fait.
Après, comme pour tout objet de consommation, il faut aussi être capable de faire le tri et ne pas acheter n'importe quoi à n'importe qui.

Il ne faut pas non plus tomber dans l’excès inverse en disant que telle stratégie est déséquilibrée par rapport à telle autre après quelques parties.
Des fois un jeu se révèle équilibré après beaucoup de pratiques avec différents joueurs désireux de pousser le jeu dans ses retranchements.

Perso je me renseigne toujours au max avant d’acheter un JdS et quand je vois qu’il y a des bugs, des erratas et/ou des faqs je laisse tomber. Hyperborea m’avait moubourré à mort mais j’ai pas envie de devoir choper les corrections de règles, imprimer des erratas ou je sais pas quoi. J’achète un jeu, je veux m’en servir direct, j’ai pas envie de finir le boulot moi-même. Pour les JV c’est pareil (bon, je peux pas reprogrammer le truc hein) mais rien que de me dire qu’il faut dl un patch ça me gonfle (sauf si c’est pour une MàJ), mais quand je vois par exemple ACIII, où Ubisoft sort quasi 40 patchs le jour même de la sortie (voir la veille il me semble) c’est du délire. Ou encore récemment L’Ombre du Mordor tellement buggé sur PS3/X360 qu’il en est carrément injouable c’est du foutage de gueule.
Bref, c’est vrai qu’il est un peu compliqué de comparer les 2 mondes mais en tout cas, en ce qui concerne les Jdp, je suis prêt à ne pas acheter un jeu si je dois passer 4h à analyser tout ce qui va pas. De plus, je me dis que peut-être un jour mes enfants/petits-enfants joueront avec mes jeux et j’ai envie qu’ils prennent une boîte et go (ou ils iront sur TT v12 :) ).

Khelz dit:
Je ne vois pas en quoi une comparaison entre les deux mondes est utile. Le fait est qu'un problème dans un JdS est beaucoup plus ennuyeux que dans un jeu vidéo, car le "patch" doit être effectué matériellement par l'éditeur (et c'est rarement fait) soit manuellement par l'acheteur qui doit imprimer lui-même des notes/addendum ou des cartes.
Je suis un gros joueur de JV et je ne me suis jamais senti "gogo" comme tu dis en achetant mes jeux. Les patchs sont releasés lorsque c'est nécessaire; et de manière très rapide, voir transparente. Dans les productions techniquement complexes comme celles que sont les jeux vidéo ou n'importe quel programme un tant soit peu ambitieux les bugs sont inévitables et ne sont pas toujours révélés par les tests; c'est un fait.
Après, comme pour tout objet de consommation, il faut aussi être capable de faire le tri et ne pas acheter n'importe quoi à n'importe qui.

Faut quand même reconnaitre que dans le monde du jeu vidéo, il y a une énorme baisse de qualité depuis une dizaine d'années sur la finition des jeux. Pourtant, ils avaient déjà à l'époque les dates de sorties de ciblées.
Sauf qu'aujourd'hui, un éditeur se satisfait d'un jeu fini à plus de 90%. Le reste pouvant être patché ultérieurement.
Autant sur un MMO, je peux le comprendre mais je trouve ca très limite.
Autant sur des jeux principalement solo (comme les AC), ca entame énormément la crédibilité.
D'une manière générale, je serais aussi exigeant avec un jeu vidéo qu'avec un jeu de société. S'il me faut un mois pour que le produit soit jouable, ca me fera réfléchir et pas sur que j'achète un autre jeu de cet éditeur ou sans avoir les retours au préalable. Que ce soit du jeu vidéo ou jeu de plateau.