Alors pour couper je vais te donner une technique redoutable (pour un proto)
> Jusqu’a 5 jours tu fais rien
> A partir du jour 6 c’est le ventre mou tu peux calculer tes moyennes
> 2 derniers jours c’est le rush tu calcules plus rien tu regardes si tu avais juste :)
L’idée du 72h c’est de lisser :
> les fuseaux horaires (ok 24h suffisent)
> les pics addons (y’a moyen de les detecter autrement mais faudrait développer un filtre… soit dit en passant rien d’inhumain : un filtre pour les retirer et un filtre pour les intégrer jusqu’a la fin avec un machine learning pour deviner combien il y en aura)
> les pics campagnes pub et/ou reviews
(EDIT : le but est de masquer l’effet des pics d’addons pour le calcul de la projection du cone “final”, c’est uniquement de ca que je parle la hein 
)
Apres tu peux en 24h, mais a chaque fois tu vas faire un bon (ou j’ai pas compris ta méthode de trend et je veux bien que tu vulgarise plus… j’ai surement pas fini de te dire ca d’ailleurs)
jmt-974 dit :Alors pour couper je vais te donner une technique redoutable (pour un proto)
> Jusqu'a 5 jours tu fais rien
> A partir du jour 6 c'est le ventre mou tu peux calculer tes moyennes
> 2 derniers jours c'est le rush tu calcules plus rien tu regardes si tu avais juste :)
L'idée du 72h c'est de lisser :
> les fuseaux horaires (ok 24h suffisent)
> les pics addons (y'a moyen de les detecter autrement mais faudrait développer un filtre... soit dit en passant rien d'inhumain : un filtre pour les retirer et un filtre pour les intégrer jusqu'a la fin avec un machine learning pour deviner combien il y en aura)
> les pics campagnes pub et/ou reviews
(EDIT : le but est de masquer l'effet des pics d'addons pour le calcul de la projection du cone "final", c'est uniquement de ca que je parle la hein ;) )
Apres tu peux en 24h, mais a chaque fois tu vas faire un bon (ou j'ai pas compris ta méthode de trend et je veux bien que tu vulgarise plus... j'ai surement pas fini de te dire ca d'ailleurs)
Voilà ce que ça donne :
Pour la formule utilisée :
1.25*(discrete_total*+(project['Total Time']-time_intervals*-2)*trending[96][i-96])
où :
- discrete_total* est le montant collecté à l'heure donnée;
- project['Total Time'] est la durée totale de la campagne
- time_intervals* le temps déjà écoulé de la campagne
- trending[96][i-96] la valeur du trending moyennée sur 96 heures
Donc en gros, je fais la somme collectée + le montant projeté à 2 jours avant la fin et je multiplie par 1.25 ou 1,33.
Du coup, la formule est foireuse à moins de deux jours de la fin et on fait un gros overshoot sur la fin (pour Scythe en tout cas).
Et merde, pavé de texte dans le warp 
Donc en gros : le rush final a été tres tres faible : 16% au lieu de 20 à 25% en général… et campagne “hors norme”…
Ce serait bien d’essayer sur des campagnes plus classiques 
(genre les deux que je te citais semaine prochaine )
EDIT : Et il faut arreter de calculer 72h avant la fin (sinon c’est normal que tu décroches )… mais la tu es pas loin de ce que je fais a la main et j’ai de bons résultats en général
jmt-974 dit :Et merde, pavé de texte dans le warp :(
Donc en gros : le rush final a été tres tres faible : 16% au lieu de 20 à 25% en général... et campagne "hors norme"....
Ce serait bien d'essayer sur des campagnes plus classiques :) (genre les deux que je te citais semaine prochaine ;) )
EDIT : Et il faut arreter de calculer 72h avant la fin (sinon c'est normal que tu décroches :) )... mais la tu es pas loin de ce que je fais a la main et j'ai de bons résultats en général :)
Je viens d'arrêter après 48 h de la fin (cf image ci-dessus)
Pour les campagnes à suivre, si je résume dans les choses intéressantes à suivre :
- arcadia quest
- fleet commander
- Baner Saga
je suis sur déjà sur
- Ctuluhu wars 2,
- Dropfleet commander (ils ont rajouté un niveau de pledge en cours de campagne, du coup c'est relou à traiter)
- Stygmata
Si certaines campagnes vous intéressent, il faut me le dire (pas que jmt..)
Merci,
Mais rien avant 2016. A priori…
Vu les graphiques que tu produit, tu peux utiliser R pour faire la même chose que le ml car tu n’es pas face à de gros volumes de données (regarde par exemple les fonctions kmeans et hclust(dist( )) ainsi que le package e1071 qui contient les fonctions sur les SVM puis éventuellement le package randomForest )
je préfère rester en python car c’est pour moi l’occasion de programmer en python et c’est plus polyvalent : je peux aller de la récupération des données à leur analyse.
Je sais que R est la référence pour tout ce qui est stat, mais je n’ai pas trop envie d’apprendre à en faire car j’en voit moins l’utilité sur le plan personnel. (Alors que faire du python, ça me sert un peu plus).
Je vais voir ce que peux faire la librairie python de data mining citée ci-dessus. Sur le long terme, je pense que le volume de données va croitre vu que je vais prendre les données de Etter (16000 campagnes KS mais pas que du tabletop).
C’est vrai que pour avoir un peu joué avec R ca permet de simplifier énormément pas mal de choses (et c’est assez proche des autres langages connus, sur la partie mécanique on le prend vraiment rapidement ne main)…
Apres pour mettre sur un serveur et regarder le tout tourner, python est quand même plus simple
Pour le regarder tourner on peut faire avec Shiny (une librairie de R qui permet de faire des interfaces graphiques sur le web rapidement).
L’intérêt de python actuellement c’est d’avoir un langage objet un peu moins foireux (Il y a quand même quelques gotchas en python) et de bénéficier de l’interface avec Spark (et la MLlib). Sinon dans les écritures matplotlib/numpy c’est franchement moins agréable que R/matlab.
Salut à tous
Encore un truc intéressant à lire
Quelques remarques:
- ça a déjà été évoqué mais l’impact entre différentes campagnes est loin d’être neutre. Je pense que Conan n’aurait jamais fait autant sans zombicide3, et pareil pour Black Plague grâce à Conan. C’est des exemples un peu évident mais derrière ça veut dire que d’avoir des données globales en entrée comme le nombre de backers par mois par catégorie par saison par l’âge du capitaine… peut donner des indices intéressants à surveiller et à utiliser.
- que c’est malgré tout un système évolutif. Peu importe les outils, nous avons tous en tête des exemples ou le système prédictif se vautre (7th continent pour le dernier en date).
- ce qui me “gène” le plus dans la démarche c’est le côté outil/thermomètre/bible. C’est n’est pas à cause de l’outil en lui-même mais je me pose sincèrement la question de “l’expertise KS” qui s’appuie sur l’existant. A quel point, ça permet de mesurer/prévoir la réussite d’un projet et à quel point ça va formater les projets à venir pour rassurer les porteurs.
=> Est-ce que le thermomètre n’est pas lui-même en partie responsable de la température qu’il mesure…
- et enfin, un point plus “légal”. Est-ce que vous savez pourquoi kickspy a fermé? Est-ce que vous pourriez vous retrouver dans le même cas?
Bon courage en tout cas
MadTotoro
MadTotoro dit :Salut à tousOn est entièrement d'accord, je n'envisage ça que du point de vue "jeu" ou "pari sportif" : C'est évident qu'il est impossible d'avoir toujours juste et j'ai envie de dire : "ce n'est pas le but" (en tout cas pour moi) C'est juste une manière de voir un peu plus finement qu'avec Kicktraq comment les campagnes évoluent. ET plutôt que de se contenter de la simple constatation, la partie prédictive est une manière de mettre un peu de sel dans le jeu.
Encore un truc intéressant à lire :)
Quelques remarques:
- ça a déjà été évoqué mais l'impact entre différentes campagnes est loin d'être neutre. Je pense que Conan n'aurait jamais fait autant sans zombicide3, et pareil pour Black Plague grâce à Conan. C'est des exemples un peu évident mais derrière ça veut dire que d'avoir des données globales en entrée comme le nombre de backers par mois par catégorie par saison par l'âge du capitaine... peut donner des indices intéressants à surveiller et à utiliser.
- que c'est malgré tout un système évolutif. Peu importe les outils, nous avons tous en tête des exemples ou le système prédictif se vautre (7th continent pour le dernier en date).
- ce qui me "gène" le plus dans la démarche c'est le côté outil/thermomètre/bible. C'est n'est pas à cause de l'outil en lui-même mais je me pose sincèrement la question de "l'expertise KS" qui s'appuie sur l'existant. A quel point, ça permet de mesurer/prévoir la réussite d'un projet et à quel point ça va formater les projets à venir pour rassurer les porteurs.
=> Est-ce que le thermomètre n'est pas lui-même en partie responsable de la température qu'il mesure...
- et enfin, un point plus "légal". Est-ce que vous savez pourquoi kickspy a fermé? Est-ce que vous pourriez vous retrouver dans le même cas?Clairement, on dépasse les Terms Of Service de Kickstarter, mais c'est encore ici à une échelle amateur, pas comme kicktraq, kickspy ou kickside. (d'ailleurs je vais peut-être contacter leurs auteurs respectifs pour voir comment ilsgèrent ça et s'ils ont été contacté par KS)
Bon courage en tout cas :)
Pour l'instant, je fais plus joujou et je découvre le machine learning et certains trucs sous python de mon côté, sans aucune prétention (Jeremie a l'air beaucoup plus calé et Jmt aussi pour la partie machine learning). Je n'ai pas un plan pour faire un ordre 66 moi
Si un jour on fait un site consultable par tous avec les données traitées de manière entièrement automatisés, je pense que KS viendra mettre son nez. Mais là, on en est encore à des années lumières. Mais pour l'instant, je vais me contenter des données récoltées par Etter et téléchargeables sur son site. Ce qui permet de réduire certains problèmes justement lié au côté "fair-use" de KS.
Pour moi de toute facon l’objectif d’un prédictif est d’avoir un cone “pas trop a la rue” et “le plus tot possible”… pour “suffisamment de projets”…
Kickspy était un bon outil dans le sens ou dans en gros 80% des cas il trouvait a mis campagne une estimation assez juste du final… mais dans les cas “érronés” il était souvent “bien bien a la rue”…
Sa fermeture est “probablement” liée aux CGU de KS (je n’en suis pas 100% sur )… j’ignore pourquoi KT n’a pas le meme soucis (meme si j’ai deux raisons qui me viennent en tete qui sont plus que plausible)…
Quand au tout ca reste tres amusant, en effet comme un prono sportif, ou de l’analyse de n’importe quoi… mais je suis sur qu’en ayant suffisament de moyens tu pourrais arriver a de vrais résultats fiables pour plus de 90% des cas, la le truc c’est qu’a part le rigolo il n’y a aucun enjeu financier au final
Quand a dire que ca influe je n’y crois absolument pas a l’heure actuelle… déjà il faudrait déterminer si les commentaires et ce qui peut s’y passer influe sur le resultat d’un KS (pour moi c’est une sorte de douve géante pour 95% ou plus des backers d’un projet)… alors tu imagines qu’un truc de geek dans un coin comme KT 
(seul truc de KT qui influe c’est la hotlist, mais ca n’a rien a voir avec la prédiction finale vu que c’est sur un calcul a l’instant T )
Voilà quelques chiffres pour les quelques campagnes que je regarde. Je n’ai pas eu le temps de progresser sur la partie prédictive.
La nouvelle catégorie de pledge annoncée jour 6 a bien boosté la campagne de Dropfleet commander.
Pour Stygmata, ça remonte tout doucement.
ET pour Ctuluhu, il y a eu un petit boost en jour 18 avec l’annonce sur le pledge à 1$, beaucoup de backers, mais pas beaucoup de sous.
Pour les k-moyennes, j’arrive à comprendre l’utilisation avec Scikit. Je vais essayer de faire un petit article sur le sujet ce soir si j’ai le temps pour un algorithme qui me semble pertinent en terme de montant et dynamique de campagne.
J’ai un peu remis en forme la page initiale et je l’ai transformée en pdf. Vu que le document évolue rapidement, pour l’instant, c’est plus simple de le gérer sous cette forme et pas comme une page web.
http://agregationchimie.free.fr/kickstarter.pdf
J’ai surtout amélioré la partie “trending” (pages 8 à 10) en ajoutant quelques illustrations pour expliquer la méthode et un exemple avec la campagne KS du 7ème continent.
Modèle de type « trending »
Ici, c’est le plus simple : on fait une extrapolation linéaire en se basant sur
la moyenne du montant récolté sur un intervalle de temps donné.
Figure 2.1 – Quelques exemples de méthodes de trending utilisées. La courbe
verte correspond au trending calculé par kicktraq. Aux temps courts, le
montant final est fortement surestimé à cause du rush initial et aux temps
longs, le rush final passe à la trappe. Les autres courbes correspondent à des
moyennes glissantes sur 1, 24 et 96 heures respectivement. Plus l’intervalle
de temps pris est long, plus les variations brusques sont lissées.
1. Calculer la moyenne de fonds collectés par unités de temps sur une
durée prédéterminée :
M
(2.1)
2. Faire l’extrapolation pour déterminer le montant final :
M ( t = 1) = M (t ) + (1 − t) M
(2.2)
2.1.1
Points positifs de la méthode
— L’extrême simplicité de la méthode.
— Marche relativement bien dans le « ventre mou » : après le rush initial
des 3-4 premiers jours et pour prédire ce qui se passe avant les dernières
48 heure.
2.1.2
Points négatifs de la méthode
— Très peu fiable, surtout à deux moments : au début et à la fin.
Lors du rush initial, il y a une forte surestimation du montant final au
début.
De même, à la fin, il y a un rush 48 h avant la fin. Du coup, sur la
fin, en général, il y a une sous-estimation du total. Cependant, la sous-
estimation est moins importante que la surestimation car en fin de cam-
pagne, on a moyenné sur une plus grande période qui inclue le ventre
mou.
— Ignore totalement tout les effets non linéaires (ajouts d’add-ons, effet
des stretch-goals, etc.)
2.1.3
Paramétrisation et algorithmique de la méthode
Figure 2.2 – Estimation basée sur du trending pour le projet du 7ème
continent. La ligne noire horizontale correspond au montant récolté à la fin
de la campagne.
— On peut tenter de modifier en découpant la campagne en trois zones :
rush initial, ventre mou et rush final avec des poids relatifs pour ces
différentes parties. Même si ça reste simpliste, ça reste facile à implé-
menter.
— Le choix de la période sur laquelle on moyenne est très important :
— Si on prend en compte le trending depuis le début de la campagne
(méthode utilisée par Kicktraq) :
Mi ( t )
M0 =
(2.3)
t
il y a en général une très grosse sur-estimation sur une très grosse
partie de la campagne due au rush initial qui met très longtemps à
devenir raisonnable. (En gros jusqu’au jour 10, pour la courbe verte
de la figure 2.2)
De plus, à la fin, le trending ne prend en compte que les données du
rush initial et du ventre mou. Comme le ventre mou est plus long
que le rush initial, le trending décroit continuellement jusqu’au rush
final avant de remonter. Donc ce n’est pas terrible au début, et pas
terrible à la fin.
— Si maintenant, on prend le trending sur l’heure passée :
M( t ) − M (t − 1 h)
M1 =
(2.4)
1h
où le 1 correspond à une heure. On est cette fois-ci très sensible aux
variations journalières : en effet, dans la journée, le montant n’évo-
lue pas de manière continue et il y a des cycles journaliers. On peut
le voir grâce à la courbe orange sur la figure 2.2 (à partir du jour
20, avant, il manque des points) : il y a de gros pics régulièrement
espacés. Du coup, la fourchette obtenue est très large.
— Pour éviter de « subir » ces variations journalières, on pend faire
une moyenne glissante sur 24 h :
M24 =
M( t ) − M (t − 24 h)
24 h
(2.5)
Cela permet de lisser les variations quotidiennes et réduit donc l’am-
plitude des oscillations de la prévision. (courbe bleue sur la figure
2.2).
— Cependant, avec le trending calculé en moyenne glissante sur 24
h, on est très sensible aux variations brusques dues aux add-ons.
Du coup, pendant la période où les souscripteurs augmentent leur
soutien pour inclure l’add-on, l’estimation devient très élevée. (cf la
courbe bleue vers 14 jours sur la figure 2.2). Du coup, il peut être in-
téressant de moyenner sur une période plus longue. 4 jours semble
être un bon compromis pour lisser les variations brusque tout en y
restant sensible. (courbe rouge sur la figure 2.2)
— Dans tous les cas, quelque soit le mode de trending utilisé. Il ne prend
pas en compte le rush final qui correspond aux dernières quarante-huit
heures. Par contre, le trending glissant (M1 , M24 , M94 ) se stabilise relati-
vement bien vers un plateau. Empiriquement, le rush final correspond
à 25 à 33 % de la valeur prévue aux 48 heures avant la fin. Pour prendre
en compte cela, il faut donc calculer ce montant et multiplier le tout par
le coefficient correspondant :
M( t − 48 h ) = M( t) + (1 − t − 48 h) M96
1, 25M (t − 48 h) M( t = 1) 1, 33M( t − 48 h)
(2.6)
(2.7)
(zone grisée sur la figure 2.2). Bien que cela reste très basique, les résul-
tats sont tout à fait corrects même pour une campagne « hors-norme »
comme celle du 7ème continent. On arrête le calcul à 48 h de la fin pour
éviter de commencer à effectivement prendre en compte le rush final
dans le calcul « corrigé du rush final »
Pour info je suit et suis super interressé hein J’ai juste “rien a dire”
J’ai continué un peu la rédaction du document :
- ajout d’un glossaire
- ajout de liens vers les sujets récurrents de tric trac (kickstrater illustré, économie du jeu, pour les lanceurs de KS)
- ajout d’une partie pour décrire l’allure générale d’une campagne,
- ajout d’une partie sur la granularité.
- fignolages sur la partie trending
Voici des passages recopiés du document :
http://agregationchimie.free.fr/kickstarter.pdf
La lecture est plus agréable sur le document, mais je recopie certains passages ici pour les plus faignants d’entre vous. (et pour éviter d’avoir à rescanner tout le document pour déceler les changements)
---------------------------------------------------------------------------------------------
Généralités sur une campagne kickstarter
Les différentes campagnes Kickstarter suivent généralement un schéma relativement classique et fortement non linéaire.
C’est ce qui rend intéressant la prédiction.
Figure 1.1 – Allure typique d’une campagne avec les trois grandes phases
habituelles. Les « accrocs » dans le ventre mou correspondent généralement à
des add-ons où à la création d’un nouveau pledge.
La campagne se découpe en trois grandes phases :
1. Phase no 1 : « le rush initial » qui dure entre 2 et 5 jours. Durant cette
période, tous les efforts effectués lors de la pré-campagne portent leurs
fruits : les backers arrivent en masse et le total grimpe très rapidement
(boosté par les early-birds, l’effet boule de neige initial et les qui
tombent rapidement).
2. Phase no 2 : « le ventre mou » qui dure en général relativement long-
temps (10 à 20 jours) : l’arrivée massive est finie car le plus gros du
bouche à oreille est effectué, la campagne a touché son public cible. Du
coup, le rythme de la campagne « s’essouffle ». En général, pour redynamiser
cette partie de la campagne en terme de montant récolté, les
porteurs de projets proposent des add-ons pour faire monter la contribution
moyenne. Du coup, il peut y avoir des emballements ponctuels
de la campagne si les add-ons proposés plaisent aux personnes ayant
déjà soutenu la campagne. Il semblerait qu’en terme de dynamique, la
deuxième partie du ventre mou est ponctuée par des désistements de
personnes qui avaient soutenu le projet. En général, ces départ sont au
moins compensés par l’arrivée de nouveaux backers et reste difficilement
observable.
3. Phase no 3 : « le rush final » qui commence 2 ou 3 jours avant la fin
de la campagne. Ce rush correspond aux personnes qui ont demandé à
avoir un e-mail de rappel 48 h avant la fin. À ce moment, les gens qui
sont déjà intéressés par la campagne regardent ce que ça a donné en
terme de stretch-goal et add-on. C’est à ce moment là que les nouveaux
arrivent font des arbitrages pour décider s’ils estiment que la campagne
mérite d’être soutenue.
Bien évidemment, certaines (de nombreuses ?) campagnes s’écartent no-
toirement de ce comportement global :
— Fief : il n’y a pas eu de gros rush initial mais un rush final exceptionnel.
— MYTH : comme fief.
— Drakerys : ici, pas de rush final et même une diminution du montant
collecté sur les deux derniers jours.
Granularité pour les observations
Figure 1.2 – Influence de la granularité. La courbe noire correspond à la
courbe « réelle ». La courbe rouge correspond à une granularité élevée qui
permet de capter tous les détails mais génère beaucoup de points. La courbe
bleue est suffisante pour voir l’allure générale de la campagne. Par contre la
courbe verte manque la période lors de laquelle il y a eu diminution du
montant récolté (et probablement de backers).
Un des paramètres important est la granularité. En effet, c’est un paramètre
crucial pour plusieurs raisons :
— Plus la granularité est fine (observation à des intervalles de temps courts,
courbes noire et rouge sur la figure 1.2) plus il y a de données à traiter.
Les temps de calculs sont donc plus longs et on peut observer des effets indésirables.
En effet, à des temps trop courts, la dérivée des observables entre deux points peut devenir très élevée
car la courbe en temps réel est en fait de type « numérique » avec des variations ponctuelles.
Accessoirement, de nombreux points peuvent être inutiles pour décrire
la campagne (en cas de stagnation prolongée). De plus, cela peut surcharger
les serveurs kickstarter et entraîner un bannissement de votre
adresse pour la récupération de données.
— Plus la granularité est élevée (observation à des intervalles de temps
élevés, courbes bleue et verte sur la figure 1.2), plus le traitement mathématique
est simple. Par contre, certains détails importants de la campagne
peuvent manquer .
En fonction de la phase considérée, la granularité optimale est à mon avis
variable :
— Lors du rush initial, entre 10 et 20 minutes peut être nécessaire lors
des premières heures, surtout pour les grosses campagnes : celles-ci
peuvent être financer en quelques minutes (les campagne Zombicide,
Conan, Scythe, le 7econtinent ont été financées en moins de dix minutes).
Ensuite entre quinze minutes et une heure suffit.
— Lors du ventre mou, entre 1 heure 24 heures est suffisant. Les évolutions
sont suffisamment lentes pour qu’il ne soit pas nécessaire d’avoir
beaucoup de points.
— Lors du rush final, entre 1h et 20 minutes est suffisant. La campagne
évolue plus vite mais l’évolution est suffisamment régulière pour que
ce soit suffisant.
Le meilleur compromis sur la durée complète de la campagne est à mon
avis d’une heure : pour une campagne de 30 jours, cela fait 700 points, ce qui
est raisonnable pour les temps de calcul sans perdre trop de temps de calcul.
---------------------------------------------------------------------------------------------
J’essaye vraiment d’être le plus pédagogique possible et d’illustrer au maximum mon propos. N’hésitez pas à donner un retour. Au passage, j’essaye de synthétiser les infos données sur ce sujet dans le document. Je remercie donc les personnes qui y contribuent (dont Jeremie et jmt pour ne pas les citer )
La pour moi j’ai tout compris (trop fort… je vais aller m’autocongratuler tiens…)… bon ok… c’etait pas tres mathématique
J’ai écrit au créateur de sidekick, il m’a répondu rapidement, il devrait pouvoir m’expliquer comment il automatise la récupération des données (pour l’instant, j’ajoute des projets à la main et le crawl est automatique mais je ne sais pas visiter un ensemble de projets automatiquement) à la fin du mois (là il est pris).
Je viens de trouver comment récupérer les adresses de toutes les campagnes live 
.
‘Blackout: Journey into Darkness’,
‘Dropfleet Commander’,
‘DEER LORD!’,
‘DCC RPG 4th Printing’,
‘Shinobigami - Modern Ninja Battle Tabletop RPG from Japan’,
‘Kill Doctor Lucky’,
‘Cthulhu Wars : Onslaught Two’,
‘Leonardo | The Game of Art and Death | Plague Edition’,
‘Braille RPG Dice from 64 Oz. Games’,
“Playing Nature’s Year”,
‘AQUELARRE \u2014 the dark & mature medieval RPG now in English’,
‘Nina and Pinta’,
‘CRIMSON CREEK’,
‘Pick the Lock’,
[…]
[…]
[…]
[…]
‘Universe Game’,
Du coup, ça veut dire que je vais pouvoir automatiser la récupération de données 
Et ça correspond bien : le site annonce 228 projets actifs et j’en ai le même nombre