Parlez de ce que vous voulez

DarkYoshi, j'ai MorphVox. Je connais.
Aller, tournez de céréale pour tout le monde

.....
J'ai commencé à parser le forum (petite pause de quelques jours sur mon projet en cours). J'adore la bouilli de HTML en une seule ligne et bourré de javascript en mode beurkcaca.
Je ne peux pas utiliser la méthode simple habituelle que j'utilise pour récupérer des informations de site web :/

Bon, à priori, pas dramatique (ça reste du html), mais ça surprend quand on ouvre une page téléchargé, par curiosité.

Mr_Twister > Les smileys c'est marrant, mais a ce stade ça s'appelle du flood.
La prochaine fois ça iras a la corbeille.

Sekigo Le Magnifique a écrit:

J'ai commencé à parser le forum (petite pause de quelques jours sur mon projet en cours). J'adore la bouilli de HTML en une seule ligne et bourré de javascript en mode beurkcaca.

Ça s'appelle des soi-disant professionnels qui ne savent pas coder, ou alors des accros au Brainfuck.

Ouais enfin leur code n'a surement rien avoir, la page est juste généré par le serveur.

Bien sur (enfin, j'espère sincèrement pour les mecs qui bossent pour forumactif) que c'est généré par leurs serveurs, et que le code de base doit être bien plus clean que cela.
Mais finalement, la situation n'est pas si catastrophique. Normalement, je parse le html comme je parse le xml. Bon, j'ai appris à me servir d'une autre bibliothèque, dédié au html, c'est déjà bien.

Et finalement, c'est bien moins compliqué que ce que je pensais :
La liste des 1351 threads ouvert dans la section projets
Évidemment, j'ai craché une page html automatique à l'arrache, j'ai rien casé dedans pour le moment, et j'ai juste dégagé les liens vers les trucs en post-it.
Et je préviens également les administrateurs et modérateurs que je ne DOS pas le forum, j'ai téléchargé les pages une fois (enfin, trois, j'avais loupé mon coup les deux premières tentatives), et basta, avec une pause ~3s entre chaque accès url. Comme un utilisateur normal pourrait faire.

Bon, j'ai codé comme un petit cochon précoce pour avoir ce résultat, il est temps de remettre tout cela au propre et de commencer à coder le tri de données.

A parler de projet à quant un Monkey Island fanlike???

Ouf, j'ai réussi à passer la première étape de mon mini-projet pour le CBNA, c'est à dire récupérer les informations du premier post de chaque thread de la section Projets.

Voilà ce que ça donne sur Nanoforce, le projet d'Alec (mes tests sont tombés sur sa page, j'ai fait ça aléatoirement pour tester le parsage d'une page).

Spoiler:

La prochaine étape, ça va être la sauvegarde dans une BDD sqlite3 de ces données bien ordonnées (en espérant que la phase finale à grande échelle pour tout les projets, qui risque d'être assez longue, ne rate pas) . Et ça me permettra de mettre en place un système pour chercher que les projets modifiés et les "nouveaux" projets.
La troisième étape, ça sera la transformation des données brutes en données réelles (extraction des screenshots, backup des projets exe, gmk, etc...).
Et la quatrième, c'est la réalisation du site web pour commencer à exploiter ces données, et virer les trucs inutiles.

Bon, j'ai quand même une petite appréhension concernant le "droit" de faire cela. D'un coté, tout ce qui est sur le forum est publique, et le site futur sera à destination des membres du CBNA, et ça a une utilité pour la "mémoire" de ce forum. D'un autre coté, j'ai l'impression de coder une ferme de contenu, et moralement, je me demande si c'est vraiment clean de faire ça.

Évidemment, si quelqu'un ne veut pas voir son projet dans cette BDD, qu'il me le dise, je peux blacklister les ids individuelles de chaque projet et ne rien télécharger les concernant.
Et si les modos ou les admins refusent que je fasse cela, j’arrêterais net, pas de problème.

peer to peer gaming

http://p2pfoundation.net/Introduction

http://www.google.fr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&cts=1331728272523&ved=0CDMQFjAB&url=http%3A%2F%2Fccr.sigcomm.org%2Fdrupal%2Ffiles%2Fp79-v37n1p-neumann.pdf&ei=iY9gT4T4FIm2hQeV_62nBw&usg=AFQjCNFD-xV00QrwTwC_Pixh0dvtCunIkw&sig2=iTvtM3O_wqlnJ0D0N_GlSA

@Sekigo:
L'idée est bonne est le geste honorable, mais comment tu va faire pour trier les projet finis et ceux qui ne le sont pas?
Parce-que bon mettre des projets au stade embryonnaire et qui ne seront jamais finit sur le sites ça n'a aucun intérêt.

Faudra que tu trie tout à la main, ou tu as déjà pensé à une méthode automatique?

Pour tout ce qui concerne les liens morts (téléchargement de projet) comment ça se passe vu qu’actuellement les projets sur le site sont hébergés sur le serveur du CBNA.
On donnera accèes à un formulaire d'envois de fichiers ou c'est les admins qui mettrons ça sur le serveur?

Bref je me pose des questions de comment pouvoir utiliser tes données.

Putain, j'avais écris un pavé, et je me suis gourré en appuyant sur F5. J'ai la flemme de tout réécrire.
En gros, il y a un mélange d'automatique (avec la présence de flag sur les sujets dits "à risque") et une validation manuelle, pour éviter les faux positifs.
Mais ça, ça viendra par la suite, et je donnerais des explications.

Pour le moment, je n'en suis pas à DL les fichiers de démos/screenshots. Et je n'ai rien à voir avec le staff du CBNA, donc, tes questions, je ne peux pas y répondre.

Pour le moment, je termine la procédure de sauvegarde des projets "bruts" dans la BDD (il me reste plus qu'à terminer les tests si présence ou non d'un projet dans cette BDD). Sûrement terminé ce soir, si j'ai un peu de temps.
Et ensuite, un embryon de site web, comme interface basique pour naviguer dans cette BDD. Cette partie, ça va aller vite, en une ou deux heures, donc, éventuellement un lien demain ou après-demain.

Citation :

Et je n'ai rien à voir avec le staff du CBNA

Bha en fait c'est sur ça que je me pose des questions.
Vue qu'on a aucune intervention publique du staff du CBNA je ne sais pas si tu fait tout ça pour rien, ce qui personnellement m’ennuierai pour toi.

En plus de savoir ce qu'en pense les admins, il faut voir ce que forumactif pense de repêchage de données, et les connaissant, ils ne doivent pas aimer ça, à voir.

Tant que la BDD ne se substitue pas complètement au forum, ça me va. Un outil permettant de trier les topics et d'en avoir un rapide aperçu sur une page ne faisant pas partie du forum pourrait être très utile, mais je préférerais que le gros du contenu, c'est à dire le texte des topics / screenshots / autres éléments qu'ils contiennent, reste sur le forum. Ou du moins que ta page rende obligatoire le passage sur le topic d'un projet pour pouvoir télécharger le projet en question.

Cassez vous de forumactif

Ça fait six ans qu'on y pense. :)

6 ans qu'on y pense, 6 ans qu'on l'a pas fait et 1 an qu'on aurait du le faire.

pourquoi ne pas heberger un phpbb sur lcbna.org/forum/ ?

Parce-qu'on perdrait le contenu du forum actuel sans pour autant gagner beaucoup plus de fonctionnalités que ce qu'offre Forumactif, et tout en sachant qu'il faudra de toute manière encore migrer vers le nouveau forum/site qui aura une structure bien différente.

Tant qu'à changer, autant ne le faire qu'une seule fois, et bien.

C'est pour cela que j'ai parlé plus haut de ne pas mettre les projets de plus de X mois. Parce que je ne souhaite absolument pas substituer quoi que ce soit au forum, bien au contraire. De plus, pas de commentaires, pas de notes (hormis marquer d'une étoile les sujets les plus avancées).

Après, j'avais surtout pensé pour l'après forumactif. Parce que Dam parlait de mettre en place un nouveau truc, en abandonnant le forum actuel. Du coup, ça aurait été dommage de laisser les données à l'abandon.

Et à vrai dire, une fois tout le système mis en place, je pensais aussi léguer les pouvoirs de ce dépot (BDD + site l'entourant) à l'administrateur du CBNA, qui en aurait fait ce qu'il souhaite pour la communauté.

Ce qui m'intéresse surtout, c'est le coté technique (et en le faisant, je ne perds rien car j'apprends deux-trois trucs) + apporter quelque chose (un outil) à la communauté ici.

Et pour conserver les données, mmmh. D'un coté, l'aspect "cliché à l'instant T" des projets me plait (avec un lien vers le thread du forum obligatoire, parce que je ne récupère pas automatiquement tout ce qui ne concerne pas le premier post de chaque thread pour éviter de le substituer au forum justement), surtout quand on pense à ce qui est arrivé à megaupload (qui a fait perdre pas mal de liens ici sur des vieux sujets).
D'un autre coté, c'est clairement problématique au niveau des droits pour les créateurs concernées.

Bon, je termine le système actuel et j'envois aux modos et admins un lien. Et on verra si on le rend publique ou non/ quoi conserver exactement/ tout arrêter.

Récupérer les projets, et scripts serais pas mal pour les migrer sur le nouveau forum (quant il arrivera), cependant ForumActif pourra porter plainte je pense.

plus vous attendez, plus ca va être ****** hein... pis de toute façon sur les 1500 projet, y'en a 50 qui rox.

je n `en suis pas si sur, bien que certain projet soit mauvais en tout point il ne faudrait pas que des perles tombent dans l`oublis

Caly a écrit:

Récupérer les projets, et scripts serais pas mal pour les migrer sur le nouveau forum (quant il arrivera), cependant ForumActif pourra porter plainte je pense.

ForumActif pourrait porter plainte pour deux choses :
1) DOSer leur serveur. Là, j'ai fixé un temps entre chaque DL de 3 secondes, et j'agis comme un visiteur "normal". Ce sont des requêtes tout à fait basique, et je ne récupère que le HTML. Et encore, je dégage tout les codes autre que du pur HTML, et je pense que je virerais tout ce qui est attribut de balise (je ne prend même pas le CSS). J'ai juste un div avec à l'intérieur du texte.
Ou alors, visiter un forum de forumactif serait illégal, étant donné que votre navigateur DOIT lire le HTML. Hors, ça ne l'est pas.
2) Récupérer du contenu qui est le leur. Hors, le texte ne leur appartient pas, il appartient uniquement à l'auteur, malgré ce qui est peut être écrit dans leur charte. On ne PEUT PAS s'approprier le contenu de quelqu'un en lui faisant signer un truc automatique. On peut l'héberger, on peut le conserver, mais on ne peut pas le détenir. Et donc, on ne peut pas attaquer pour raisons de violations de droits d'auteurs par exemple.
Par exemple, avec l'exemple de Nanoforce plus haut, le seul qui peut porter plainte pour le contenu, c'est Alec. Pas forumactif, rien ne leur appartient là dedans.

En gros, voyez les scripts comme quelqu'un qui visite la page, qui ouvre les sources, et qui prélève le contenu écrit par les personnes inscrites.
(edit: d'ailleurs, faut que j'envoie un mp à Alec que mes tests portent sur son thread)

c'est incroyable de prendre autant de gants pour de simples échanges entre individus sur d'éventuelles projets qui pourrait devenir ...en plus avec game maker comme support..vraiment... c'est un peu gros non?
ici c'est le cagibi de la nasa , pas la nasa,faudrait quand même pas exagérer et laisser un peu de
liberté à ceux qui essais de sauvegarder un semblant de communauté autour d'un logiciel que seul les nouveaux utilisent!

Hallo

Oui et non Marty, si quelqu'un décide de porter plainte il est sur de gagner, c'est pas parce qu’on discute sur le forum qu'on est forcement honnête.
Enfin moi je suis du genre à me méfier de tout le monde et je ne pense pas me tromper en disant que Sekigo est de la même trempe.

Bah je vois mal ici quelqu'un faire ça.

no prob' sekigo !

sais pas, moi je prend plutot le projet de sekigo pour un bien puisqu il offre un peu de visibilité a tous