Messages : 16998 Localisation : Siege du CBNA! Projet Actuel : Site Web du CBNA, version beta :
Sujet: Re: Infos statut du forum (Partie 4) Mar 28 Oct 2014 - 23:13
Sekigo Le Magnifique a écrit:
J'avais effectivement déjà écrit un crawler, et j'avais dumpé la partie projet/membres et peut-être d'autres trucs (section script ?). Ça fait déjà un moment (la dernière réponse de daminetreg à ce propos date du 2 avril 2012). À la base, c'était pour un mini-site un peu plus sympa pour la section projet. Et préparer la migration vers un éventuel nouveau site du CBNA.
Daminetreg m'avait ouvert un compte git, à l'époque, je maitrisais pas trop ce truc (je n'ai aucun souvenir de si j'ai importé quoi que ce soit sur la plateforme).
Mais. Il y a deux semaines, j'ai ma machine du boulot qui a crashé. J'avais des tas de dumps, et j'ai profité du week-end pour restaurer les sauvegardes sur une nouvelle machine (c'est assez long et j'aurais pas pu bosser pendant ce temps là). Et par la même, j'ai fais un gros ménage. Et de fil en aiguille, j'en ai fais de même sur mes machines persos, et le crawler du CBNA a valsé, avec les données dumpés. J'ai retrouvé une vieille version sur un de mes pcs, avec ~500 projets dumpés. C'est assez marrant de revoir mes codes avant que je bosse professionnellement dans la programmation, je me rends compte que j'ai quand même fait un bond de géant au niveau code.
Bref. Je peux reprendre le crawler. J'en ai pas pour longtemps (sauf mauvaise surprise), je peux proposer une première version d'ici ce soir ou demain soir, avec un jeu de données (par exemple, la section projet). Je donne un délai assez large parce que je profite du week-end pour passer du temps avec ma fille. Pour l'histoire du temps mis, je n'ai pas souvenir de cette page blanche toute les 3 secondes, ou d'une limitation quelconque. Mais pour éviter de me faire bannir, j'avais mis un temps d'attente entre chaque requête. C'est assez flou dans ma mémoire. Pour les questions de droits, je pense que le mieux pour une mise en ligne futur, c'est d'avoir l'accord de chaque membre pour la mise en ligne de ses messages sur une nouvelle plateforme. En s'inscrivant, je pense qu'on accorde à forumactif un droit sur nos messages, mais la propriété reste et restera toujours avant tout à son auteur. Ça peut paraitre titanesque de devoir demander à chaque membre son accord de partage de droits, mais je suis quasiment sûr que 90% des trucs intéressant sont trustés par 1 ou 2% des membres toujours plus ou moins actifs ou facilement joignable. Je pense qu'on peut se passer des centaines de projets quasiment vide ou dans un état larvaire. Ce n'est pas un jugement de valeur, si on peut joindre les auteurs même d'un truc sans interêt, c'est cool et on le sauvegarde, mais sinon, c'est pas grave, on fera sans.
Pour le crawler proprement dit, il parsera et sauvegardera le html brut message par message. Comment le traiter ou le transformer dans un autre format, c'est un truc à voir dans un second temps. Par contre, je vire le javascript, les balises "dangereuses" genre frame et ne conserve que le contenu. Je formate aussi le html en un truc valide, et ça peut transformer certains messages si le html de forumactif est une soupe de html dégueulasse. J'utilise requests pour les requêtes http, et lxml pour le traitement des données html (parce que j'utilise xpath pour la recherche des messages et autres). C'est un ensemble éprouvé par mon boulot, où je crawl des centaines de Go chaque jour sur différents machins dans le monde (et où le html est souvent immonde). Pour les dumps, c'est dans du sqlite3. Parce que le volume de données est petit (le CBNA avec un jeu réduit de sections, je pense que ça tient dans 1 ou 2 Go), parce que un copié-collé permet d'avoir une sauvegarde de la base et parce que sqlite3 est utilisable dans quasiment tous les langages et c'est pas compliqué à utiliser.
Je vous tient au courant.
Je l'ai encore sur le git si tu veux, j'ai juste changé de gitorious à gitlab, donc il faut juste que je te recrée un compte.
_________________ Mon CV : fr - de - en Tous Ensemble! Réalisons!
Ablationer Administrateur
Messages : 14995 Localisation : QuébeCanada Projet Actuel : pas trop mourir
Sujet: Re: Infos statut du forum (Partie 4) Ven 31 Oct 2014 - 15:20
Hohoho logo d'Halloween
_________________ Yo this is stven, White race. The hs diploma i'm holding in this pic is usually there, my principal put it there in 2008. I'm easily startled by coarse fabrics. only one who stayed in the Burger King Kid's Club after they started charging dues. It's called having a fkng job. All clothes found on google except this crown which doesn't say who designed it
Mass *Excellent utilisateur*
Messages : 3351 Localisation : Dans une canonnière wookie. Projet Actuel : Monter des trucs et des machins
Sujet: Re: Infos statut du forum (Partie 4) Ven 31 Oct 2014 - 22:23
C'est hallowhine ! C'est pour quand le nouveau site ?
Messages : 2643 Localisation : Sur le forum du CBNA...ou pas Projet Actuel : La Galaxie Scellée
Sujet: Re: Infos statut du forum (Partie 4) Lun 22 Déc 2014 - 10:15
sachem a écrit:
Il a sûrement insulté un membre du parti programmiste de la république populaire démocratique du CBNA
Faut dire qu'on rigole pas avec ces choses là
_________________ Cliquez pour accéder aux topics dédiés !
hyper Utilisateur confirmé: Rang ****
Messages : 1455
Sujet: Re: Infos statut du forum (Partie 4) Mar 23 Déc 2014 - 11:34
Des nouvelles du nouveau CBNA : Comme le montrent ces images, nos admins sont en pleine finition des nouveaux site et forum jusqu'à engager des remplaçants pour les conversations qui font perdre du temps. Voici une discussion endiablée entre les remplaçants sur l'IRC du CBNA. On peut remarquer un léger bug. On peut aussi noter qu'ils tiennent secrets les avancements du nouveau CBNA car la concurrence est rude. En effet certains CBNAteurs cherchent à avoir en leur possession le nouveau forum, pour par exemple étendre l'empire d'OMA jusqu'à des confins inconnus du commun des mortels jusqu'alors. Les recherches d'informations sont subtiles et sournoises sur notre irc : Ici les demandes sont sans réponses, le secret est gardé jusqu'au bout, et les remplaçants des admins tiennent bon. Ne vous inquiétez pas, le nouveau CBNA arrivera bel et bien un jour !
Seulement, on ne sait pas quand...
Merci de votre attention et bon appétit. (remarque je m'amuse bien sur l'IRC, quand il y a personne on peut créer de jolies boucles infinies depuis que je sais programmer des bots)
Edit: c'est pas du flood, c'est du comique de répétition !
_________________ côt.
Bast Administrateur
Messages : 20019 Localisation : Alsace
Sujet: Re: Infos statut du forum (Partie 4) Mer 24 Déc 2014 - 1:45
C'est mot pour mot les discussions de la section modérateurs!
HyperMario a écrit:
Qu'est-ce qu'il a posté, leonard22, pour être banni le jour de son inscription ??? (sans vouloir être indiscret)
Commerce de faux papiers.
_________________
Térence Utilisateur confirmé: Rang *****
Messages : 2213 Localisation : Oui
Sujet: Re: Infos statut du forum (Partie 4) Mer 24 Déc 2014 - 8:29
Bast a écrit:
Commerce de faux papiers.
Ahah La prochaine fois que je serais en cavale je saurais vers qui me tourner
_________________ Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Sujet: Re: Infos statut du forum (Partie 4) Mer 24 Déc 2014 - 11:46
Nice l'avatar Bast
_________________
Linky439 Utilisateur confirmé: Rang *****
Messages : 2643 Localisation : Sur le forum du CBNA...ou pas Projet Actuel : La Galaxie Scellée
Sujet: Re: Infos statut du forum (Partie 4) Mer 24 Déc 2014 - 12:36
Bast : 10 posts par an, mais un ****** d'avatar de noel. La classe
_________________ Cliquez pour accéder aux topics dédiés !
hyper Utilisateur confirmé: Rang ****
Messages : 1455
Sujet: Re: Infos statut du forum (Partie 4) Mer 24 Déc 2014 - 12:40
C'est que étant le plus grand posteur du forum ça risque de craquer à 20000, c'est pour ça qu'il tend vers là sans jamais l'atteindre. Sinon, j'aime bien l'avatar aussi
_________________ côt.
Linky439 Utilisateur confirmé: Rang *****
Messages : 2643 Localisation : Sur le forum du CBNA...ou pas Projet Actuel : La Galaxie Scellée
Sujet: Re: Infos statut du forum (Partie 4) Mer 24 Déc 2014 - 12:51
C'est lui le plus grand posteur ? Ya pas eu de maitre floodeur qui serait devant ?
_________________ Cliquez pour accéder aux topics dédiés !
hyper Utilisateur confirmé: Rang ****
Messages : 1455
Sujet: Re: Infos statut du forum (Partie 4) Mer 24 Déc 2014 - 13:26
Non, ou alors pour garder sa place Bast a supprimmé des milliers de posts de flood.
_________________ côt.
Mobi Utilisateur confirmé: Rang ****
Messages : 1256 Localisation : Dijon
Sujet: Re: Infos statut du forum (Partie 4) Jeu 25 Déc 2014 - 12:23
C'est Abla le maître floodeur
_________________
hyper Utilisateur confirmé: Rang ****
Messages : 1455
Sujet: Re: Infos statut du forum (Partie 4) Jeu 1 Jan 2015 - 20:04
Le forum-importer s'est inscrit, le CBNA restera donc à jamais gravé quelque part ! [passérieux]Ouééé maintenant on peut faire planter ce forum pour provoquer la sortie du nouveau ![/passérieux]
_________________ côt.
Invité Invité
Sujet: Re: Infos statut du forum (Partie 4) Jeu 1 Jan 2015 - 20:39
Mobi a écrit:
C'est Abla le maître floodeur
nope, le truc c'est qu'il avait une section entière dédié à ses projets comme SBA2 (qui était vraiment génial) et c'est là bas qui l'a posté la plupart de ses messages.
hyper Utilisateur confirmé: Rang ****
Messages : 1455
Sujet: Re: Infos statut du forum (Partie 4) Jeu 1 Jan 2015 - 20:41
Et toi sachem, comment as-tu réussi à devenir celui qui commence le plus de sujets et le plus grand posteur ni admin ni modo ?
_________________ côt.
Invité Invité
Sujet: Re: Infos statut du forum (Partie 4) Jeu 1 Jan 2015 - 21:15
De la même manière que toi, en parlant sans rien dire.
hyper Utilisateur confirmé: Rang ****
Messages : 1455
Sujet: Re: Infos statut du forum (Partie 4) Jeu 1 Jan 2015 - 22:02
Bah j'essaye de réanimer le forum, mais ça a pas l'air gagné...
_________________ côt.
glcraft Utilisateur confirmé: Rang *****
Messages : 1698 Localisation : Entre l'Espagne, l'Italie, la Suisse, L'allemagne et le RU :P Projet Actuel : Jeu de survie avancé
||--------
Sujet: Re: Infos statut du forum (Partie 4) Jeu 1 Jan 2015 - 23:07
sachem a écrit:
De la même manière que toi, en parlant sans rien dire.
Messages : 16998 Localisation : Siege du CBNA! Projet Actuel : Site Web du CBNA, version beta :
Sujet: Re: Infos statut du forum (Partie 4) Ven 2 Jan 2015 - 11:28
HyperMario a écrit:
Le forum-importer s'est inscrit, le CBNA restera donc à jamais gravé quelque part ! [passérieux]Ouééé maintenant on peut faire planter ce forum pour provoquer la sortie du nouveau ![/passérieux]
Pour l'instant on essaie de graver, dès qu'il sera en état de marche je donnerai accès à une page de statut d'état de la synchronisation.
_________________ Mon CV : fr - de - en Tous Ensemble! Réalisons!
Linky439 Utilisateur confirmé: Rang *****
Messages : 2643 Localisation : Sur le forum du CBNA...ou pas Projet Actuel : La Galaxie Scellée
Sujet: Re: Infos statut du forum (Partie 4) Ven 2 Jan 2015 - 13:10
SBA2 avait l'air méga cool ouais.
Quand à sachem, il convient de noter qu'il s'est bien assagi depuis son inscription
_________________ Cliquez pour accéder aux topics dédiés !