AccueilAccueil  FAQFAQ  RechercherRechercher  Dernières imagesDernières images  S'enregistrerS'enregistrer  Connexion  

 

 Infos statut du forum (Partie 4)

Aller en bas 
+48
Caly
Voxy
chopsuey
gateau
Pixel-boy
robinlife
master47
Qual
shadow_the_killer
arthuro
-Coco-
D-z
Craki
marty
ombre
GDOR1
daminetreg
DeinDall
supmaster004
Sekigo Le Magnifique
Arkanisa
zebdal
[TheDarkTiger]
Dan_lizhot
Chulien
Ablationer
Kevin
Oculus
zerfes
morgan
Chlorodatafile
Super-Mouton
M@d_Doc
Maniac206
Topaze22
glcraft
Randal
Mass
Rem_101
bibi675
Wargamer
PsycKho
Linky439
red-error
nicoulas
onilink_
PHENIXprod
Bast
52 participants
Aller à la page : Précédent  1 ... 11 ... 19, 20, 21, 22, 23  Suivant
AuteurMessage
[TheDarkTiger]
Modérateur
[TheDarkTiger]


Messages : 7420
Localisation : Essonne

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMar 28 Oct 2014 - 0:34

gnii heheh

Haaa... L'histoire...
Des fois ça picote hein ?

Heu... attends, les miens aussi alors ?

Ghu zip

_________________
Bonne chance pour vos projets actuels ! Prêt à aider ceux qui en ont besoin ^^
Infos statut du forum (Partie 4) - Page 20 U3dfr2 l'antique http://www.membres.lycos.fr/thedarkminousite/Infos statut du forum (Partie 4) - Page 20 Sign
Bienvenue au 2628eme utilisateur : *Yashiro89 !
Revenir en haut Aller en bas
http://www.tdms.fr
daminetreg
Administrateur
daminetreg


Messages : 16998
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMar 28 Oct 2014 - 23:13

Sekigo Le Magnifique a écrit:
J'avais effectivement déjà écrit un crawler, et j'avais dumpé la partie projet/membres et peut-être d'autres trucs (section script ?). Ça fait déjà un moment (la dernière réponse de daminetreg à ce propos date du 2 avril 2012).
À la base, c'était pour un mini-site un peu plus sympa pour la section projet. Et préparer la migration vers un éventuel nouveau site du CBNA.

Daminetreg m'avait ouvert un compte git, à l'époque, je maitrisais pas trop ce truc (je n'ai aucun souvenir de si j'ai importé quoi que ce soit sur la plateforme).

Mais.
Il y a deux semaines, j'ai ma machine du boulot qui a crashé. J'avais des tas de dumps, et j'ai profité du week-end pour restaurer les sauvegardes sur une nouvelle machine (c'est assez long et j'aurais pas pu bosser pendant ce temps là). Et par la même, j'ai fais un gros ménage. Et de fil en aiguille, j'en ai fais de même sur mes machines persos, et le crawler du CBNA a valsé, avec les données dumpés. J'ai retrouvé une vieille version sur un de mes pcs, avec ~500 projets dumpés. C'est assez marrant de revoir mes codes avant que je bosse professionnellement dans la programmation, je me rends compte que j'ai quand même fait un bond de géant au niveau code.

Bref.
Je peux reprendre le crawler. J'en ai pas pour longtemps (sauf mauvaise surprise), je peux proposer une première version d'ici ce soir ou demain soir, avec un jeu de données (par exemple, la section projet). Je donne un délai assez large parce que je profite du week-end pour passer du temps avec ma fille.
Pour l'histoire du temps mis, je n'ai pas souvenir de cette page blanche toute les 3 secondes, ou d'une limitation quelconque. Mais pour éviter de me faire bannir, j'avais mis un temps d'attente entre chaque requête. C'est assez flou dans ma mémoire.
Pour les questions de droits, je pense que le mieux pour une mise en ligne futur, c'est d'avoir l'accord de chaque membre pour la mise en ligne de ses messages sur une nouvelle plateforme. En s'inscrivant, je pense qu'on accorde à forumactif un droit sur nos messages, mais la propriété reste et restera toujours avant tout à son auteur. Ça peut paraitre titanesque de devoir demander à chaque membre son accord de partage de droits, mais je suis quasiment sûr que 90% des trucs intéressant sont trustés par 1 ou 2% des membres toujours plus ou moins actifs ou facilement joignable. Je pense qu'on peut se passer des centaines de projets quasiment vide ou dans un état larvaire. Ce n'est pas un jugement de valeur, si on peut joindre les auteurs même d'un truc sans interêt, c'est cool et on le sauvegarde, mais sinon, c'est pas grave, on fera sans.

Pour le crawler proprement dit, il parsera et sauvegardera le html brut message par message. Comment le traiter ou le transformer dans un autre format, c'est un truc à voir dans un second temps. Par contre, je vire le javascript, les balises "dangereuses" genre frame et ne conserve que le contenu. Je formate aussi le html en un truc valide, et ça peut transformer certains messages si le html de forumactif est une soupe de html dégueulasse.
J'utilise requests pour les requêtes http, et lxml pour le traitement des données html (parce que j'utilise xpath pour la recherche des messages et autres). C'est un ensemble éprouvé par mon boulot, où je crawl des centaines de Go chaque jour sur différents machins dans le monde (et où le html est souvent immonde).
Pour les dumps, c'est dans du sqlite3. Parce que le volume de données est petit (le CBNA avec un jeu réduit de sections, je pense que ça tient dans 1 ou 2 Go), parce que un copié-collé permet d'avoir une sauvegarde de la base et parce que sqlite3 est utilisable dans quasiment tous les langages et c'est pas compliqué à utiliser.

Je vous tient au courant.

Je l'ai encore sur le git si tu veux, j'ai juste changé de gitorious à gitlab, donc il faut juste que je te recrée un compte.

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 20 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
Ablationer
Administrateur
Ablationer


Messages : 14995
Localisation : QuébeCanada
Projet Actuel : pas trop mourir

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyVen 31 Oct 2014 - 15:20

Hohoho logo d'Halloween

_________________
Yo this is stven, White race. The hs diploma i'm holding in this pic is usually there, my principal put it there in 2008. I'm easily startled by coarse fabrics. only one who stayed in the Burger King Kid's Club after they started charging dues. It's called having a fkng job. All clothes found on google except this crown which doesn't say who designed it
Infos statut du forum (Partie 4) - Page 20 AQwrp6X
Revenir en haut Aller en bas
http://www.lecbna.org/
Mass
*Excellent utilisateur*
Mass


Messages : 3351
Localisation : Dans une canonnière wookie.
Projet Actuel : Monter des trucs et des machins

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyVen 31 Oct 2014 - 22:23

C'est hallowhine ! C'est pour quand le nouveau site ? Yum!

_________________
Revenir en haut Aller en bas
http://madmass.mype.fr/CBNA/
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptySam 1 Nov 2014 - 7:55

L'année prochaine rire2

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
Mobi
Utilisateur confirmé: Rang ****
Mobi


Messages : 1256
Localisation : Dijon

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptySam 1 Nov 2014 - 12:59


_________________
Infos statut du forum (Partie 4) - Page 20 Penguin
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyDim 9 Nov 2014 - 19:44

Pour noël je veux un screenshot du nouveau forum crossa

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
Mobi
Utilisateur confirmé: Rang ****
Mobi


Messages : 1256
Localisation : Dijon

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyDim 9 Nov 2014 - 20:18

On attend déjà nos t-shirt du concours...

_________________
Infos statut du forum (Partie 4) - Page 20 Penguin
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyDim 21 Déc 2014 - 20:54

Qu'est-ce qu'il a posté, leonard22, pour être banni le jour de son inscription ??? gha (sans vouloir être indiscret)

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
glcraft
Utilisateur confirmé: Rang *****
glcraft


Messages : 1698
Localisation : Entre l'Espagne, l'Italie, la Suisse, L'allemagne et le RU :P
Projet Actuel : Jeu de survie avancé
||--------

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyLun 22 Déc 2014 - 0:44

c'est pas une mauvaise question ca Oo

Ca pourrait etre du multicompte ou un message qui montre le traffic effectué sur le CBNA, qui sait awesome
Revenir en haut Aller en bas
http://gameblog49.skyblog.com/
Invité
Invité




Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyLun 22 Déc 2014 - 0:54

Il a sûrement insulté un membre du parti programmiste de la république populaire démocratique du CBNA
Revenir en haut Aller en bas
Chlorodatafile
Utilisateur confirmé: Rang *****
Chlorodatafile


Messages : 2929
Localisation : Belfort
Projet Actuel :
Paralights

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyLun 22 Déc 2014 - 9:29

Il faisait de la pub pour un truc illégale en capslock, j'ai eu le temps de voir le post, en lus ça sentait l'arnaque à plein nez !
Revenir en haut Aller en bas
http://chlorodatafile.tumblr.com/
Linky439
Utilisateur confirmé: Rang *****
Linky439


Messages : 2643
Localisation : Sur le forum du CBNA...ou pas
Projet Actuel : La Galaxie Scellée

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyLun 22 Déc 2014 - 10:15

sachem a écrit:
Il a sûrement insulté un membre du parti programmiste de la république populaire démocratique du CBNA

Faut dire qu'on rigole pas avec ces choses là crossa

_________________
Cliquez pour accéder aux topics dédiés !
Infos statut du forum (Partie 4) - Page 20 I4AWwEs    Infos statut du forum (Partie 4) - Page 20 CaVn0FN
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMar 23 Déc 2014 - 11:34

Des nouvelles du nouveau CBNA :
Comme le montrent ces images, nos admins sont en pleine finition des nouveaux site et forum jusqu'à engager des remplaçants pour les conversations qui font perdre du temps.
Infos statut du forum (Partie 4) - Page 20 Lyger_10
Voici une discussion endiablée entre les remplaçants sur l'IRC du CBNA. On peut remarquer un léger bug.
On peut aussi noter qu'ils tiennent secrets les avancements du nouveau CBNA car la concurrence est rude. En effet certains CBNAteurs cherchent à avoir en leur possession le nouveau forum, pour par exemple étendre l'empire d'OMA jusqu'à des confins inconnus du commun des mortels jusqu'alors.
Les recherches d'informations sont subtiles et sournoises sur notre irc :
Infos statut du forum (Partie 4) - Page 20 Lyger_11
Ici les demandes sont sans réponses, le secret est gardé jusqu'au bout, et les remplaçants des admins tiennent bon.
Ne vous inquiétez pas, le nouveau CBNA arrivera bel et bien un jour !

Seulement, on ne sait pas quand...

Merci de votre attention et bon appétit.
(remarque je m'amuse bien sur l'IRC, quand il y a personne on peut créer de jolies boucles infinies depuis que je sais programmer des bots)

Edit: c'est pas du flood, c'est du comique de répétition !

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
Bast
Administrateur
Bast


Messages : 20019
Localisation : Alsace

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMer 24 Déc 2014 - 1:45

C'est mot pour mot les discussions de la section modérateurs!

HyperMario a écrit:
Qu'est-ce qu'il a posté, leonard22, pour être banni le jour de son inscription ??? gha (sans vouloir être indiscret)

Commerce de faux papiers.

_________________
Infos statut du forum (Partie 4) - Page 20 Sigico10
Revenir en haut Aller en bas
http://www.lecbna.org/
Térence
Utilisateur confirmé: Rang *****
Térence


Messages : 2213
Localisation : Oui

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMer 24 Déc 2014 - 8:29

Bast a écrit:
Commerce de faux papiers.
Ahah Razz
La prochaine fois que je serais en cavale je saurais vers qui me tourner Razz

_________________
Je suis partie sur les ailes du vent et la tempête m'a ramenée.
Revenir en haut Aller en bas
onilink_
Modérateur
onilink_


Messages : 9178
Localisation : Montpellier
Projet Actuel : Planet Centauri
OniDev

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMer 24 Déc 2014 - 11:46

Nice l'avatar Bast Very Happy

_________________
Infos statut du forum (Partie 4) - Page 20 Runningpotato1Infos statut du forum (Partie 4) - Page 20 TvF6GED Infos statut du forum (Partie 4) - Page 20 MdetltS
Revenir en haut Aller en bas
Linky439
Utilisateur confirmé: Rang *****
Linky439


Messages : 2643
Localisation : Sur le forum du CBNA...ou pas
Projet Actuel : La Galaxie Scellée

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMer 24 Déc 2014 - 12:36

Bast : 10 posts par an, mais un ****** d'avatar de noel. La classe cool

_________________
Cliquez pour accéder aux topics dédiés !
Infos statut du forum (Partie 4) - Page 20 I4AWwEs    Infos statut du forum (Partie 4) - Page 20 CaVn0FN
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMer 24 Déc 2014 - 12:40

C'est que étant le plus grand posteur du forum ça risque de craquer à 20000, c'est pour ça qu'il tend vers là sans jamais l'atteindre.
Sinon, j'aime bien l'avatar aussi happy1

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
Linky439
Utilisateur confirmé: Rang *****
Linky439


Messages : 2643
Localisation : Sur le forum du CBNA...ou pas
Projet Actuel : La Galaxie Scellée

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMer 24 Déc 2014 - 12:51

C'est lui le plus grand posteur ? Ya pas eu de maitre floodeur qui serait devant ?

_________________
Cliquez pour accéder aux topics dédiés !
Infos statut du forum (Partie 4) - Page 20 I4AWwEs    Infos statut du forum (Partie 4) - Page 20 CaVn0FN
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyMer 24 Déc 2014 - 13:26

Non, ou alors pour garder sa place Bast a supprimmé des milliers de posts de flood.

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
Mobi
Utilisateur confirmé: Rang ****
Mobi


Messages : 1256
Localisation : Dijon

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyJeu 25 Déc 2014 - 12:23

C'est Abla le maître floodeur

_________________
Infos statut du forum (Partie 4) - Page 20 Penguin
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyJeu 1 Jan 2015 - 20:04

Le forum-importer s'est inscrit, le CBNA restera donc à jamais gravé quelque part !
[passérieux]Ouééé maintenant on peut faire planter ce forum pour provoquer la sortie du nouveau ![/passérieux]

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
Invité
Invité




Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyJeu 1 Jan 2015 - 20:39

Mobi a écrit:
C'est Abla le maître floodeur
nope, le truc c'est qu'il avait une section entière dédié à ses projets comme SBA2 (qui était vraiment génial) et c'est là bas qui l'a posté la plupart de ses messages.
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyJeu 1 Jan 2015 - 20:41

Et toi sachem, comment as-tu réussi à devenir celui qui commence le plus de sujets et le plus grand posteur ni admin ni modo ?

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
Invité
Invité




Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyJeu 1 Jan 2015 - 21:15

De la même manière que toi, en parlant sans rien dire. happy1
Revenir en haut Aller en bas
hyper
Utilisateur confirmé: Rang ****



Messages : 1455

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyJeu 1 Jan 2015 - 22:02

Bah j'essaye de réanimer le forum, mais ça a pas l'air gagné... Oups!

_________________
côt.
Revenir en haut Aller en bas
https://cagibi.itch.io/
glcraft
Utilisateur confirmé: Rang *****
glcraft


Messages : 1698
Localisation : Entre l'Espagne, l'Italie, la Suisse, L'allemagne et le RU :P
Projet Actuel : Jeu de survie avancé
||--------

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyJeu 1 Jan 2015 - 23:07

sachem a écrit:
De la même manière que toi, en parlant sans rien dire. happy1
En effet.
Revenir en haut Aller en bas
http://gameblog49.skyblog.com/
daminetreg
Administrateur
daminetreg


Messages : 16998
Localisation : Siege du CBNA!
Projet Actuel : Site Web du CBNA, version beta :

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyVen 2 Jan 2015 - 11:28

HyperMario a écrit:
Le forum-importer s'est inscrit, le CBNA restera donc à jamais gravé quelque part !
[passérieux]Ouééé maintenant on peut faire planter ce forum pour provoquer la sortie du nouveau ![/passérieux]
Pour l'instant on essaie de graver, dès qu'il sera en état de marche je donnerai accès à une page de statut d'état de la synchronisation.

_________________
Mon CV : fr - de - en
Le CBNA Tous Ensemble! Réalisons!
Infos statut du forum (Partie 4) - Page 20 U3dfr2
Revenir en haut Aller en bas
http://lecbna.org/
Linky439
Utilisateur confirmé: Rang *****
Linky439


Messages : 2643
Localisation : Sur le forum du CBNA...ou pas
Projet Actuel : La Galaxie Scellée

Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 EmptyVen 2 Jan 2015 - 13:10

SBA2 avait l'air méga cool ouais.

Quand à sachem, il convient de noter qu'il s'est bien assagi depuis son inscription Smile

_________________
Cliquez pour accéder aux topics dédiés !
Infos statut du forum (Partie 4) - Page 20 I4AWwEs    Infos statut du forum (Partie 4) - Page 20 CaVn0FN
Revenir en haut Aller en bas
Contenu sponsorisé





Infos statut du forum (Partie 4) - Page 20 Empty
MessageSujet: Re: Infos statut du forum (Partie 4)   Infos statut du forum (Partie 4) - Page 20 Empty

Revenir en haut Aller en bas
 
Infos statut du forum (Partie 4)
Revenir en haut 
Page 20 sur 23Aller à la page : Précédent  1 ... 11 ... 19, 20, 21, 22, 23  Suivant
 Sujets similaires
-
» Infos statut du forum (Partie 3)
» Infos statut du Forum... (Partie 2)
» Infos statut du forum (Partie 1)
» Infos statut du site (Partie 3)
» Infos Statut du Site... (Partie 2)

Permission de ce forum:Vous ne pouvez pas répondre aux sujets dans ce forum
Forum Le CBNA :: Informations :: Le CBNA-
Sauter vers: