Infos statut du forum (Partie 4)

C'est le but, quelqu'un sort une idée, l'autre l'améliore etc... Pour l'histoire des 3 secondes faudra faire des tests de requêtes. Si on peut grignoter quelques dizaines de ms... On gagnera des heures

Soundii a écrit:

*saute du pont car vient de perdre 20 minutes à taper et d'appuyer sur f5 par erreur*

Le nouveau site stocke lettre après lettre ce que tu tapes et s'en souvient quand tu reviens sur la page d'édition, mais bon il est pas fini.

Pour vos idées elles sont bonnes, je souhaite cependant me concentrer sur la base : un importateur one shot débile mais qui comprends nos pages web et se connecte en admin. Une fois que j'ai cela et que je me serai fait bannir une ip, on pourra penser à toutes les subtilités.

La lib http choisie sera pion, il y a déjà une pull-request de ma part pour ajouter la possibilité de trouver la dépendance durant notre build : https://github.com/splunk/pion/pull/75

Térence a écrit:

Bof, ca va vite : ia a peu pres 345 000 messages, avec 30 messages par page (mais on peut changer ca dans les préférences je crois), ca fait moins de 12000 pages. Comme elles sont pas toute remplies, on peut dire 20 000. Si on prend 5s pour parser une page, ca fait moins de 28h !
Par contre je vois pas l'intérêt de prendre une page au hasard, au contraire. Deja, vu que ca va relativement vite, un seul pc peut faire tout le boulot, mais si on veut absolument en prendre plusieurs, bah autant faire un petit programme qui attribue à chaque pc une page à lire, de façon à ce qu'on se tape pas deux fois la même. Prendre une page random qui n'a pas été utilisé, ca sera surement plus long, et pas vraiment mieux niveau logique je pense.

T'as oublié une décimale, sachant que l'objectif est de quoter chaque message afin de pouvoir récupérer le bbcode (et donc parser une nouvelle page pour chaque message), en tenant compte de la règle des 3s, y'en a pour plus de 280 h pour une seule IP

Effectivement, j'ai pas fait gaffe à ca, là ca risque d'être un peu plus long que prévu

Comme j'ai dit faut optimiser au max le temps entre les requêtes. Si ça se trouve on descend vers les 1 secondes ce qui est bien plus acceptable.

Y a rien a opti, forum actif bride les connections a 3 secondes sinon il te renvoie une erreur. Puis passer de 3 secondes a 1, ça change quasiment rien. De toute façon cela se fera juste avec le temps.

Si on a un bot fonctionnel qu'on utilise en parallèle ça posera pas de soucis.
Malheureusement ces prochains mois j'ai pas du tout de temps avec mon jeu, mais si j'arrive a en trouver un peu je tenterais de contribuer.
Dans tous les cas faire tourner un bot sur un ordi h24 ne sera pas un soucis.

Sinon c'est cool de voir qu'y a du mouvement tout de même :b

Et si vous passiez sur un système d'IP dynamique, avec un proxy ou quelque chose du style. l'ip est différente à chaque requête et il n'y a plus de problème de temps.

(Bon après c'est peut être idéologique ce que j'insinue, je m'y connais pas assez dans le domaine. Mais si aujourd'hui on arrive pas a retrouver l’hébergeur de t*11, c'est grâce a un système tel que celui la) !

PS : Dites, a discuter de ça va a l'encontre de forumactif, il pourrait se révolter et fermer le forum avant même de faire une sauvegarde. On se serait poser les bonnes questions pour rien sachant qu'on est parti du fait que l'on voudrait faire une copie au cas ou une discutions qui tourne mal arrive, comme c'est le cas ici si forumactif n'aime pas ca ?
Pour résumer : est-ce légal de copier le forum sachant que forumactif ne le veux pas ? Et sinon, est-ce si illégal au point de faire suppr/blocker le forum ?

Pour l'instant on a rien fait.

Puis je vois pas en quoi aspirer un forum serait illégal, d'autant plus que les données sont sensées nous appartenir

Je vais lire leur CGU

Soundii a écrit:

Je vais lire leur CGU

Ouais bah justement, j'ai rien vu de précis, à part ca, mais ils précisent pas que c'est illégal :

forumactif a écrit:

Ainsi une sauvegarde de l'ensemble des données est effectuée quotidiennement. Par contre aucune sauvegarde précise d'un forum, dump, backup des données ne sera fourni quelque soit la raison évoquée y compris pour les forums ayant fait une importation de leur base de donnée sur le service forumactif.com.

Pour autant, une fois que les données sont chez eux, c'est à eux qu'elles appartiennent :/ Des poursuites judiciaires je pense pas, mais effectivement, ils pourraient fermer le forum...

Ils disent qu'ils ne les fournissent pas, pas que tu ne peux pas le faire toi même.

Je ne pense pas qu'ils le feront, car des bots le font bien régulièrement sur plein de plateforme, stap di paranouïa.

Si ils doivent être logique, ils comprendront vite que fermer le forum car on déménage ne peut leur faire perdre que des clients potentiels et rien d'autre que ça, car on déménagera de toute manière.

Edit : Et comme le dit _oni, ils ne fournissent juste pas leur sauvegarde, ça sous-entend limite que si tu veux en faire une, fait la toi même.
Et il vaut mieux que ça soit ainsi, dans la notion de libre expression, de la sorte, personne ne peut s'approprier tout les dires de tout le monde d'un claquement de doigt, d'une demande.

Ouais mais bon, ils veulent pas que tu le fasse, vu qu'ils fournissent pas d'outil pour et qu'il y a cette histoire des 3s... Donc si il te ferme ton forum tu l'as dans le ***, si c'est écrit nul part noir sur blanc que t'as pas le droit, oui, t'aura raison, mais tu va aller leur faire un procès ?

Bon après j'y connais pas grand chose, si ca se trouve ils verront même pas qu'on fait une copie, donc ouais, virons pas dans la parano ^^

Les 3 sec, c'est surtout pour le flood et la bdd, histoire de pas avoir trop de frais de trafic.
C'est pareil sur pas mal de sites (pas forcément 3 sec par contre).

Tu vois écrit ou que les données leur appartiennent? Je vois que pour LEUR site.

Citation :

L'ensemble des éléments que vous voyez, que vous lisez sur le site est protégé par la législation sur le droit d'auteur. Vous ne pouvez en aucun cas utiliser, distribuer, copier, reproduire, modifier, dénaturer ou transmettre le site ou des éléments du site, tels que textes, images sans l'autorisation écrite et préalable de la société. Les marques et logos figurant sur le site, sont la propriété de la société ou font l'objet d'une autorisation d'utilisation. Aucun droit ou licence ne saurait être attribué sur l'un quelconque de ces éléments sans l'autorisation écrite de la société ou du tiers, détenteur des droits sur la marque ou logo figurant sur le site. La société se réserve le droit de poursuivre tout acte de contrefaçon de ses droits de propriété intellectuelle, y compris dans le cadre d'une action pénale.

De plus :

Citation :

Vous reconnaissez et convenez que toute information, codes, données, textes, logiciels, musiques, son, photographies, images, graphiques, vidéo, chat, messages, dossiers, ou d'autres contenus , si publiquement signalé ou en privé transmis, sont la responsabilité unique de la personne à l'origine du contenu. Ceci signifie que vous, et non forumactif.com, êtes entièrement responsable de tout le contenu que vous téléchargez, postez, envoyez par email ou transmettez autrement que par l'intermédiaire des services. Dans aucunes circonstances forumactif.com ne sera responsable de quelque façon et de n'importe quel contenu d'utilisateur ou d'un tiers, y compris, mais non limité, pour toutes les erreurs ou omissions dans un tel contenu, ou pour n'importe quels perte ou dommages de la sorte encourue en raison de l'utilisation d'un tel contenu signalé, envoyé par email ou tout autrement transmis par l'intermédiaire des services.

Bref si on en a la responsabilité c'est que ça nous appartient dans ce cas... non?

De plus je lis un truc bizarre :

Citation :

Ces informations peuvent être modifiées ou mises à jour sans préavis.

Citation :

Ces conditions générales peuvent être modifiées à tout moment, à la discrétion de forumactif.com. Tous les comptes devront être conformes à tous les changements faits à ces politiques, avec un préavis de 30 jours.

Ils étaient bourrés?

Bah ca parait logique, les données sont chez eux, c'est les leurs. En plus, on est sous https://cbna.forumactif.com/, c'est un sous domaine de forumactif, donc je sais pas si ils considèrent que ca fait partie du site (mais sans doute que non).
L'histoire de la responsabilité, que dalle... C'est comme google code, si tu mets des trucs racistes par exemple, c'est toi qui est responsable, par contre si t'invente un programme révolutionnaire, bah là ils te le piquent, et en toute légalité.

Nan mais ca c'est le genre de trucs qu'ils foutent partout, c'est vraiment pour se protéger en cas de gros problème... Et t'as pas vu la licence iTunes

@soundii : c'est monnaie courante qu'un règlement soit amené à changer. Même les lois de notre pays évoluent au fil du temps.

Térence a écrit:

Bah ca parait logique, les données sont chez eux, c'est les leurs.

Oui bah justement non, ils sont obligés de le préciser s'ils veulent que ce soit le cas.
Ce que font google pour google code, ou dropbox (sauf que cpas exactement pareil).

glcraft a écrit:

Et si vous passiez sur un système d'IP dynamique, avec un proxy ou quelque chose du style. l'ip est différente à chaque requête et il n'y a plus de problème de temps.

Techniquement trop complexe

Faut viser les topics récent, pas forcement besoin d'allez déterrer les vieux messages.

Après, même si personne n'a envie de le faire, ect... Sa m'étonnerait (beaucoup), qu'il n'y ai pas de recours judiciaire pour récupérer les données du forum. Déjà qu'il y a des lois (en France, je sais pas pour les canadiens qui peuplent ce forum), pour obtenir d'un site, les données que ce dernier à sur vous ET de pouvoir les supprimer, rien que ça, forumactif le fait pas vraiment (mais personne ne le fait me dira t'on).

Rem_101 a écrit:

@soundii : c'est monnaie courante qu'un règlement soit amené à changer. Même les lois de notre pays évoluent au fil du temps.

Non mais d'un côté ils disent qu'ils ne vont pas donner de préavis et juste après ils disent qu'ils en donnent, faut savoir o:
Mais si on crée le programme mais que ce n'est pas le staff du forum qui l'utilise y'a pas de risque à priori?

En gros, ils s’octroient le droit de modifier les conditions d'utilisation sans préavis (avec application instantanée des nouvelles cgu), et laisse 30 jours à leurs utilisateurs pour s'y plier.
C'est juste qu'ils parlent de deux choses distinctes dans leurs cgu.

J'avais effectivement déjà écrit un crawler, et j'avais dumpé la partie projet/membres et peut-être d'autres trucs (section script ?). Ça fait déjà un moment (la dernière réponse de daminetreg à ce propos date du 2 avril 2012).
À la base, c'était pour un mini-site un peu plus sympa pour la section projet. Et préparer la migration vers un éventuel nouveau site du CBNA.

Daminetreg m'avait ouvert un compte git, à l'époque, je maitrisais pas trop ce truc (je n'ai aucun souvenir de si j'ai importé quoi que ce soit sur la plateforme).

Mais.
Il y a deux semaines, j'ai ma machine du boulot qui a crashé. J'avais des tas de dumps, et j'ai profité du week-end pour restaurer les sauvegardes sur une nouvelle machine (c'est assez long et j'aurais pas pu bosser pendant ce temps là). Et par la même, j'ai fais un gros ménage. Et de fil en aiguille, j'en ai fais de même sur mes machines persos, et le crawler du CBNA a valsé, avec les données dumpés. J'ai retrouvé une vieille version sur un de mes pcs, avec ~500 projets dumpés. C'est assez marrant de revoir mes codes avant que je bosse professionnellement dans la programmation, je me rends compte que j'ai quand même fait un bond de géant au niveau code.

Bref.
Je peux reprendre le crawler. J'en ai pas pour longtemps (sauf mauvaise surprise), je peux proposer une première version d'ici ce soir ou demain soir, avec un jeu de données (par exemple, la section projet). Je donne un délai assez large parce que je profite du week-end pour passer du temps avec ma fille.
Pour l'histoire du temps mis, je n'ai pas souvenir de cette page blanche toute les 3 secondes, ou d'une limitation quelconque. Mais pour éviter de me faire bannir, j'avais mis un temps d'attente entre chaque requête. C'est assez flou dans ma mémoire.
Pour les questions de droits, je pense que le mieux pour une mise en ligne futur, c'est d'avoir l'accord de chaque membre pour la mise en ligne de ses messages sur une nouvelle plateforme. En s'inscrivant, je pense qu'on accorde à forumactif un droit sur nos messages, mais la propriété reste et restera toujours avant tout à son auteur. Ça peut paraitre titanesque de devoir demander à chaque membre son accord de partage de droits, mais je suis quasiment sûr que 90% des trucs intéressant sont trustés par 1 ou 2% des membres toujours plus ou moins actifs ou facilement joignable. Je pense qu'on peut se passer des centaines de projets quasiment vide ou dans un état larvaire. Ce n'est pas un jugement de valeur, si on peut joindre les auteurs même d'un truc sans interêt, c'est cool et on le sauvegarde, mais sinon, c'est pas grave, on fera sans.

Pour le crawler proprement dit, il parsera et sauvegardera le html brut message par message. Comment le traiter ou le transformer dans un autre format, c'est un truc à voir dans un second temps. Par contre, je vire le javascript, les balises "dangereuses" genre frame et ne conserve que le contenu. Je formate aussi le html en un truc valide, et ça peut transformer certains messages si le html de forumactif est une soupe de html dégueulasse.
J'utilise requests pour les requêtes http, et lxml pour le traitement des données html (parce que j'utilise xpath pour la recherche des messages et autres). C'est un ensemble éprouvé par mon boulot, où je crawl des centaines de Go chaque jour sur différents machins dans le monde (et où le html est souvent immonde).
Pour les dumps, c'est dans du sqlite3. Parce que le volume de données est petit (le CBNA avec un jeu réduit de sections, je pense que ça tient dans 1 ou 2 Go), parce que un copié-collé permet d'avoir une sauvegarde de la base et parce que sqlite3 est utilisable dans quasiment tous les langages et c'est pas compliqué à utiliser.

Je vous tient au courant.

Il faudrait déjà virer la moitié des sections Projets et Entraides, et trier Zut.
Mais la sauvegarde d'un forum, ça dure jusqu'à quand ?

Bah franchement je vois pas pourquoi faudrait choisir les topics à garder. Déjà je vois pas trop qui ici a le temps pour trier les topics, et selon quels critères ? Si on garde que les projets qui ont aboutis, bah ien aura moins d'une dizaine...
En plus le forum est quand même pas énorme, et ca doit pas peser des tonnes, donc autant tout copier.
Si on veut faire un vrai tri bah franchement autant rien importer et chacun recréé ses topics pour ses projets et tout...
C'est quand même con, le but d'un forum c'est de pouvoir trouver ce que tu cherche rapidement, donc forcément, faut qu'il y ai du contenu... Et meme si ia beaucoup de *****, je vois pas qui ca gène. Toutes nos discussions sont sérieuses, à part OMA, on est pas sur jv.com...

Du moment qu'on garde le topic du super MMORPG sur l'histoire et la préhistoire...(featuring des squelettes en plus je crois)

Je n'ai pas parlé de filtrer de manière pro-active plus haut.
Mais la question des droits se posent et il me semble logique de demander à chacun si il souhaite ou non voir ses messages diffusés ailleurs (sur un hypothétique nouveau forum).

J'ai un petit peu avancé hier soir, mais pas autant que je le voulais. J'ai dumpé les utilisateurs, les sections et j'ai bien attaqué les threads.
Au passage, c'est bien relou parce qu'il n'y a aucune notion de sémantique dans le html de forumactif, et j'ai aussi découvert que l'encodage était Windows-1252 \o/. Comme la console de ***** de windows.
Mais je pense que le code, surtout avec le CBNA, doit être bien legacy.

Aujourd'hui, j'ai pas eu le courage de coder, j'ai eu une journée bien chiante avec des tas de micros-problèmes à résoudre et aucune envie de coder en rentrant (j'ai essayé, mais j'arrivais à rien). Je continuerai demain.

Je continue à vous tenir au courant.
Et pour l'instant, mon IP est pas banni. Je n'utilise pas les threads, que du séquentiel, ceci dit.
Et j'ai pas eu les pages blanches.

oh mon dieu... j'espère que mes posts de l'époque n'ont pas été archivés...