You can click on the Google or Yahoo buttons to sign-in with these identity providers,
or you just type your identity uri and click on the little login button.
Ce matin, j'ai assisté aux Rencontres INRIA Industries qui portaient sur le thème "Modélisation, simulation et calcul intensif".
Y était notamment présenté l'initiative HPC-PME dont l'objet est de faciliter l'accès des PME au calcul hautes performances.
Cette conférence a été pour moi l'occasion de formaliser mes réflexions sur les PME et leur recours à la simulation numérique.
L'initiative HPC-PME est portée par l'INRIA, le GENCI et OSEO. Elle se propose d'accompagner des PME afin de leur montrer
en quoi le calcul hautes performances peut leur être utile pour innover, gagner en compétitivité, et finalement identifier
des leviers de croissance. Elle décline ses actions selon quatre axes :
la formation et le partage de bonnes pratiques,
l'accès à des ressources de calcul pour montrer l'utilité du calcul hautes performances,
le soutien d'experts issus de la recherche publique, qui vont transférer leurs compétences en calcul hautes performances,
l'intégration dans des dispositifs de financement de l'innovation.
L'accompagnement classique d'une PME consiste à identifier avec elle quels sont les points sur lesquels la simulation numérique
peut lui apporter quelque chose, à dimensionner les besoins en calcul nécessaires à ces simulations, à l'aider à porter ses codes
de simulation vers des machines de calcul hautes performances, et enfin à effectuer, sur ces machines, un cas de calcul typique.
Après deux ans de travail, l'initiative HPC-PME a permis à 30 PME d'être accompagnées et de découvrir en quoi le calcul hautes
performances peut les aider à gagner en compétitivité. Ces PME sont issues de domaines d'activités très divers (hydrologie marine,
électronique, gestion de l'énergie, finance, etc.) et ont comme point commun d'être centrées sur un métier donné et de ne pas avoir,
généralement, de compétences internes dans le domaine du calcul numérique.
Convaincu depuis longtemps que la simulation numérique et l'utilisation intelligente de la puissance informatique peuvent aider les
entreprises à gagner en compétitivité, je ne peux qu'être ravi d'une initiative telle que HPC-PME. Toutefois, elle ne me semble
pas toujours convenir aux besoins d'une PME qui se pose la question d'un recours à la simulation numérique.
Lors des différentes conversations que j'ai pu avoir avec des dirigeants de PME, il m'est apparu que leur principale demande est
de pouvoir effectuer très simplement des simulations en fournissant un jeu de données puis en cliquant sur un bouton. L'initiative
HPC-PME a pour objectif de démontrer l'intérêt du calcul hautes performances et d'aider les PME à acquérir les compétences leur
permettant de mettre en œuvre des solutions de HPC. Or, la plupart des PME :
ne souhaitent pas mettre en place en interne une solution de calcul hautes performances (achat, configuration, maintenance),
ne désirent pas acquérir en interne les compétences leur permettant d'utiliser une solution de calcul hautes performances,
n'ont pas réellement besoin des performances extrêmes apportées par l'initiative HPC-PME (la Formule 1
de la simulation numérique), mais plutôt d'une solution solide, simple, et à coût d'entrée raisonnable (une bonne voiture
haut de gamme suffit),
n'ont pas une demande continue leur permettant d'amortir un investissement en calcul numérique.
Les PME ont généralement une expertise métier forte, c'est là leur facteur différenciant. Mais elles n'ont, pour la majorité d'entre
elles, aucune compétence en analyse numérique ou en informatique. Attendu qu'elles n'ont que peu de calculs à effectuer, il leur
est surérogatoire d'internaliser ces compétences.
Partant de ce constat, je pense sincèrement que la meilleure façon pour une PME d'avoir accès au calcul numérique serait de disposer
d'une plateforme dont l'accès est facturé à l'utilisation et qui lui permet de :
définir un cas de calcul en termes métier,
avoir accès à des ressources de calcul sur lesquelles les codes de calcul sont installés et configurés,
lancer en un clic le cas de calcul sur une ressource de calcul offrant des performances suffisantes,
pouvoir obtenir de l'aide de la part d'experts numériciens connaissant les codes de calcul (en cas de problème numérique ou de modélisation),
offrir des fonctionnalités de partage des cas de calcul selon des règles de sécurité strictes et entièrement contrôlables
(typiquement pour faire appel à un expert numéricien, montrer ses résultats au client final ou faire travailler un fournisseur).
À la mi-octobre, j'ai participé à la conférence OSDC 2012 à Paris. Le but de
cette conférence est de permettre à des développeurs de différentes communautés de se rencontrer dans une ambiance chaleureuse. De fait, j'ai découvert un certain nombre de projets et de pratiques intéressants.
Le samedi, j'ai découvert des outils javascript mettant l'accent sur les
modèles de données comme AngularJS ou BackBone, Une présentation rapide du
langage Go, le très prometteur portage des outils GCC sur Windows nommé
MinGW ainsi que les nouveautés de GCC 4.8. La journée s'est conclut sur des
présentations éclairs dont je retiendrai surtout la perversité des opérateurs
secrets en Perl et le livre Javascript Éloquent intégralement en HTML qui en
profite donc pour inclure exemples et exercices interactifs au fil du
contenu.
Le dimanche matin j'ai ouvert le bal en présentant mes travaux actuels dans
le DVCS Mercurial: l'Évolution de Changeset (PDF de la présentation). Ce concept permet aux développeurs de découvrir la réécriture d'historique de manière
simple et sûre. Les utilisateurs avancés ont accès de leur côté à
des processus de travail et de revue encore inédits dans le monde des DVCS. Ma présentation fut suivie d'une introduction à la
découverte automatique de bugs grâce à la bisection dans les DVCS.
La journée s'est poursuivie avec une présentation du langage Haskell, de la bibliothèque de visualisation sigmajs et la spécification SPORE apportant un peu d'espoir dans les spécifications de services Web REST.
Nous utilisons les méthodes agiles depuis la création de Logilab.
Nous avons parfois pris des libertés avec le formalisme des méthodes connues, en adaptant nos pratiques à nos clients et nos particularités. Nous avons en chemin développé nos propres outils orientés vers notre activité de développement logiciel
(gestion de version, processus sur les tickets, intégration continue, etc).
Il est parfois bon de se replonger dans la théorie et d'échanger
les bonnes pratiques en terme d'agilité. C'est pour cette raison que nous avons participé à l'étape nantaise de l'Agile Tour.
Plutôt que d'être simples spectateurs, nous avons présenté nos pratiques agiles, fortement liées au logiciel libre, dont un avantage indéniable est la possibilité offerte à chacun de le modifier pour l'adapter à ses besoins.
Premièrement, en utilisant la plate-forme web CubicWeb, nous avons pu construire une forge dont nous contrôlons le modèle de données. Les processus de gestion peuvent donc être spécifiques et les données des applications peuvent être étroitement intégrées. Par exemple, bien que la base logicielle soit la même, le circuit de validation des tickets sur l'extranet n'est pas identique à celui de nos forges publiques. Autre exemple, les versions livrées sur l'extranet apparaissent directement dans l'outil intranet de suivi des affaires et de décompte du temps (CRM/ERP).
Deuxièmement, nous avons choisi mercurial (hg) en grande partie car il est
écrit en python ce qui nous a permis de l'intégrer à nos autres outils, mais aussi d'y
contribuer (cf evolve).
Le BDD (Behaviour Driven Development) se combine avec des tests
fonctionnels haut niveau qui peuvent être décrits grâce à un formalisme syntaxique souvent associé au
langage Gherkin. Ces scénarios de test peuvent ensuite être convertis en
code et exécutés. Coté Python, nous avons trouvé behave et lettuce. De manière similaire à Selenium (scénarios de test de
navigation Web), la difficulté de ce genre de tests est plutôt leur
maintenance que l'écriture initiale.
Ce langage haut niveau peut néanmoins être un canal de communication
avec un client écrivant des tests. À ce jour, nous avons eu plusieurs
clients prenant le temps de faire des fiches de tests que nous
"traduisons" ensuite en tests unitaires. Si le client n'est pas forcément prêt à apprendre le Python et leurs tests unitaires, il serait
peut-être prêt à écrire des tests selon ce formalisme.
Logilab était à la conférence PyConFR qui a pris place à Paris il y a
deux semaines.
Nous avons commencé par un sprint pylint, coordonné par Boris
Feld, où pas mal de volontaires sont passés pour traquer des bogues
ou ajouter des nouvelles fonctionnalités. Merci à tous!
Pour ceux qui ne connaissent pas encore, pylint est un utilitaire
pratique que nous avons dans notre forge. C'est un outil très
puissant d'analyse statique de scripts python qui aide à
améliorer/maintenir la qualité du code.
Nous avons, avec Pierre-Yves, proposé deux tutoriels d'introduction au
gestionnaire de versions décentralisé Mercurial. Le premier
tutoriel abordait les bases avec des cas pratiques. Lors du second
tutoriel, que l'on avait prévu initialement dans la continuité du
premier, nous avons finalement abordé des utilisations plus avancées
permettant de résoudre avec énormément d'efficacité des problématiques quotidiennes, comme les requêtes sur les dépôts, ou la recherche
automatique de régression par bissection. Vous pouvez retrouver le support avec les exercices là.
Pierre-Yves a présenté une nouvelle propriété importante de Mercurial:
l'obsolescence. Elle permet de mettre en place des outils d'édition
d'historique en toute sécurité ! Parmi ces outils, Pierre-Yves a
écrit une extension mutable-history qui vous offre une multitude de
commandes très pratiques.
La présentation est disponible en PDF et en consultation en ligne sur slideshare. Nous mettrons bientôt la vidéo en ligne.
Si le sujet vous intéresse et que vous avez raté cette présentation, Pierre-Yves reparlera de ce sujet à l'OSDC.
Pour ceux qui en veulent plus, Tarek Ziadé à mis à disposition des photos de la conférence
ici.
L'IRILL , Initiative de Recherche et Innovation sur le Logiciel Libre,
organisait une rencontre LLVM mardi 25 septembre à Paris dans les locaux de
l'INRIA Place d'Italie dans le 13e arrondissement. Les organisateurs, Arnaud de
Grandmaison, Duncan Sands, Sylvestre Ledru et Tobias Grosser ont chaleureusement
accueilli environ 8 personnes dont 3 de Logilab.
L'annonce
de l'IRILL indiquait une rencontre informelle avec une potentielle Bug
Squashing Party sur Clang. Nous n'avons pas écrasé d'insectes mais avons
plutôt discuté: discussions techniques, petits trolls, échanges de connaissances,
d'outils et d'expériences accompagnés de bières, sodas, gâteaux et pizzas (et une
salade solitaire et orpheline qui n'a finie dans le ventre de personne
contrairement aux pizzas mexicaines ou quatre fromages).
LLVM (Low Level Virtual Machine) est un projet développé depuis une dizaine
d'années qui propose une collection d'outils et de modules facilement
réutilisables pour construire des logiciels orientés langages :
interpréteurs, compilateurs, optimiseurs, convertisseurs source-to-source...
Depuis l'étage d'entrée du code dans le compilateur (ou frontend), en passant
par l'optimiseur indépendant de la plate-forme, jusqu'à la génération de code
machine (backend) et ce, pour plusieurs architectures (X86, PowerPC, ARM,
etc.), le choix de son design en fait un outil tout à fait intéressant. Parmi
ces frontends, il y a le fameux Clang (C/C++, Objective-C), GHC
(Haskell). Et le projet dragonegg permet de l'utiliser comme plug-in à GCC
et donc de bénéficier des différents frontends GCC (Ada, Fortran, etc.).
De nombreux outils se sont construits autour
du frameworkLLVM : LLDB un débugger, vmkit une implémentation de la
machine virtuelle Java et .NET ou encore polly, un projet de recherche dont
Tobias est l'un des deux co-fondateurs, qui a pour objectif d'optimiser un
programme indépendamment du langage via des polyhedral optimizations.
Les principaux contributeurs à ce jour sont Apple, Google, des contributeurs
"individuels" dont Duncan Sands, suivis par des laboratoires de recherche et
autres. Voir l'article de Sylvestre sur "Who is in control of LLVM/Clang ?".
La clef de voûte de LLVM est sa représentation intermédiaire (IR pour
Intermediate Representation). C'est une structure de données qui représente
sous forme SSA (Single Static Assignment) les flux de données et de contrôle.
Cette forme est plus "haut-niveau" et plus lisible que du code assembleur, elle
comporte certaines informations de type par exemple. Elle constitue le pivot de
l'infrastructure LLVM : c'est ce que produisent les frontends comme
Clang, qui est ensuite passée aux optimiseurs de LLVM et est ensuite
consommée par les backends dont le rôle est de les transformer en code machine
natif.
En voici un exemple en C:
intadd(inta){returna+42;}
La représentation intermédiaire est donnée via Clang :
Cette représentation peut ensuite être bitcodée, assemblée ou compilée. Voir
les différentes commandes LLVM pour
assembler, désassembler, optimiser, linker, exécuter, etc.
Une autre utilisation intéressante de cette infrastructure est l'utilisation de
la bibliothèque Clang pour parser du code C/C++ afin de parcourir
l'Abstract Syntax Tree (AST). Ceci offre notamment de belles possibilités
d'introspection. Google a d'ailleurs rédigé un tutoriel sur les plugins Clang et ses
possibilités via l'API de Clang,
notamment la classe ASTConsumer. Il est possible de parcourir l'ensemble des
constructeurs, de connaître la propriété d'une classe (abstraite ou non),
parcourir les membres d'une classe, etc. Avant de partir, nous parlions de la
possiblité de propager un changement d'API à travers toutes les bibliothèques
qui en dépendent, soit la notion de patch sémantique.
Nous avons aussi profité pour parler un peu du langage Julia ou de Numba.
Pythonistes convaincus, nous connaissions déjà un peu Numba, projet de Travis
Oliphant, contributeur NumPy et papa de SciPy. Ce projet utilise
l'infrastructure LLVM pour compiler du byte-code Python en code machine
(Just In Time compilation), en particulier pour NumPy et SciPy. Les
exemples montrent comment passer d'une fonction Python qui traite un tableau
NumPy à une fonction compilée Just In Time. Extrait issu d'un des exemples
fournis par le projet Numba :
Oui, la fonction sum2d n'est pas optimale et très "naïve". Néanmoins, la
fonction compilée va près de 250 fois plus vite ! Numba utilise les bindingsLLVM pour Python via llvm-py afin de passer du code Python, à
l'Intermediate Representation pour ensuite utiliser les fonctionnalités JIT
d'LLVM.
Entre programmeurs de langages à typage statique, nous avons aussi parlé de C et
d'Ocaml (dont il existe des bindings pour LLVM) et mentionné de beaux projets
tels que PIPS et Coccinelle.
Pour finir, nous savons maintenant prononcer Clang. On dit "klang" et non
"cilangue". Nous avons appris que gdb avait son propre parser et n'utilisait
pas le parser de GCC. Rappelons-le, l'un des grands
avantages de LLVM & Clang face à GCC est sa modularité et la possibilité
d'utiliser une des pierres qui forme l'édifice pour construire sa propre maison.
Un sprint PyLint est organisé dans le cadre de la conférence PyConFR, les 13 et 14 septembre à Paris. Si vous voulez améliorer PyLint, c'est l'occasion : venez avec vos bugs et repartez sans !
Les débutants sont bienvenus, une introduction au code de Pylint sera réalisée en début de sprint. Une expérience avec le module ast de la librairie standard est un plus.
Croissants et café offerts par l'organisation, merci de vous inscrire pour faciliter la logistique. Voir avec Boris pour plus d'informations (merci à lui !)
Ma première surprise a été d'apprendre où était caché SGI (vous vous rappelez peut-être les postes Indigo qu'on trouvait pour faire du graphisme et de l'animation...) depuis tout ce temps : et bien non, ils ne sont pas morts mais montent des calculateurs pour des grands comptes. Le premier intervenant était donc M. Carsalade, responsable infrastructure chez SGI, qui a pris quelques exemples d'applications et d'infrastructures "Big Data" (petabytes de données) menées par SGI.
Parmi les applications citées : calculateurs chez NOAA (sorte de Météo France aux US) ou Total (analyse des sols), Cosmos Project (15 tera de ram...), génomiques
SGI déploie par ex. :
500 000 serveurs SGI chez Amazon pour S3/eC2, site web, AWS...
300 000 serveurs SGI chez Microsoft pour Live Search (Bing, Exchange, MSN, etc.)
La technologie est souvent basée sur HADOOP, qui permet la recherche en parallèle sur un cloud, basée sur le principe map / reduce initiée par Google.
On note l'évolution des technologies dans le temps et par volume croissant:
La présentation suivante de M.Royer (Datasio) est un peu plus technique.
Pour commencer, une liste des sources de données problématiques potentielles (i.e. la production ne s'arrête pas) :
production par des réseaux d'observation autonome (capteurs météo, GPS, RFID, balises Argos...),
données dépendantes d'une communauté d'utilisateurs et d'individus instrumentés,
données produites plus vite qu'on ne les traite,
"on verra le traitement plus tard".
Synthèse de ces problèmes : les "3 V" du Big Data: Volume / Variété / Vélocité.
Les techniques autour de Big Data promettent de :
faciliter la collecte et l'aggrégation (mesurer les opérations, acquérir tous les flux possibles, stocker les mesures brutes)
valoriser le capital de données (découvrir après coup des opportunités inexploitées, outils de fouille adaptés aux gros volumes, extraire et distiller l'information)
c'est un projet en maturation, avec une communauté active, mais des branches de code variées,
constitué d'un système de fichier distribué avec redondance (parallélisation des données) et possibilité map / reduce (parallélisation des tâches à effectuer sur les données)
Si Big Data est un nouveau terme pour une problématique qui n'est pas nouvelle, une différence liée à la technique map / reduce les traitements sont effectués sur les serveurs qui hébergent les données au lieu de pousser les données vers un calculateur. Attention au fait cependant que pour fonctionner, les algorithmes doivent fonctionner de manière indépendante sur un sous-ensemble indéterminé de données (donc finalement indépendamment sur chaque "donnée"). Enfin, on se concentre sur l'efficience de la création et de la lecture des données, à l'inverse des bases de données traditionnelles qui se concentrent également sur la mise à jour et la suppression.
Je ne sais pas s'il y avait une conclusion, la présentation a été abrégée faute de temps.
La dernière présentation était celle de M.Beuraud de Météo France dont la problématique, pas simple mais à laquelle nous sommes tous sensibles, est la prévision numérique du temps.
Il note tout d'abord que la qualité des prévisions a augmenté : la qualité d'une prévison à 48h aujourd'hui vaut prévision à 24h il y a 15 ans en lien avec l'augmentation des performances du centre de calcul HPC de Météo France à Toulouse (évolution matérielle tous les 3 ans) :
2 GFlops en 1991 (date de l'ouverture du centre), basé sur des machines Cray 2,
100 TFlops en 2009, basé sur des machines NEC SX9
Le volume de données étudiées est maintenant beaucoup plus important, principalement du fait de la constellation de satellites qui s'est développée et qui produit un volume beaucoup plus important que les mesures conventionnelles (au sol). On a vu un "déluge de données" satellitaires depuis 2010. D'un point de vue stockage, le site est passé de 20Go en 1991 à plusieurs pétaoctets aujourd'hui.
De par les différentes contraintes extérieures (données à fournir aux clients), une prévision à 24h doit être faite en 25 minutes. De plus, la puissance de calcul nécessaire augmente sans cesse notamment à cause des facteurs suivants (en plus du volume de données à analyser qui augmente) :
maille de plus en plus petite,
couplage de modèles de plus en plus nombreux,
prévision ensembliste : on lance X fois le même modèle avec des entrées différentes pour voir la stabilité de la prédiction.
A noter qu'ici, on n'est pas dans des technos de type HADOOP.
Il conclut que le volume de données à traiter va continuer à grandir, et que la gestion des données est l'enjeu majeur de la décennie qui s'ouvre.
J'ai été surpris de voir l'angle d'approche pour la présentation d'une thématique Big Data, qui était pour moi (novice je l'avoue) plus liée aux technologies Web. J'ai finalement trouvé que c'était intéressant de remettre ça avec cette perspective, et ainsi de replacer ce que recouvrent finalement les mots Big Data. Encore un grand mot qui veut tout et rien dire quoi :p
J'ai passé ce jeudi 26 avril à la Mélée numérique à Toulouse.
J'y ai assisté à une mini-conf d'une heure sur l'état de l'art de l'Open Data. Comme d'habitude, je conseillerais plutôt, lors des salons de ce type, d'aller voir les conférences sur des thèmes qui vous sont inconnus, sous peine de ne pas apprendre grand chose. C'est resté pas trop mal, et voici ce que j'ai retiré de cette présentation conjointe de Bluenove, et Inno3.
Dans le cadre de l'Open Data la donnée est le matériaux brute. C'est une valeur, une observation. Ce n'est pas une information, qui recoupe et interprète plusieurs données.
Le recoupement de données permet de créer des informations de valeurs. Cependant certaines données n'ont pas vocation à être ouvertes (ex. données stratégiques, personnelles, défense).
Un nouveau type d'information (NR issu d'une collaboration journaliste/développeur/graphiste), plus ou moins couvert sous le terme "Data viz" (eg OWNI)
Des applications diverses, parfois issues de concours (eg application téléphone Tourisme 71)
Il y a une incitation/obligation venant de l'Europe (2003) et de l'état (2006) pour les acteurs publics, les acteurs privés délégataires d'un service public ou monopolistiques. On peut ajouter les modèles économiques basés sur la société de l'information (eg http://www.openstreetmap.org/ qui crée des données ouvertes collaborativement depuis 2006)
Les freins viennent :
des données non diffusables,
d'une cohabitation parfois difficile avec Loi informatique et liberté / CNIL (le recoupement de plusieur sources peut finir par redonner des données "personnelles").
De plus cette incitation à la transparence crée nouveaux rapport entre secteur public et privé (je ne m'en plaindrai pas personnellement :p ).
Rappel : la propriété intellectuelle recrée une notion similaire à la propriété matérielle mais sur des oeuvres. Les données ne sont pas soumise à la propriété intellectuelle. Les données originelles, ainsi qu'une base de données à forte valeur ajoutée, ou encore les signes distinctifs (marque, nom de domaine, logo, etc) sont considérés ou considérables comme des oeuvres.
Il faut donc une gestion stratégique des différents droits de propriété intellectuelle. Que faut-il partager ou retenir ? Quel est l'encadrement souhaité ? Copyleft (eg GPL) ou non ? Compatibilité entre jeux de données ?
Aujourd'hui on a comme licenses pour les données :
les licences basées sur le droit d'auteur (CC)
les licences basées sur la loi de 1978 (droit public en france, uniquement pour collectivité, pas de propriété intellectuelle) (LIP et APIE)
les licences spécialisées (ODBL, PDDL, ODC-By créées par Open knowledge foundation)
les licences dédiées (Licence Ouverte)
En France (dans l'administration publique ?) l'ODBL et la Licence Ouverte sont principalement utilisées.
En Europe et à l'étranger, on trouve plutôt l'ODBL, CC-0 et autres licences dédiées.
Bluenove a mené une enquête auprès de grands groupes. Quelques résultats (l'intégralité est publiée dans un petit livre blanc dont j'ai un exemplaire) :
les bénéfices attendus de l'ouverture et de la réutilisation sont avant tout d'améliorer la satisfaction des clients, et en dernier lieu de se différencier de ses concurrents
les obstacles ressentis : le besoin de contrôler la réutilisation de ses données, la peur de donner l'accés à ses données aux concurents ou encore la frilosité à la réutilisation de données des autres (problème potentiel de fraicheur et/ou qualité des données)
43 % des entreprises sondées disent qu'une réfléxion autour de l'Open Data est en cours évolution.
Aujourd'hui, les licences sont matures et ne posent plus vraiment problème. On peut espérer avoir rapidement plus de données et d'acteurs dans l'Open Data. Cependant dans le public comme dans le privé une difficulté est d'encadrer la production : motiver la production de données, accueillir les résultats et gérer la diffusion (qui a dit CubicWeb ? En toute objectivité :p ).
NR: On notera l'absence de discussion autour des formats de publication de données notamment. Pour conclure, j'aurais plutôt appelé ça état les lieux que état de l'art, même si ça reste un effort de synthèse appréciable.
Un premier problème est que la licence proposée par LiberTIC est la CreativeCommons CC-BY, alors que les producteurs de données n'ont souvent pas les droits sur toutes les données qu'ils diffusent (par exemple la photo d'illustration d'un concert). Ils auront donc du mal à les publier en totalité sous licence CC-BY. Espérons que la licence Creative Commons rentre dans les habitudes et que cela ne va pas trop freiner le projet.
Aujourd'hui, l'utilisation ressemble à du Fair Use: on tolère la ré-utilisation de contenus protégés par le droit d'auteur car cela sert la diffusion de l'information.
Nous nous sommes demandé s'il est possible de mélanger deux licences dans un flux de données ou s'il faut faire deux flux séparés mais liés.
Un deuxième problème est que les réutilisateurs ne seront pas intéréssés si les données sont trop pauvres et qu'elles n'incluent pas d'image ou de vidéo. Il faut donc trouver un socle commun qui satisfasse les producteurs et les réutilisateurs.
Vu la complexité du modèle de données qui a émergé des discussions (beaucoup de cas particuliers), il a été proposé de fournir un formulaire de saisie d'un événement. A notre avis, la saisie "manuelle" doit rester un cas exceptionnel (un acteur culturel n'ayant pas de site pour publier par exemple), au risque de n'être pour les producteurs qu'un enième site à renseigner lors de la publication de son agenda.
Un exemple de bonnes pratiques est le très populaire GoodRelations qui offre un formulaire pour qu'un utilisateur qui n'a pas intégré le format à sa boutique en ligne puisse facilement générer son fichier et l'héberger chez lui, favorisant ainsi un modèle décentralisé calqué sur celui des moteurs de recherche.
Cherchant à combiner des vocabulaires existants (afin de ne pas réinventer un format qui devra être traduit dans un autre vocabulaire pour être réutilisable) nous sommes tombés sur les articles suivants :
le chapitre 15 du Mashup Guide explique comment du DublinCore peut être ajouté au sein de xcal. Il fournit aussi un exemple d'utilisation d'une API de requêtes sur un site populaire aux USA : http://upcoming.yahoo.com/
Il nous paraît important de ne pas se tromper dans les orientations choisies:
utiliser des formats standards et combiner l'utilisation de namespaces existants plutôt que d'inventer un nouveau format
proposer plusieurs formats d'export pour différentes utilisations (json, ical, etc) quitte à ne pas inclure tout le contenu disponible si le format ne s'y prête pas
ne pas créer une API de plus et choisir de privilégier les standards du web sémantique en publiant du RDF et si possible en fournissant un accès SPARQL
préférer la publication distribuée des données par leurs producteurs et leur agrégation par la plate-forme plutôt que d'attendre des producteurs qu'ils remplissent un formulaire de plus.
Nous attendons avec impatience la suite des travaux. Selon LiberTIC la plateforme sera developpée en logiciel libre avec des outils collaboratifs pour piloter le projet.
CubicWeb est une plateforme disponible en logiciel libre qui a déjà fait ses preuves et a été conçue pour développer des applications du type de l'aggrégateur décrit ci-dessus: import et export des données sous différents formats, utilisation des technologies standards du web sémantique. Nous espérons que ceux qui auront à réaliser l'agrégateur choisiront CubicWeb comme base technique pour ce projet.
Nous étions présents à l'évenement organisé par Stereolux et Libertic consacré à l'OpenData dans le domaine de la culture à Nantes. Voici un court compte rendu des points que nous avons retenus de ces présentations.
Il existe sur la toile assez d'articles sur l'Opendata pour qu'il ne nous semble pas nécessaire d'en donner une description, mais nous tenons à souligner que l'OpenData n'est pas simplement une mise à disposition des informations. Pour que des données puissent être qualifiées d'ouvertes, il faut qu'elles respectent une dizaine de principes parmi lesquels l'accessiblité, l'exploitabilité (données brutes), et la la réutilisablitié (licence).
Claire Gallon a cité plusieurs exemples d'OpenData dans le domaine culturel :
la mise à disposition de données sur la fréquentation d'un musée permet de développer un service qui donnera la meilleure heure pour visiter ce musée. Voir When Should I visit Tate Modern
Marseille-Provence 2013 (capitale culturelle européenne) ouvre ses données et attend que les acteurs écrivent des applications (mobiles notamment).
Un idée importante est que le service public doit s'adresser au plus grand nombre et ne peut pas consacrer ses ressources à la mise en place de services de niche. La mise à disposition des données permet à des tiers d'occuper ces niches.
En conclusion, Claire Gallon insiste sur la nécessité d'inclure la gestion de la communauté dans les démarches d'ouverture des données. La prochaine priorité des acteurs de l'OpenData sera la coproduction, à la fois pour l'écriture des applications et pour l'amélioration des données.
Romain Wenz de la Bibliothèque nationale de France a présenté http://data.bnf.fr sous l'angle de l'ouverture : l'ouverture à un public différent, l'ouverture à un mode de recherche différent (on cherche sur internet avant d'aller en bibliothèque) et l'ouverture sur les reseaux sociaux où le public partage des références à des contenus qu'il apprécie (twitter, facebook, etc.).
Cette ouverture passe forcément par un web indexable, où l'on peut communiquer facilement une URL d'un contenu (exit les portails de recherche avec des sessions et variable http). Si un site n'est pas indexable, son contenu pourra être trouvé en s'y connectant directement, mais celui-ci restera dans le web "invisible" ou "profond".
Romain Wenz a insisté sur l'Importance des technologies utilisées : d'un coté les strandards ouverts et formalisés par le W3C, notamment en terme de web sémantique (RDF, RDFa, opengraph, schema.org, etc.) et de l'autre l'utilité de s'appuyer sur du logiciel libre. Dans le cas de http://data.bnf.fr il s'agit de CubicWeb.
La transition entre la BnF et Wikimedia est facile : Wikisource (bibliothèque de livres libres de droits) a signé un partenariat avec Gallica qui lui a fourni des numérisations de livres tombés dans le domaine public.
Wikimedia France a présenté deux projets réussis en coproduction avec des institutions Toulousaines :
le projet Phoebus a donné accès aux archives du Muséum de Toulouse à des bénévoles
la communauté Wikimedia Commons a participé à l'enrichissement des metadonnées du fond consacré au photographe Eugène Trutat.
Frédéric Vasse a briévement présenté la démarche de la Ville de Nantes en matière d'OpenData. Le lancement de la plateforme aura lieu lundi prochain à la Cantine Numérique de Nantes. Selon lui, l'objectif de Nantes est de réussir la coproduction avec les acteurs du territoire.
Libertic a conclu en proposant aux acteurs culturels un projet d'aggrégateur d'informations sur les événements culturels à Nantes. Nous espérons pouvoir vous donner prochainement plus d'informations sur ce projet.
Description de la présentation sur le site de Paris Web 2010: ici.
Quentin Adam voudrait que l'on fasse plus de javascript coté
serveur. Un des principaux avantages du javascript server side est que
il n'est pas nécessaire de traduire ces structures de données entre
plusieurs languages de programmation.
Une des limites à cette adoption est que les moteurs de javascripts ne
font pas de DOM (ca c'est le boulot du navigateur), du coup pas de
jquery, mootools ou dojo (high level javascript)>. Par conséquent
les développeurs javascript vont avoir des difficultés pour coder en
server side. Certaines librairies sont en train de prendre en compte
cet environnement limité.
Quand on fait du javascript coté serveur, on peut considérer les
requêtes comme des websockets, ce qui va être avantageux en terme de
performances (par exemple lorsque le serveur reçoit deux requêtes
identiques, quand la réponse est prête on renvoie deux fois la même
chose).
Voici quelques outils que Quentin Adam recommande ou mentionne :
Ape - Ajax Push Engine - http://www.ape-project.org Mettre du
javascript dans un module apache. Coté client on a du mootols pour
faire du développement.
Node.js http://www.nodejs.org très adopté par la communauté
ruby. Node.js es apparu au moment de l'émergence de v8. Par contre
celui-ci n'est pas très stable, la documentation n'est pas très
complète, mais il y a beaucoup de "recettes" sur le web.
CommonJS http://www.commonjs.org/ est une librairie qui a l'avantage
d'être en cours de standardisation.
Jaxer http://jaxer.org/ est une sorte de firefox embarqué dans un
module apache, ce qui est un peu trop lourd mais son existence
mérite d'être mentionnée.
À Logilab, pour le développement de CubicWeb, nous penchons plutôt pour les développements des mécanismes
asyncrones dans Twisted, mais cette présentation a le mérite de
mettre en avant que d'utiliser javascript ne concerne pas uniquement
les tweaks dans le navigateur.
Le lendemain, j'ai pu assister à La typographie comme outil de design (par David Rault) qui me semble être une sensibilisation indispensable à tout développeur web. Une introduction efficace et complète sur les familles de polices (classification VOX-ATypI) et les types d'effets produits sur le lecteur. Il faut voir la typographie comme l'équivalent de l'intonation à l'oral. La police apporte un autre contexte à la compréhension du texte. Pour finir, David Rault a parcouru les "web fonts" les plus connues tout en prenant soin de donner son avis d'expert ainsi que des détails historiques croustillants.
Les organisateurs de Paris Web avaient ensuite judicieusement programmé La macrotypographie de la page Web (par Anne-Sophie Fradier). Après quelques explications historiques sur l'importance du support sur le format, plusieurs techniques de bases ont été présentées, comme par exemple l'usage des grilles pour la construction des pages. Celles-ci fixent un cadre à la créativité et permettent de respecter plus facilement des pauses visuelles pour retrouver un confort de lecture indispensable. L'interlignage doit être important (140% du corps), le fer à gauche et le drapeau à droite et un corps de texte suffisamment gros pour éviter des changements de taille de police intempestifs (qui risquent de "casser" la mise en page).
Un des sujets intéressants mais souvent méconnu est le respect de la ligne de base dans la construction du flux vertical du texte dans un document. C'est justement sur ce principe et en se basant sur cet article que plusieurs personnes à Logilab ont commencé à implanter des "règles de rythmes" dans le framework CubicWeb lors d'un sprint en mai dernier. Dernier conseil à retenir d'une typographe, il faut donc toujours essayer de "retomber sur ses pattes" :-)
Une question pertinente fut posée à la fin de la présentation sur la mode des "design fluides"; c'est-à-dire des mises en page calculées tout en proportion plutôt que fixées en pixels. La réponse donnée ne peut être absolue car ceci dépend essentiellement de la créativité et de l'originalité de l'auteur du site ; même si Anne-Sophie Fradier préconise quand même de garder le contrôle sur la largeur (la hauteur étant souvent imposée par le navigateur).
L'usage de WOFF, les nouveautés apportées par CSS3 et les effets rendus possibles par javascript vont permettre de créer un nouvel univers au texte et à sa mise en forme. Nous pouvons espérer que le confort de lecture et la lisibilité des textes vont devenir de véritables critères de qualité. Il me paraît aujourd'hui évident à l'issu de ces présentations que la typographie va petit à petit s'imposer comme une nouvelle compétence du web designer de demain.
J'ai eu la chance d'assister à l'ensemble des conférences données à Paris Web sur le rôle du texte et de la typographie dans le web d'aujourd'hui.
La présentation Le texte: parent pauvre du web ? (par Jean-Marc Hardy) rappela les points les plus pertinents sur l'usage des éléments textuels par rapport à l'image.
Outre l'exemple classique sur les outils de référencement qui ne savent aujourd'hui utiliser que le texte brut d'une page (au grand dam des "flasheurs"), D'autres résultats d'études furent donnés:
le taux de suivi des liens publicitaires textuels (ceux de Google par exemple sont 10 fois plus efficaces que les bannières classiques qui ont un taux de suivi de 2‰).
des cartes de température montrent que les titres (surtout si ceux-ci sont inférieurs à 11 caractères) restent très structurants pour la lecture et le prise d'informations à la différence des images qui restent floues pour le cerveau pendant les premiers dixièmes de secondes
l'usage de phrases explicatives plutôt que des infinitifs vagues dans les boutons de formulaires rassurent l'utilisateur ѕur des étapes cruciales d'enregistrement.
Un dernier contre-exemple étonnant fut donné au sujet d'une boutique en ligne qui en voulant mettre en valeur la corbeille d'achats par une image très colorée a provoqué l'effet inverse: un sentiment de rejet des utilisateurs qui croyaient voir alors une publicité ;-)
Jean-Marc Hardy a évoqué brièvement le rôle du texte dans l'accessibilité mais a préféré laisser cette partie à d'autres orateurs de Paris Web (l'accessibilité étant à l'honneur cette année).
J'aurais bien aimé avoir son avis sur l'esthétique souvent utilisée pour les sites dits Web2.0 qui se rapprochent finalement assez bien de ses recommandations.
La semaine passée avait lieu Paris-Web 2010. C'était la 5ème édition de cet événement mais je n'avais pas eu l'occasion d'y assister les années précédentes.
Tout d'abord, félicitations aux organisateurs pour l'organisation, notamment pour les sessions du grand amphithéâtre avec la traduction simultanée pour les
conférences en anglais (j'avoue ne pas avoir testé le casque audio), les interprètes en langue des signes ainsi que la vélotypie. Un petit bémol toutefois :
il n'y avait pas assez de prises de courant pour que les personnes présentes puissent recharger leur ordinateur !
Quant aux conférences elles-mêmes, pas mal de choses orientées utilisabilité, design, accessibilité et HTML5. Bien que je n'aie pas eu le sentiment
d'apprendre beaucoup de choses techniquement, en particulier sur HTML5 où le contenu des présentations se recoupait trop
et n'apportait de mon point de vue pas grand chose de nouveau, les orateurs ont su animer et rendre vivante leur présentation. Je retiendrai
en particulier trois présentations :
Let’s interface - how to make people as excited about tech as we are de Christian Heilmann que je résumerai (très)
rapidement en disant : réutiliser les outils et les données qui sont disponibles, ne pas repartir de zéro et
rajouter une petite couche qui offre une réelle valeur ajoutée, ce n'est pas forcément très compliqué.
Parmi les exemples cités : http://isithackday.com/hacks/geo/addmap.html
Innover de 9 à 5 par Olivier Thereaux : ou comment créer des espaces d'échange pour faire émerger de nouvelles idées puis les transformer en projets.
Au final, aucune solution concrète ou miracle évidemment, et il me semble que c'était un des buts ("pas de recette de cuisine"),
mais je retiens que d'après son expérience, il faut des gens avec l'esprit hacker, entendre bidouilleur. Ensuite, toutes les idées qui émergent
ne sont pas bonnes, toutes les bonnes idées n'aboutissent pas et si celui qui a l'idée n'est pas directement
celui qui s'occupe de la concrétiser, il y a peu de chances que ça fonctionne. Enfin, il faut ne pas avoir
les yeux plus gros que le ventre et tempérer ses envies en fonction du temps (ou moyens) que l'on pourra y accorder
et y aller petit pas par petit pas.
HTML5 et ses amis par Paul Rouget : une très belle présentation avec des démonstrations HTML5 (version Firefox4)
très bien choisies : utilisation des websockets pour diffuser les slides sur ordinateurs clients, utilisation de
FileReader pour la prévisualisation d'images côté client et une belle démonstration des capacités WebGL !
Je n'ai entendu que des retours positifs sur la macrographie de la page Web à laquelle je n'ai malheureusement pas assisté personnellement mais d'autres logilabiens y étaient.
J'ai également noté l'absence du web sémantique, ou alors je n'étais pas dans le bon amphi.
En tout cas, tout ça m'a remotivé pour jouer avec HTML5 dans cubicweb. J'ai d'ailleurs commencé à faire une démo websocket dans cubicweb, affaire à suvire...
J'ai présenté au printemps dernier à l'occasion de la conférence AgileFrance2010 un retour d'expérience sur la gestion agile du projet Pylos. Mon "client" m'a fait la gentillesse de participer à l'élaboration de cette présentation et de venir co-présenter.
Après avoir longtemps tardé, voici le support de la présentation (le texte se trouve à la fin, avec les notes pour les orateurs). Bonne lecture.
Merci à Christine, et aux organisateurs de la conférence.
Debian France organise le 30 et 31 octobre prochain une minidebconf à Paris. Le wiki de la conférence est en train de s'étoffer, et pour le moment c'est là qu'il faut s'inscrire. À Logilab nous sommes utilisateurs et contributeurs de Debian, c'est donc naturellement que nous allons essayer d'aller participer à cette conférence. Alexandre Fayolle, développeur Debian ira assister (entre autres) à la présentation de Carl Chenet sur l'état de Python dans Debian.
Je suis allé à la présentation de "Une mise en place de l’eXtreme Programming" présenté par Karine Sabatier dans le cadre d'Agile Nantes. On y a parlé plutôt Ruby on Rails que python, mais surtout de méthodes agiles et XP.
Voici quelques points que j'ai retenu de cette présentation tout à fait pragmatique d'une mise en pratique des principes XP :
Le principe de "Convention over configuration" : préférer la convention (notamment pour la programmation) plutôt que la contrainte par la configuration. Dans Ruby On Rails, les conventions sont très fortes, pour faire une application on ne peut pas s'éloigner du modèle MVC : les modèles sont dans "model", les views sont dans "views" etc... À ce sujet, la conférencière a fait référence à deux types de designs que je ne connaissait pas : le DDD Domain-driven Design et Behavior Driven Development.
Utilisation de métaphores : trouver un langage commun avec le client mais aussi avec les utilisateurs
Application de déploiement ruby on rails : Capistrano, bien qu'à Logilab nous privilégions le déploiement par paquets et dépôts debian, en python on pourra jeter un coup d'œil à Fabric.
Leur projet XP utilisait le logiciel de gestion de projet Retrospectiva. Celui-ci ressemble sur bien des points à JPL (Jeux de Planification Logiciel) disponible sur le framework CubicWeb (http://www.cubicweb.org). Coté intégration continue : CruiseControl , en python nous privilégions apycot.
Ce projet a essayé l'utilisation de Selenium pour ces tests web. Le constat est le même que chez Logilab : la première fois que ca marche c'est utile et apporte une grande satisfaction, dans un deuxième temps ca reste très difficile à maintenir. Nous regardons à présent plutôt du coté de Windmill qui a été intégré à la version 3.9 de cubicweb.
Une mention a été fait d'une société fonctionnement uniquement en mode agile Pyxis.
Logilab est en ce moment en train d'acceuillir un sprint autour de la plateforme CubicWeb. L'objectif principal de ce sprint de 5 jours est d'améliorer l'usage de javascript et des css dans CubicWeb :
avoir une API javascript propre, testée et documentée
pouvoir facilement changer le style d'une application cubicweb
gestion de bundle pour javascript et CSS
une documentation sur les standards d'écriture des fichiers JS et CSS pour cubicweb
Ce sprint aura lieu du jeudi 29 avril 2010 au 5 mai 2010 (weekend exlus - les bureaux seront fermés). Vous êtes les bienvenus pour contribuer, filer un coup de main, faire du pair programming... ou simplement rencontrer des développeurs cubicweb. Vous pouvez même venir une après-midi ou une seule journée. Pour ceux avec des portables, il y aura du réseau disponible pour être connecté.
Adresse : 104 Boulevard Auguste-Blanqui, Paris. Sonnez à "Logilab".
Métro : St Jacques or Corvisart (Glacière est la station la plus proche mais sera fermée à partir de lundi)
Hier, Logilab était à nouveau présent aux rencontres organisées par
Agiles Nantes, il s'agissait d'une présentation très fournie sur
l'intégration continue (présenté par la société
Netapsys). Malheureusement, la principale technologie utilisée
était Java dont nous ne sommes pas des grands fans, préférant
python. Néanmoins cela donne une bonne idée des possibilités
qu'offrent les outils autour du développement java, notamment en terme
d'intégration continue (voir Maven, Hudson, Sonar, etc.).
On retrouve donc un certain nombre de similarités avec le monde
python, notamment avec Artifactory qui reproduit en partie les
fonctionnalités de pypi avec easy_install ou buildout ou
apt-cacher-ng dans son coté proxy. A Logilab, nous privilégions
l'utilisation de paquets debian pour distribuer nos logiciels, ce
qui permet, notamment, de ne pas réinventer la roue pour chaque
langage de programmation.
Voici quelques une des notions avancées lors de la présentation qui
nous semblent intéressantes sur l'intégration continue :
celle-ci permet de mettre en place des environnements de test mis à
disposition du client tout le long du projet.
cette notion de prototype utilisable en continu doit être présente
le plus tôt possible dans un projet.
idéalement, un serveur de déploiement/intégration doit être
quasiment à l'identique de l'environnement client (utilisation de
machines virtuelles)
l'intégration continue est souvent plus utilisées par les
développeurs et les chefs de projets que par les clients. Mettre en
place des rapports utiles au client requiert un soin particulier
pour une émulation collective, certaines notations des développeurs
sont possible. Par exemple un pluginHudson donne un point par
build réussi, un point par test ajouté, moins dix points pour un build
cassé.
la visualisation des données peut motiver les développeurs, l'outil
Sonar semble être très complet et propose des visualisation assez
léchées. A noter, des graphes sur la complexité du code, par classe,
par méthode etc. Voir aussi la visualisation de l'arbre des
dépendances des librairies avec Radiator.
J'y ai mentionné apycot et buildbot qui sont tous les deux des outils plutôt orientés python (mais pas seulement).
Pour conclure, tout ça m'a fait penser au concept plus poussé de
"Continuous Delivery - BlueGreenDelivery" développé par Martin Fowler,
une lecture recommandée pour ceux qui ont déjà pris le pas de
l'intégration continue.
L'association de promotion des méthodes Agiles sur Nantes et sa région [1] organisait hier soir un "Coding Dojo". C'est une session de codage en public avec des créneaux de 15 minutes par codeur (explication sur codingdojo.org). Le focus de la session était le TDD (Test Driven Developpement).
Après plusieurs mois au point mort ou presque, Sylvain a pu hier soir
publier des versions corrigeant un certain nombre de bogues dans
pylint et astng ([1] et [2]).
Il n'en demeure pas moins qu'à Logilab, nous manquons de temps pour
faire baisser la pile de tickets ouverts dans le tracker de
pylint. Si vous jetez un œuil dans l'onglet Tickets, vous y trouverez
un grand nombre de bogues en souffrance et de fonctionalités
indispensables (certaines peut-être un peu moins que d'autres...) Il
est déjà possible de contribuer en utilisant mercurial pour fournir
des patches, ou en signalant des bogues (aaaaaaaaaarg ! encore des
tickets !) et certains s'y sont mis, qu'ils en soient remerciés.
Maintenant, nous nous demandions ce que nous pourrions faire pour
faire avance Pylint, et nos premières idées sont :
organiser un petit sprint de 3 jours environ
organiser des jours de "tuage de ticket", comme ça se pratique sur
différents projets OSS
Mais pour que ça soit utile, nous avons besoin de votre aide. Voici donc
quelques questions :
est-ce que vous participeriez à un sprint à Logilab (à Paris,
France), ce qui nous permettrait de nous rencontrer, de vous
apprendre plein de choses sur le fonctionnement de Pylint et de
travailler ensemble sur des tickets qui vous aideraient dans votre
travail ?
si la France c'est trop loin, où est-ce que ça vous arrangerait ?
seriez-vous prêt à vous joindre à nous sur le serveur jabber de
Logilab ou sur IRC, pour participer à une chasse au ticket (à une
date à déterminer). Si oui, quel est votre degré de connaissance du
fonctionnement interne de Pylint et astng ?
Vous pouvez répondre en commentant sur ce blog (pensez à vous
enregistrer en utilisant le lien en haut à droite sur cette page) ou
en écrivant à sylvain.thenault@logilab.fr. Si nous avons suffisamment
de réponses positives nous organiserons quelque chose.
L'April fête cette année ses douze ans. L'association de promotion et de défense du logiciel libre approche maintenant les 5000 membres, toutes catégories confondues: personnes physiques, entreprises commerciales, collectivités, associations. Elle vient de publier son rapport moral 2008 et sa feuille de route 2014 qui fixe des objectis pour les cinq années à venir. On notera en particulier la lutte contre les quatre dangers que sont les brevets sur les algorithmes, les dispositifs de contrôle d'usage, la vente liée et l'informatique déloyale. Consultez le site de l'April pour en savoir plus sur ses actions et n'hésitez pas à adhérer ou à donner quelques heures de votre temps.
Nous sommes dès ce matin, pendant 3 jours, présents au salon Solutions Linux 2009 au stand du pôle de compétition System@tic dont nous faisons parti. C'est le stand B4/B8, assez prêt de l'entrée sur la gauche (détails).
Nous allons présenter CubicWeb à plusieurs reprises sur le stand, ainsi que lors des conférences sur le Web2 ce mardi 31 mars de 14h à 17h30 :
Adrien présentera "Simile Widgets, des composants de haut niveau pour IHM web"
Sylvain présentera "Cubic 3.0 - une plateforme pour les applications web sémantique"
On vient de découvrir belier qui permet de se connecter facilement à des machines auquelles on doit accéder par des machines ssh intermédiaires. Ca peut s'avérer utile. En plus, c'est en python. En plus, il a fait des paquets debian... et en plus il mentionne pylint. Du coup il mérite mention ici.
Je vous propose tout d'abord une définition assez complète d'une forge logicielle.
« Une forge ou plate-forme d'hébergement de projets logiciels est un ensemble réunissant les technologies du travail coopératif et du génie logiciel pour permettre le développement coordonné de logiciels en équipe. Les services de base d'une telle plate-forme sont axés sur le partage de fichiers (code source, données et exécutables) et l'animation du groupe. Ils permettent la rédaction et la programmation collaborative, et facilitent la communication dans le groupe grâce à des outils associés aux projets tels que des gestionnaires de listes de messagerie, des logiciels de suivi des tâches et de gestion des rapports d'anomalies. L'utilisation d'une plate-forme de ce type améliore la qualité des réalisations en accélérant les processus d'échange entre développeurs et les cycles de version des logiciels, tout en facilitant l'implication des utilisateurs dans la détection des erreurs ou la mise en lumière des fonctionnalités pertinentes des logiciels.»
Tirée de http://overcrowded.anoptique.org/ForgesEtatArt (licence Art Libre, créateur initial Benoît Sibaud, diffusable sous LAL, CC By, CC By-SA et GFDL).
Je liste ici quelques problèmes qui m'ont semblé émerger pendant les discussions de la journée.
forks nombreux du projet GForge avec peu de collaboration entre les projets
périmètre technique souvent imposé dans le débat; ce qui gêne la définition fonctionnelle d'une forge
forte hiérarchie des responsabilités avec un rôle 'développeur' limité au profit de celui du 'chef de projet'
très orienté web avec une stratégie d'intégration de produits tiers; d'où une situation délicate pour l'homogénéité des solutions à cause des limitations du protocole HTTP
la méthodologie de conception des logiciels n'est pas évoquée dans le choix d'une solution (et pas d'approche Agile en général).
Ce projet vise à migrer le contenu d'une forge (BerliOS) vers GForge sans passer par le backend SGBD.
L'idée est alors d'utiliser différentes ontologies pour 'mapper' les concepts des 2 forges.
Cross-Forge Migration Tool is a concept for facilitating the migration process of project metadata between forge platforms. It uses SWRL rules for mapping and OWL-S standard for exporting mapping results.
L'exposé présentait un cas d'utilisation du web sémantique pour la recherche et le tri de rapport d'anomalies sur des forges séparées. L'exemple utilisé a été de pouvoir rapatrier; puis sélectionner des tickets relatifs au projet Konqueror à travers le bugzilla de Debian et celui du projet lui-même. Il est ainsi possible de détecter certains doublons ou incohérences de versions.
J'ai pu présenter le framework CubicWeb et son architecture de composants. La présentation n'étant pas prévue initialement mais j'ai pû faire une démonstration à partir de la forge publique de Logilab.
À partir d'un schéma enrichi des composants installés, il est possible de faire des requêtes RQL (similaire à SPARQL) sur des entités et des sources distantes (Base de données, LDAP, subversion, ...). Logilab travaille aujourd'hui à l'ajout d'ontologies dans la manipulation de ce schéma.
Logilab sera présent le Mercredi 21 janvier à la rencontre francophone autour des forges.
Les présentations et les discussions porteront sur :
échange de données entre forges, interopérabilité
définition d’un modèle d’intégration ouvert
recherche multi-forges
gestion des permissions et partage d’identités
interaction entre la forge et le poste client
Logilab espère ainsi bénéficier de l'expérience de chacun et des pistes d'évolutions pour, à terme, les intégrer dans son projet de forge basé sur CubicWeb.
Toutes les informations de l'événement sont disponibles ici.
Si dans le même temps, Zoé part de la révision 123 et produit l'arbre:
123 -> 131
quand Zoé va vouloir faire son hg push sur l'entrepôt partagé, elle va avoir le message "ça crée des têtes, est-ce que vous
êtes sûr de vouloir faire ce push". Zoé va se dire qu'il vaut mieux
commencer par un 'pull' et un 'merge', mais c'est là qu'il faut se
méfier.
En effet, si Zoé est sur la révision 131 et qu'elle fusionne avec 130, le
changeset sera énorme car il contiendra tous les changements qui
permettent de passer de 123 à 130. En revanche, si Zoé passe sur la 130
et fusionne avec la 131, elle n'aura que les changements qu'elle vient
d'apporter. Dans le premier cas, le 'merge' sera difficile à comprendre, alors qu'il sera bien plus simple dans le second.
Au final, comment faire la fusion dans le "bon" sens ?
1/ hg push -> ah tient, ça crée des têtes, donc je ne le fais pas
2/ hg pull -u ou hg pull suivi de hg merge -> y'a eu un merge
3/ hg status -> beaucoup de fichiers modifiés... oulàlà, c'est bizarre je vais regarder
4/ hgview -> ah oui, sur l'autre tête y'a beaucoup plus de changements,
donc je vais plutôt faire le 'merge' dans l'autre sens
5/ hg up -C ab123_autre_tete -> je me retrouve sur l'autre tête
6/ hg merge cd456_ma_tete -> un joli 'merge'
7/ hg status -> seulement quelques fichiers modifés, voilà qui est mieux
8/ hg ci -m merge -> youpi, je valide cette fusion
9/ hg push -> tagada, je partage avec mes voisins
Moralité: faites des hg status et des hgview aussi souvent que nécessaire pour préparer vos commits et parvenir à un historique facile à comprendre.
Remarque: on peut aussi remplacer les étapes 5, 6 et 7 par hg diff -r ab123_autre_tete -r cd456_ma_tete pour afficher le diff de ma_tete par rapport à autre_tete, car l'opération de fusion doit être symétrique et donner le même résultat qu'on la lance depuis l'une ou l'autre tête, même si l'affichage par défaut de hg status et hg diff dépend de la tête qui constitue le premier parent (l'étape 5 ayant justement pour effet de changer ce premier parent).
Par manque de temps voici les infos en brut glanées jeudi soir dernier au NextMediaBarCamp :
Un BarCamp c'est assez rigolo, un peu trop de jeune cadres dynamiques en cravate à mon goût, mais bon. Parmi les trois mini-conférences auxquelles j'ai participé, il y avait une sur le web sémantique. Animée en partie par Fabrice Epelboin qui écrit pour la version française de ReadWriteWeb, j'ai appris des choses. Pour résumer ce que j'y ai compris : le web sémantique il y a deux approches :
soit on pompe le contenu existant et on le transforme en contenu lisible par les machines avec des algorithmes de la mort, comme opencalais le fait (top-down)
soit on écrit nous même en web sémantique avec des microformats ensuite les machines liront de plus en plus le web (bottom-up)
Dans le deuxième cas la difficulté est de faciliter la tache des rédacteurs du web pour qu'ils puissent facilement publier du contenu en web sémantique. Pour cela ces outils sont mentionnés : Zemanta, Glue (de la société AdaptiveBlue).
Tout ça m'a fait penser au fait que si CubicWeb publie déjà en microformats, il lui manque une interface d'édition à la hauteur des enjeux. Par exemple lorsque l'on tape un article et que l'application a les coordonnées d'une personne metionnée, il fait automagiquement une relation à cet élément. A creuser...
Sinon sur les autres confs et le futur des médias, selon les personnes présentes, c'est assez glauque : des medias publicitaires, custom-made pour le bonheur de l'individu, où l'on met des sous dans les agrégateurs de contenu plutôt sur des journalistes de terrain. Pour ceux que ça intéresse, j'ai aussi découvert lors de ce BarCamp un petit film "rigolo" qui traite ce sujet préoccupant.
Un problème rencontré hier : un test unitaire plante sous Windows, après avoir créé un objet qui garde des fichiers ouverts. le tearDown du test est appelé, mais il plante car Windows refuse de supprimer des fichiers ouverts, et le framework de test garde une référence sur la fonction de test pour qu'on puisse examiner la pile d'appels. Sous Linux, pas de problème (on a le droit du supprimer du disque un fichier ouvert, et donc pas de soucis dans le teardown).
Quelques pistes pour contourner le problème:
mettre le test dans un try...finally avec un del sur l'objet qui garde les fichiers ouverts dans le finally. Inconvénient : quand le test ne passe pas, pdb ne permet plus de voir grand chose
au lieu de nettoyer dans le tearDown, nettoyer plus tard dans un atexit par exemple. Il faut voir comment ça se passe si plusieurs tests veulent écrire dans les mêmes fichiers (je pense qu'il faudrait un répertoire temporaire par test, si on veut pouvoir avoir plusieurs tests qui foirent et examiner leurs données, mais il faut tester pour être sûr)
coller un try...except dans le tearDown autour de la suppression de chaque fichier, et mettre les fichiers qui posent problème dans une liste qui sera traitée à la sortie du programme (avec atexit par exemple).
Ça ressemble à du bricolage, mais on a un comportement de windows sur lequel on n'a pas de contrôle (même avec des privilèges Administrateur ou System, on ne peut pas contourner cette impossibilité de supprimer un fichier ouvert, à ma connaissance).
Une autre approche, nettement plus lourde, serait de virtualiser la création de fichiers pour travailler en mémoire (au minimum surcharger os.mkdir et le builtinopen, voire dans le cas qui nous intéresse les modules qui travaillent avec des fichiers zip). Il y a peut-être des choses comme ça en circulation. Poser la question sur la liste TIP apportera peut-être des réponses (une rapide recherche dans les archives n'a rien donné).
Bienvenue à SciLab version 5.0 dans le monde du logiciel libre. SciLab 5.0, plateforme open source de calcul scientifique sous licence CeCill, est une alternative crédible et maintenant reconnue comme telle à Matlab. Pour assurer le développement pérenne de Scilab, le consortium Scilab rejoint DIGITEO, parc de recherche d'envergure mondiale dans le domaine des sciences et
technologies de l'information en Île-de-France.
Une présentation sur l'assurance-qualité a été présentée le 17 mai 2008 pour les journées Python organisées par l'Association Francophone Python (AFPy).
Le but visé est de décrire quelques notions et pratiques simples pour améliorer la lisibilité et la maintenabilité de votre code python.
Quelques outils standards de python sont décrits en première partie; pour finir par une revue de projets plus ambitieux mais indispensables pour la création de code de qualité.
Photo sous licence creative commons By-Nc-Nd par : yota
La journée s'est bien passée, j'ai eu quelques questions. Un chercheur
en génétique a demandé si le projet serait continué sur la recherche
des peptides (car ce sont les gènes qui codent les peptides d'après
ce que j'ai compris). J'ai transféré cette demande à Eric Eveno,
je n'ai pas de réponse pour l'instant. Normalement, la vidéo devrait
être disponible sur :
dzhandle -z 2.10 make-instance sgel2 --zeo-server=localhost:8100 -m all
dzhandle -z 2.10 make-instance sgel3 --zeo-server=localhost:8100 -m all
dzhandle -z 2.10 make-instance sgel1 --zeo-server=localhost:8100 -m all
dzhandle -z 2.10 make-instance sgel4 --zeo-server=localhost:8100 -m all
modifiez les ports de chaque instance (par exemple 9673, 9674, 9675, 9676)
vim ~/zope/instances/sgel*/etc/zope.conf
dzhandle add-product sgel1 CMFPlone
dzhandle add-product sgel2 CMFPlone
dzhandle add-product sgel3 CMFPlone
dzhandle add-product sgel4 CMFPlone
dzhandle zeoctl sgel_zeo start
dzhandle zopectl sgel1 start
dzhandle zopectl sgel2 start
dzhandle zopectl sgel3 start
dzhandle zopectl sgel4 start
vim /etc/pound/pound.cfg pour remplacer
BackEnd
Address 127.0.0.1
Port 8080
End
par
Service
BackEnd
Address 127.0.0.1
Port 9673
End
BackEnd
Address 127.0.0.1
Port 9674
End
BackEnd
Address 127.0.0.1
Port 9675
End
BackEnd
Address 127.0.0.1
Port 9676
End
End
Il existe un outil, Reinteract, qui permet d'avoir une sorte de d'éditeur/shell Python, où l'on peut aisément modifier et réinterpreter une ligne de code.
Sachant qu'il sait aussi afficher des plots, etc, il est possible de s'en servir avantageusement pour faire des sessions Matlab-like.
Un petit raccourci pratique pour ion3, qui permet, sur la combinaison de touches de son choix, de prendre le texte actuellement sélectionné (surligné) dans sa session X11, et, en fonction de son contenu :
d'ouvrir un onglet Firefox avec l'url sélectionnée,
d'ouvrir un xpdf si c'est une URL de fichier PDF,
lancer OpenOffice.org si c'est un fichier OOo,
ouvrir le fichier dans emacs si c'est un .py, .po, etc.
etc.
Pour cela, il faut le script magique ci-dessous, et configurer ion pour appeler ce script sur la bonne combinaison de touches. Par ex. ajouter dans votre ~/.ion3/cfg_ion.lua les lignes
J'ai découvert vim-addons (qui est apparu dans debian récement) et ce petit outil permet de faire d'etendre les fonctionnalités de vim assez facilement. Voici une utilisation parmi tant d'autres :