Sans suivre de méthode en particulier, je suis plutôt pragmatique, itératif et agile dans ma façon de faire. C’est pourquoi je m’intéresse aux préceptes de l’agilité et j’adore en discuter avec des confrères.
Evidemment, tout cela avec le prisme d’un projet BI.

J’ai eu l’occasion d’en parler lors d’une session aux Journées SQL Server en décembre dernier. Plus récemment, il y a eu l’Afterwork sur l’agilité avec SQL Server.

Dernièrement, dans le cadre de l’émission Bon App’, j’ai eu l’occasion d’être interviewé  par Benoit Launay, chef de produit Visual Studio sur l’outillage et l’agilité dans un projet BI.

De quoi dévoiler un peu plus ma (mes) vision sur le sujet mais surtout de faire un focus sur l’outillage qu’on peut avoir sur un projet BI.

Vous allez vite le comprendre, je plébiscite l’usage de TFS (Team Foundation Server) pour organiser votre travail en le centrant sur les Work Items. Visual Studio, c’est obvious mais tirez en partie à fond avec les fonctionnalités liées aux bases de données.

L’interview est disponible sur la site SQL TechNet

Plutôt que de faire une série de 10 articles postés à 1 heure d’intervalle, je vais plutôt vous faire un gros update en une fois.

Passons en revue ce qu’il s’est passé depuis quelques mois et ce qui est dans les starting-blocks.

Assemblée Générale

Le 9 avril a eu lieu l’Assemblée Générale du GUSS. Si vous trouvez bizarre de ne pas avoir été prévenu, c’est parce qu’elle est réservée aux adhérents. Mais c’était comme cela pour la dernière fois.

En effet, nous avons modifié les statuts de l’association. Sans rentrer dans les détails, voici les grands changements :

• Suppression de l’adhésion : c’est maintenant gratuit d’être membre actif du GUSS et donc de pouvoir voter en Assemblée Générale. Il vous suffit juste d’être “actif”, c’est à dire de venir à quelques uns de nos événements, de vous abonner à la newsletter ou encore de participer aux discussions sur les réseaux sociaux.
• Changement de nom : nous sommes le Groupe des Utilisateurs SQL Server. Quelle différence ? Nous avons juste retiré le “Francophones” qui polluait un peu le nom. Et puis, francophone ou pas, tout le monde est le bienvenu.
• Mise en place du Board : nous avons revu la façon dont est dirigée l’association. C’est maintenant un “Board” de 9 personnes qui décident des actions du GUSS. Chacun possédant une voix.
  Dans cette organisation, le rôle de président n’a pas vraiment d’intérêt même s’il en faut toujours un pour les aspects “officiels” de l’association.
  Le nouveau président du Groupe Utilisateur SQL Server est donc Jean-Pierre Riehl (oui, c’est moi ).
  Arian Papillon devient le vice-président de l’association.

Tout le détail des nouveaux statuts de l’association se trouve sur notre ancien site web

Le Board est constitué des membres suivants, vous les connaissez certainement tous :

Afterwork Agilité

Le 17 avril a eu lieu un Afterwork consacré à l’agilité avec SQL Server, j’en parlais dans cet article.

Comme on peut s’en douter, cela s’est très bien passé et j’ai été très heureux de voir que le sujet a su fédérer au-delà de SQL Server puisque nous avions des spécialistes de l’agilité pure et dure  parmi nous.

Un bon Afterwork rempli de discussions passionnées qui va sans nul doute déboucher sur une session dédiée à ce thème.
J’ai pu échanger avec certains qui aimeraient une sorte de table ronde et j’abonde sur ce format.

1er sessions online du GUSS

Le 24 avril nous avons pu tester un nouveau format pour vous proposer du contenu : les sessions online.

Kézako ? C’est simple, plus besoin d’être présent physiquement pour assister à une présentation technique animée par l’un de nos experts. Une connexion internet, un client Lync gratuit et hop, vous êtes à la conférence en direct.

En plus, le format se veut court (2 sessions de 30 minutes) et a lieu en fin de journée pour ne pas vous prendre de temps sur votre journée de travail.
—N’hésitez pas à nous faire part de vos préférences horaires—

C’est David Barbarin qui a étrenné ce type de conférence en nous présentant 2 sujets autour de Always-On. Le premier était un rappel des bases et le second une implémentation sur une ferme SharePoint issue de sa propre expérience.

Evidemment, l’avantage de ce type de sessions, c’est que nous les enregistrons et les mettons à disposition sur notre site web : Slides et Webcasts Always-On

Le prochain ? on en reparle dans 2 paragraphes .

Newsletters & réseaux sociaux

On essaie de garder un rythme soutenu pour les newsletters avec au moins une par mois.
Mais que cela ne vous dispense pas suivre l’actualité sur les différents canaux disponibles :

• Site Web
• Twitter
• Facebook
• Linkedin
• Viadeo
• …et l’ensemble des blogs des membres du board…

Vous pourrez connaitre les événements à venir mais aussi l’actualité SQL Server, qu’elle vienne de Microsoft, de la communauté française ou de la communauté internationale.

Prochain webcast

En parlant d’actualité, un scoop sur ce blog, l’annonce de la prochaine session en ligne du GUSS.

Elle aura lieu le 29 mai à 18h30 en ligne.

Les sujets (2×30 minutes) seront  :

Data Explorer : démonstration d’utilisation de l’addin Excel de Self-Service ETL; de quoi façonner ses données avant de les analyser avec PowerPivot et Power View

Geoflow : démonstration du dernier addin Excel de visualisation de données. Celui-ci est consacré à la visualisation de données cartographiques en 3D et est en plus très adapté au story-telling.

Comme la dernière fois, le lien sera communiqué quelques jours avant et se trouvera sur tous les  canaux du GUSS.

Prochain Afterwork

Tant que je suis dans les fuites d’actualités, j’en profite, je balance! Je peux vous donner d’ores et déjà la date et le sujet du prochain Afterwork.

Il aura lieu le 5 juin à 19h00 (vraisemblablement au Charly Birdy) et aura pour thème SQL Server et le Cloud, sous toutes ses facettes, IaaS, PaaS, SaaS, pour la BI ou pour les Data.

Nouveau site web

Enfin dernier scoop, le nouveau site web du GUSS qui avait été annoncé en plénière des dernières Journées SQL Server est quasiment terminé. Il devrait ouvrir très prochainement.

Pas de grand chamboulement, nous l’avons juste relooké et épuré. Le Big Point, c’est le branchement sur les réseaux sociaux qui vous permettra d’interagir sur l’actualité et les flux RSS vous permettant de la suivre plus facilement.

Mais qui sont Ils ? Ils, ce sont les organisateurs de la Conf’SharePoint, des confrères MVP qui ont décidé d’organiser une grande conférence technique sur SharePoint

La Conf’SharePoint, c’est quoi ?

La Conf’SharePoint, c’est LA grande conférence SharePoint en France. C’est un peu comme nos Journées SQL Server mais pour SharePoint.

Une différence notable toutefois. C’est un événement payant. Il vous en coutera 250€ pour une journée et 600€ les 3 jours. Cela permet de voir les choses en plus grand, de vous offrir une logistique premium et de faire venir des speakers internationaux (pardon, il parait qu’on dit “conférencier” au canada ).

Bref, une vraie conférence premium qui vaut largement l’investissement.
A noter que cela peut être déduit de vos budgets de formation donc rien n’est perdu.

C’est quand, c’est où ?

22 au 24 mai 2013
Centre de Congrès du Disney’s Hotel New York
Disneyland Paris

En raccourci, c’est chez Mickey et c’est à la fin du mois.

C’est quoi le lien avec toi ?

Le lien avec moi ? Non mais allô quoi ?

Je suis MVP
–> Les MVP speakent aux conférences techniques
–> Des MVP organisent la Conf’SharePoint
–> Les MVP sont une grande famille
–> La Business Intelligence Microsoft se marie très bien avec les portails collaboratifs
–> Ma Business Unit chez AZEO fait partie de la division Data & Collaboration
–> Je suis expert en Business Intelligence Microsoft 
–> Je speake à la Conf’SharePoint
Evident non ?

Bref, j’anime 2 sessions à la Conf’SharePoint :

Mettre en place Kerberos pour la BI en 1h

L’objectif est simple, vous donner les clés de la configuration Kerberos de vos modules BI (donc SQL Server) dans votre ferme SharePoint. Et donc rien de mieux que de le faire en direct lors d’une démo.

Gouvernance BI, maîtriser le décisionnel dans votre entreprise

On sait qu’un outil comme SharePoint nécessite de mettre en place une bonne gouvernance pour pouvoir maitriser sont adoption et sa bonne utilisation dans l’entreprise. C’est aussi vrai pour la Business Intelligence, surtout avec ses nouveaux usages, en particulier le Self-Service BI.
L’objectif est de discuter ensemble sur ses sujets et de pointer quelques bonnes démarches à mettre en oeuvre.

Elles auront lieu toutes les deux le dernier jour, le vendredi 24 mai, le matin.

Il est encore temps de vous inscrire pour venir voir ces 2 sujets (et plein d’autres).

http://www.confsharepoint.com

Entre les conférences que je prépare, les 2 projets dont je m’occupe et celui qui vient de se terminer, le Groupe des Utilisateurs SQL Server qui prend de l’ampleur, j’ai beaucoup de mal à trouver du temps pour rédiger proprement des articles.

Je dis proprement car je ne sais pas écrire des articles sans le faire sérieusement, en structurant ma pensée, en développant avec de jolies (para)phrases; en vous mettant des exemples ou de beaux screenshots.

Car ce ne sont pas les sujets/idées qui manquent… Entre mon projet de SSAS Tabulaire (oui, mon équipe et moi avons choisi du tabulaire), mon projet SSRS cartographique multi-niveau avec du MDX généré, mes installations Kerberos, la plate-forme SQL Server BI que j’ai monté sur du IaaS Azure et tout ce que je fais en mode consulting, des sujets techniques, y’en a un paquet.

Si on rajoute l’actualité du GUSS, l’actualité SQL Server et mon engagement MVP, j’ai une bonne vingtaine de billets de retard.

Beaucoup de choses vont se déboucler dans les semaines à venir alors soyez patients.

Note : vous pourriez trouver que ça fait un peu égocentrique-mégalomane comme article. Mais au cas où vous ne me connaitriez pas bien, JE SUIS égocentrique-mégalomane donc c’est tout ce qu’il y a de plus normal.

Allez, trêve de bavardages, je vais commencer à rattraper mon retard.

Blog Data Explorer – Latest update

Dès mes premiers tests sur PowerPivot (Octobre 2011), j’ai été bloqué par l’absence de cette feature. J’ai même essayé de la développer avec une fonction M récursive à base de SelectNames() mais je ne suis pas arrivé au bout.

Mais aujourd’hui, j’ai juste à faire un update de l’addin directement dans Excel.

La version est la 1.0.3264.4.

Voyons le cas d’usage concret.

Vous savez que je base une bonne partie de mes démos sur des données Open Data fournies par la France (très pauvre sur le sujet mais on a quand même quelques chiffres).
Le jeu de données est une feuille Excel crado contenant la fréquentation des musées d’Ile-de-France :

http://www.data.gouv.fr/DataSet/30382387

On passera sur le fait que l’administration française n’ait aucune notion sur les datasets et la qualité de données (on voit bien qu’un fonctionnaire a juste déposé son fichier Excel 97 sur le site).

Concentrons nous sur le fait que les années sont en colonnes. Pour faire une jolie table de faits et ainsi avoir un modèle facilement exploitable (croissance annuelle, slicer temporel, play axis dans un Scatter Graph ou dans GeoFlow…), il nous faut pivoter la table.

Les utilisateurs d’Excel me diront (m’ont déjà dit) :

“c’est facile, tu fais un Transpose”

En fait, le transpose inverse ligne et colonne, il ne pivote pas une ou plusieurs colonnes. Le seul outil que je connaisse capable de faire cela est SSIS.

C’est parti. Pour commencer, importons les données ; pour cela, pas besoin de mettre le fichier Excel sur votre bureau, il suffit directement de laisser Data Explorer aller le chercher.

On fait un peu le ménage dans les lignes et les colonnes pour ne conserver que le tableau de données

Dans le détails, ça donne :

• Remove Top Rows
• Use First Row as Headers
• Change Type to Number (colonne 1)
• Filter Value <> null et Number.NaN (colonne 1)
• Hide Columns “Evolutions xxx”

Ensuite, on lance la fonction de Unpivot

Il faut sélectionner l’ensemble des colonnes que l’ont souhaite pivoter. Le nom de la colonne devient la valeur d’une nouvelle colonne “Attribute” et la valeur de la cellule devient la la valeur de la nouvelle colonne “Value”.

Evidemment, tout cela est paramétrable dans la fonction M:

= Table.Unpivot(FilteredRows,{"TOTAL#(lf) 06", "TOTAL#(lf) 07", "TOTAL#(lf) 08", "TOTAL#(lf) 09", "TOTAL#(lf) 10"},"TOTAL","Fréquentation")

Petite subtilité

Dans notre exemple, nous devons pivoter 2 fois : la fréquentation totale et la fréquentation gratuite. Le problème c’est qu’en pivotant 2 fois, on génère la combinatoire des années “totales” et “gratuites”.

L’astuce que je prends est la suivante :

• je transforme la colonne pour n’avoir que l’année

=Table.ReplaceValue(ReplacedValue1,"GRAT#(lf)","20",Replacer.ReplaceText,{"GRATUIT"})

• je filtre pour ne garder que les lignes quand les 2 colonnes sont égales

=Table.SelectRows(ReplacedValue2, each [TOTAL] = [GRATUIT])

Et voila le résultat :

La news officielle (c’est une annonce du PASS Business Analytics) est ici : Blog Data Platform Insider

Pour ceux qui ne suivent pas les news vous pouvez faire une session de rattrapage sur le blog de Patrick Guimonet ou en anglais sur l’incontournable blog de Chris Webb

GeoFlow, c’est simple c’est les Maps de Power View mais en 3D…

Evidemment, c’est un peu plus que cela mais si on doit le résumer en 2 mots, c’est un reporting cartographique 3D dans Excel sur des données du Data Model (donc de PowerPivot, de DataExplorer ou de n’importe quelle table).

Pour télécharger c’est ici !

Promis je vous fais un article complet ASAP pour vous parler des fonctionnalités (les “Tours”, le Play Axis, la HeatMap, etc.).

Le prochain Afterwork du GUSS aura lieu en avril. Même si autour d’un verre nous discutons habituellement de nombreux sujets divers et variés, le fil conducteur sera cette fois-ci :

Gestion de projet et Agilité autour de SQL Server

Que vous soyez, DBA ou spécialiste du décisionnel, vous devez gérer des sources, des demandes, des versions, etc.
Comment gérer tout cela ? Ce sera l’objet de la discussion.

17 avril – 19h00
Charly-Birdy
1 place Etienne Pernet, Paris 15ème
Métro Commerce

Ca me rappelle la session que j’ai fait aux Journées SQL Server sur le sujet (précisément sur les projets BI).

Suite à cette session, avec quelques compères (Florian “fleid” Eiden et Charles-Henri “Charly” Sauget entre autres), nous avons pas mal débattu sur les outils, les méthodes, la réalité du terrain, etc. sans forcément partager cela avec vous. Nous espérons digresser avec vous lors de cet Afterwork.

Etat de l’art et Roadmap de la BI Mobile

• Vidéo sur le site des TechDays
• Voir la présentation sur Slideshare

Gouvernance des données et Self-Service ETL avec Data Explorer

• Vidéo sur le site des TechDays (la vidéo n’est pas la bonne pour le moment)
• Voir la présentation sur Slideshare

Et pour revoir TOUT les Techdays :  Vidéos des sessions 2013

Si vous aimez connaitre tout l’historique voici mes posts sur la version “alpha” de Data Explorer, quand il était encore incubé par les Azure Labs :

• La philosophie (attention, poneys inside)
• La sortie de la version alpha
• Le tutoriel de la version Alpha
• Ma session aux TechDays 2012
• 1er article sur la CTP de Data Explorer

Pour démarrer, il vous faut l’add-in Excel :

Data Explorer v1.0.3231

C’est bon, vous l’avez installé, c’est parti.

Recherche online

Le principe de la recherche “online” est super simple : vous tapez juste des mots-clés pour trouver des données, comme vous le feriez dans votre moteur de recherche habituel.

Data Explorer se charge de trouver des DataSets correspondant à votre recherche. Pour le moment, il n’y a que des données en provenance de Wikipedia (en anglais) mais on imagine bien avoir de nombreuses sources “publiques” à disposition dans la version finale et notamment le Azure Data Market (disponible mais pas en mode recherche).

Pour utiliser un Dataset comme source de données, il suffit de cliquer sur Use dans le panneau de recherche et la fenêtre de Mashup de Data Explorer s’ouvre.

Les nouveaux connecteurs

Data Explorer a conservé ses sources principales : contenu web (HTML, JSon, OData, SharePoint), fichiers locaux ou sur le web (texte, csv, XML, Access, Excel) et SQL Server.

La liste des bases de données supportées s’est considérablement agrandie. On peut se connecter maintenant à Azure, MySQL, Oracle, DB2, PostgreSQL et Teradata. On regrette toutefois qu’il n’y ait pas tout simplement un support de OLEDB ou de ODBC.

On trouve aussi maintenant des sources Active Directory (ce qui montre bien que les données de l’entreprise sont bien la cible), HADOOP (HDFS et HDInsight) et même l’Open Graph de Facebook.

Enfin, très naturellement puisque maintenant on est dans Excel, une simple table Excel devient également une source de données.

La nouvelle interface

C’est évidemment du côté de l’interface qu’il y a eu de grands changements.

Version Azure Labs

Version Excel

On retrouve toutefois les éléments qui composent notre mashup de données mais organisés de différentes façons pour apporter un maximum d’intuitivité à l’utilisateur dans le façonnage de son Dataset.

• Navigator : la zone à gauche de la fenêtre est une zone de navigation dans la source de données.
  En fonction du “provider” des données choisi comme source, on va pouvoir naviguer pour rechercher le Dataset voulu.
  C’est le cas pour un fichier Excel avec les feuilles de données mais aussi pour une base de données la liste des bases puis des tables.
  Cela montre bien que Data Explorer tire partie de chaque Provider en lui déléguant une partie du travail. J’en reparlerai dans un prochain article mais c’est pareil pour un filtre, une jointure ou une agrégation, elle sera faite au niveau le plus bas possible.
• Steps : la zone à droite de la fenêtre liste toute les étapes de notre mashup. Elle remplace le “fil d’ariane” qui se trouvait au dessus du Dataset dans la précédente version. Cela permet de revenir à une étape pour la modifier ou la supprimer.
  Je la trouve d’ailleurs plus rapide et pratique que la précédente.
• La barre d’outils : mais où est-elle passée ? Dans la précédente version, elle occupait tout un bandeau en haut de l’écran et là, plus rien, place aux données…
  En fait, toutes les actions / transformations sont maintenant accessibles dans leur contexte avec un simple clic-droit. Par exemple, si on veut masquer une colonne du dataset qu’on utilise pas, il suffit de faire un clic-droit sur son entête.
  Les zones cliquables sont les entêtes de colonnes, les valeurs (contextualisées) et le tableau lui même (dans le coin en haut à gauche)
  Plus intuitif (ou pas ?), en tout cas on retrouve ses petits assez facilement je trouve.
• La barre de formules : l’un des atouts de Data Explorer pour un profil ‘”développeur” comme moi, c’est de savoir qu’on peut développer soit même les fonctions de transformations.
  Pour cela, on a une barre de formules, comme celle d’Excel ou de PowerPivot.
  Le langage est toujours le langage M et l’API est plutôt riche.

Les transformations

Comme je le disais, les transformations sont maintenant accessibles directement dans le Dataset. A première vue, je n’ai pas noté de nouvelles transformations ou de transformations en moins. (il me manque toujours le Pivot/Unpivot…)

Toutefois, en jouant un peu avec les données, il y a 2 nouveautés que j’ai bien apprécié.

La première, c’est la possibilité de récupérer le contenu des fichiers d’un répertoire (pas juste les noms) ce qui permet d’adresser des scénarios de concaténation de fichiers textes par exemple.

La seconde est dans la même lignée. En fonction de la source de données, on peut suivre les “jointures” possibles. Ca marche avec les relations entre des tables d’une base de données par exemple. On peut donc choisir de récupérer de nouvelles colonnes ou bien agréger des données relatives. On utilisera aussi cette façon de faire pour dérouler du contenu JSON, HTML ou XML.

Cette nouveauté est vraiment une tuerie !

Mixer les sources

Enfin, pour compléter l’expérience de Mashup, il ne manque que la liaison entre plusieurs Datasets.

Dans la précédente version, on avait tous nos Datasets sur la gauche et des options pour faire des UNION, des MERGE ou des copies/références.
Data Explorer en version Excel garde toutes ces fonctionnalités mais réparties différemment dans l’interface.

Déjà, sachez que chacun de nos Dataset est appelé Query (on verra la traduction qui sera choisie). Pour les retrouvez, c’est simple allez sur la table résultante et vous aurez les toutes les options dans le ruban Excel (Data Explorer ou Table Tools).

Et mes données, j’en fais quoi après ?

Cette question n’a qu’une réponse : OBVIOUS !

Vous êtes dans Excel, non mais allô quoi ? vous me recevez ? Vous êtes dans Excel ? Genre tu fais de la BI et tu connais pas PowerPivot ? Non mais allô quoi…¹

En fait, c’est simple vous injectez votre Dataset dans PowerPivot (ie. dans votre Data Model si vous êtes dans 2013) et vous n’avez plus qu’à faire vos analyses et vos tableaux de bord.
Vous pouvez même faire un rapport Power View.

En conclusion

Concernant les fonctionnalités, pas de grandes évolutions par rapport à la version alpha mise à part de nouvelles sources de données. Je retrouve tout ce qui m’a séduit dans l’outil dans sa précédente version.

Toutefois, on doit noter que  la navigation dans les sources de données est vraiment améliorée ce qui simplifiera la vie des utilisateurs qui ne savent pas ce qu’est une jointure.

Le grand changement est évidemment les interfaces très intuitives et bien dans le style Excel 2013. Et justement, le fait d’être dans Excel permet un usage instantané des données. (oubliez le Publish mis en avant dans la précédente version)

Pour aller plus loin

Pour rester informé, suivez ce blog (je mettrai d’autres tutoriaux) ou celui de l’équipe produit :

http://blogs.msdn.com/b/dataexplorer/

¹ : si vous n’avez pas compris ce passage, c’est que vous n’avez pas suivi le buzz du moment.

Mais il n’y avait pas déjà une CTP ?

En fait, non. C’était une version “alpha” qui était hébergée dans les SQL Azure Labs (une sorte de pépinière d’innovation).

Sans nouvelles depuis presque 1 an, le projet était en phase de développement intensive à Redmond.

Etant à Seattle depuis 10 jours (pour le MVP Summit), j’ai eu la chance de passer un peu de temps à discuter avec les équipes de Data Explorer.

Le produit a vraiment pris de la maturité d’un coup. Cette nouvelle version fonctionne directement dans Excel sous la forme d’un Add-in et les interfaces sont vraiment bien intégrées.

What’s New ?

Les fonctionnalités restent les mêmes mais les cas d’usage sont plus fluides et pratiques.

Pas de nouvelles transformations mais de nouvelles sources (Facebook, HDInsight, etc.).

Ce qui me  plait le plus est l’intégration à Excel 2013 et au Data Model puisque vous pouvez directement envoyer votre flux dans le Data Model (ie. PowerPivot).

Le moteur de formules (langage M) est toujours là mais un peu plus caché, ce qui en fait un vrai outil de SSBI (Self-Service BI) et un peu moins un outil de geek.

Pour démarrer :

Téléchargez juste l’addin : http://www.microsoft.com/en-us/download/details.aspx?id=36803

PS : Je suis sensé être en vacances donc je posterai un article plus complet à mon retour. On jouera au jeu des 7 différences et verra comment intégrer Data Explorer dans votre Self-Service BI.