Archives de la catégorie ‘Business Intelligence’

Visual Studio, TFS pour de l’agilité dans un projet BI

14 mai 2013

Une des facettes que j’adore dans mes différents métiers quotidien, c’est le côté Chef de Projet. Organiser le travail, l’équipe, le projet, anticiper les réactions du client, etc. , sont des choses que j’adore faire.

Sans suivre de méthode en particulier, je suis plutôt pragmatique, itératif et agile dans ma façon de faire. C’est pourquoi je m’intéresse aux préceptes de l’agilité et j’adore en discuter avec des confrères.
Evidemment, tout cela avec le prisme d’un projet BI.

J’ai eu l’occasion d’en parler lors d’une session aux Journées SQL Server en décembre dernier. Plus récemment, il y a eu l’Afterwork sur l’agilité avec SQL Server.

Dernièrement, dans le cadre de l’émission Bon App’, j’ai eu l’occasion d’être interviewé  par Benoit Launay, chef de produit Visual Studio sur l’outillage et l’agilité dans un projet BI.

image

De quoi dévoiler un peu plus ma (mes) vision sur le sujet mais surtout de faire un focus sur l’outillage qu’on peut avoir sur un projet BI.

Vous allez vite le comprendre, je plébiscite l’usage de TFS (Team Foundation Server) pour organiser votre travail en le centrant sur les Work Items. Visual Studio, c’est obvious mais tirez en partie à fond avec les fonctionnalités liées aux bases de données.

L’interview est disponible sur la site SQL TechNet

Data Explorer–fonction unpivot

13 avril 2013

Ce matin une bonne nouvelle de la part de l’équipe Data Explorer : la fonction Unpivot arrive !

Blog Data Explorer – Latest update

Dès mes premiers tests sur PowerPivot (Octobre 2011), j’ai été bloqué par l’absence de cette feature. J’ai même essayé de la développer avec une fonction M récursive à base de SelectNames() mais je ne suis pas arrivé au bout.image

Mais aujourd’hui, j’ai juste à faire un update de l’addin directement dans Excel.

La version est la 1.0.3264.4.

Voyons le cas d’usage concret.

Vous savez que je base une bonne partie de mes démos sur des données Open Data fournies par la France (très pauvre sur le sujet mais on a quand même quelques chiffres).
Le jeu de données est une feuille Excel crado contenant la fréquentation des musées d’Ile-de-France :

http://www.data.gouv.fr/DataSet/30382387

image
On passera sur le fait que l’administration française n’ait aucune notion sur les datasets et la qualité de données (on voit bien qu’un fonctionnaire a juste déposé son fichier Excel 97 sur le site).

Concentrons nous sur le fait que les années sont en colonnes. Pour faire une jolie table de faits et ainsi avoir un modèle facilement exploitable (croissance annuelle, slicer temporel, play axis dans un Scatter Graph ou dans GeoFlow…), il nous faut pivoter la table.

Les utilisateurs d’Excel me diront (m’ont déjà dit) :

“c’est facile, tu fais un Transpose”

En fait, le transpose inverse ligne et colonne, il ne pivote pas une ou plusieurs colonnes. Le seul outil que je connaisse capable de faire cela est SSIS.

C’est parti. Pour commencer, importons les données ; pour cela, pas besoin de mettre le fichier Excel sur votre bureau, il suffit directement de laisser Data Explorer aller le chercher.

image

On fait un peu le ménage dans les lignes et les colonnes pour ne conserver que le tableau de données

image

Dans le détails, ça donne :

  • Remove Top Rows
  • Use First Row as Headers
  • Change Type to Number (colonne 1)
  • Filter Value <> null et Number.NaN (colonne 1)
  • Hide Columns “Evolutions xxx”

Ensuite, on lance la fonction de Unpivot

image

Il faut sélectionner l’ensemble des colonnes que l’ont souhaite pivoter. Le nom de la colonne devient la valeur d’une nouvelle colonne “Attribute” et la valeur de la cellule devient la la valeur de la nouvelle colonne “Value”.

Evidemment, tout cela est paramétrable dans la fonction M:

= Table.Unpivot(FilteredRows,{"TOTAL#(lf) 06", "TOTAL#(lf) 07", "TOTAL#(lf) 08", "TOTAL#(lf) 09", "TOTAL#(lf) 10"},"TOTAL","Fréquentation")

Petite subtilité

Dans notre exemple, nous devons pivoter 2 fois : la fréquentation totale et la fréquentation gratuite. Le problème c’est qu’en pivotant 2 fois, on génère la combinatoire des années “totales” et “gratuites”.

image

L’astuce que je prends est la suivante :

  • je transforme la colonne pour n’avoir que l’année
=Table.ReplaceValue(ReplacedValue1,"GRAT#(lf)","20",Replacer.ReplaceText,{"GRATUIT"})
  • je filtre pour ne garder que les lignes quand les 2 colonnes sont égales
=Table.SelectRows(ReplacedValue2, each [TOTAL] = [GRATUIT])

 

Et voila le résultat :

image

Preview Publique de GeoFlow

11 avril 2013

Un poste à la vitesse de la lumière. Depuis aujourd’hui est disponible GeoFlow en version Preview (ie. beta).

La news officielle (c’est une annonce du PASS Business Analytics) est ici : Blog Data Platform Insider

Pour ceux qui ne suivent pas les news vous pouvez faire une session de rattrapage sur le blog de Patrick Guimonet ou en anglais sur l’incontournable blog de Chris Webb

GeoFlow, c’est simple c’est les Maps de Power View mais en 3D…

image

Evidemment, c’est un peu plus que cela mais si on doit le résumer en 2 mots, c’est un reporting cartographique 3D dans Excel sur des données du Data Model (donc de PowerPivot, de DataExplorer ou de n’importe quelle table).

Pour télécharger c’est ici !

Promis je vous fais un article complet ASAP pour vous parler des fonctionnalités (les “Tours”, le Play Axis, la HeatMap, etc.).

Replay de mes sessions aux TechDays

31 mars 2013

 

Etat de l’art et Roadmap de la BI Mobile

image

 

Gouvernance des données et Self-Service ETL avec Data Explorer

image

 

Et pour revoir TOUT les Techdays :  Vidéos des sessions 2013

Data Explorer version 2013

17 mars 2013

Préambule

Si vous aimez connaitre tout l’historique voici mes posts sur la version “alpha” de Data Explorer, quand il était encore incubé par les Azure Labs :

 

Pour démarrer, il vous faut l’add-in Excel :

Data Explorer v1.0.3231

C’est bon, vous l’avez installé, c’est parti.

Recherche online

Le principe de la recherche “online” est super simple : vous tapez juste des mots-clés pour trouver des données, comme vous le feriez dans votre moteur de recherche habituel.

Data Explorer se charge de trouver des DataSets correspondant à votre recherche. Pour le moment, il n’y a que des données en provenance de Wikipedia (en anglais) mais on imagine bien avoir de nombreuses sources “publiques” à disposition dans la version finale et notamment le Azure Data Market (disponible mais pas en mode recherche).

image

Pour utiliser un Dataset comme source de données, il suffit de cliquer sur Use dans le panneau de recherche et la fenêtre de Mashup de Data Explorer s’ouvre.

 

Les nouveaux connecteurs

Data Explorer a conservé ses sources principales : contenu web (HTML, JSon, OData, SharePoint), fichiers locaux ou sur le web (texte, csv, XML, Access, Excel) et SQL Server.

La liste des bases de données supportées s’est considérablement agrandie. On peut se connecter maintenant à Azure, MySQL, Oracle, DB2, PostgreSQL et Teradata. On regrette toutefois qu’il n’y ait pas tout simplement un support de OLEDB ou de ODBC.

On trouve aussi maintenant des sources Active Directory (ce qui montre bien que les données de l’entreprise sont bien la cible), HADOOP (HDFS et HDInsight) et même l’Open Graph de Facebook.

Enfin, très naturellement puisque maintenant on est dans Excel, une simple table Excel devient également une source de données.

 

La nouvelle interface

C’est évidemment du côté de l’interface qu’il y a eu de grands changements.

image
Version Azure Labs

imageVersion Excel

On retrouve toutefois les éléments qui composent notre mashup de données mais organisés de différentes façons pour apporter un maximum d’intuitivité à l’utilisateur dans le façonnage de son Dataset.

  • imageNavigator : la zone à gauche de la fenêtre est une zone de navigation dans la source de données.
    En fonction du “provider” des données choisi comme source, on va pouvoir naviguer pour rechercher le Dataset voulu.
    C’est le cas pour un fichier Excel avec les feuilles de données mais aussi pour une base de données la liste des bases puis des tables.
    Cela montre bien que Data Explorer tire partie de chaque Provider en lui déléguant une partie du travail. J’en reparlerai dans un prochain article mais c’est pareil pour un filtre, une jointure ou une agrégation, elle sera faite au niveau le plus bas possible.
  • Steps : la zone à droite de la fenêtre liste toute les étapes de notre mashup. Elle remplace le “fil d’ariane” qui se trouvait au dessus du Dataset dans la précédente version. Cela permet de revenir à une étape pour la modifier ou la supprimer.
    Je la trouve d’ailleurs plus rapide et pratique que la précédente.
  • La barre d’outils : mais où est-elle passée ? Dans la précédente version, elle occupait tout un bandeau en haut de l’écran et là, plus rien, place aux données…
    En fait, toutes les actions / transformations sont maintenant accessibles dans leur contexte avec un simple clic-droit. Par exemple, si on veut masquer une colonne du dataset qu’on utilise pas, il suffit de faire un clic-droit sur son entête.
    Les zones cliquables sont les entêtes de colonnes, les valeurs (contextualisées) et le tableau lui même (dans le coin en haut à gauche)
    Plus intuitif (ou pas ?), en tout cas on retrouve ses petits assez facilement je trouve.
  • La barre de formules : l’un des atouts de Data Explorer pour un profil ‘”développeur” comme moi, c’est de savoir qu’on peut développer soit même les fonctions de transformations.
    Pour cela, on a une barre de formules, comme celle d’Excel ou de PowerPivot.
    Le langage est toujours le langage M et l’API est plutôt riche.

image

Les transformations

imageComme je le disais, les transformations sont maintenant accessibles directement dans le Dataset. A première vue, je n’ai pas noté de nouvelles transformations ou de transformations en moins. (il me manque toujours le Pivot/Unpivot…)

Toutefois, en jouant un peu avec les données, il y a 2 nouveautés que j’ai bien apprécié.

La première, c’est la possibilité de récupérer le contenu des fichiers d’un répertoire (pas juste les noms) ce qui permet d’adresser des scénarios de concaténation de fichiers textes par exemple.

image

La seconde est dans la même lignée. En fonction de la source de données, on peut suivre les “jointures” possibles. Ca marche avec les relations entre des tables d’une base de données par exemple. On peut donc choisir de récupérer de nouvelles colonnes ou bien agréger des données relatives. On utilisera aussi cette façon de faire pour dérouler du contenu JSON, HTML ou XML.

image

Cette nouveauté est vraiment une tuerie !

 

Mixer les sources

Enfin, pour compléter l’expérience de Mashup, il ne manque que la liaison entre plusieurs Datasets.

imageDans la précédente version, on avait tous nos Datasets sur la gauche et des options pour faire des UNION, des MERGE ou des copies/références.
Data Explorer en version Excel garde toutes ces fonctionnalités mais réparties différemment dans l’interface.

 

Déjà, sachez que chacun de nos Dataset est appelé Query (on verra la traduction qui sera choisie). Pour les retrouvez, c’est simple allez sur la table résultante et vous aurez les toutes les options dans le ruban Excel (Data Explorer ou Table Tools).

imageimage

 

Et mes données, j’en fais quoi après ?

Cette question n’a qu’une réponse : OBVIOUS !

Vous êtes dans Excel, non mais allô quoi ? vous me recevez ? Vous êtes dans Excel ? Genre tu fais de la BI et tu connais pas PowerPivot ? Non mais allô quoi…1

En fait, c’est simple vous injectez votre Dataset dans PowerPivot (ie. dans votre Data Model si vous êtes dans 2013) et vous n’avez plus qu’à faire vos analyses et vos tableaux de bord.
Vous pouvez même faire un rapport Power View.

 

En conclusion

Concernant les fonctionnalités, pas de grandes évolutions par rapport à la version alpha mise à part de nouvelles sources de données. Je retrouve tout ce qui m’a séduit dans l’outil dans sa précédente version.

Toutefois, on doit noter que  la navigation dans les sources de données est vraiment améliorée ce qui simplifiera la vie des utilisateurs qui ne savent pas ce qu’est une jointure.

Le grand changement est évidemment les interfaces très intuitives et bien dans le style Excel 2013. Et justement, le fait d’être dans Excel permet un usage instantané des données. (oubliez le Publish mis en avant dans la précédente version)

 

Pour aller plus loin

Pour rester informé, suivez ce blog (je mettrai d’autres tutoriaux) ou celui de l’équipe produit :

http://blogs.msdn.com/b/dataexplorer/

 

1 : si vous n’avez pas compris ce passage, c’est que vous n’avez pas suivi le buzz du moment.

Public CTP de Data Explorer

27 février 2013

imageCe soir (ce matin, 10am Pacific Time) sort officiellement la CTP de Data Explorer.

 

Mais il n’y avait pas déjà une CTP ?

En fait, non. C’était une version “alpha” qui était hébergée dans les SQL Azure Labs (une sorte de pépinière d’innovation).

Sans nouvelles depuis presque 1 an, le projet était en phase de développement intensive à Redmond.

Etant à Seattle depuis 10 jours (pour le MVP Summit), j’ai eu la chance de passer un peu de temps à discuter avec les équipes de Data Explorer.

Le produit a vraiment pris de la maturité d’un coup. Cette nouvelle version fonctionne directement dans Excel sous la forme d’un Add-in et les interfaces sont vraiment bien intégrées.

image

What’s New ?

Les fonctionnalités restent les mêmes mais les cas d’usage sont plus fluides et pratiques.

Pas de nouvelles transformations mais de nouvelles sources (Facebook, HDInsight, etc.).

Ce qui me  plait le plus est l’intégration à Excel 2013 et au Data Model puisque vous pouvez directement envoyer votre flux dans le Data Model (ie. PowerPivot).

Le moteur de formules (langage M) est toujours là mais un peu plus caché, ce qui en fait un vrai outil de SSBI (Self-Service BI) et un peu moins un outil de geek.

Pour démarrer :

Téléchargez juste l’addin : http://www.microsoft.com/en-us/download/details.aspx?id=36803

 

PS : Je suis sensé être en vacances donc je posterai un article plus complet à mon retour. On jouera au jeu des 7 différences et verra comment intégrer Data Explorer dans votre Self-Service BI.

Rendez-vous aux TechDays

5 février 2013

image

Pour la 6ème année, je serai speaker aux TechDays Microsoft. Au programme, Business Intelligence, Self-Service BI, Grouvernance des données, BI Mobile, etc…

 

Etat de l’art et roadmap de la BI Mobile Microsoft

Smartphone et Tablet se multiplient dans les foyers mais aussi dans les entreprises. Comment concilier notre BI, corporate ou self-service, avec ces devices. Ce qui marche, ce qui ne marche pas, ce qui arrive, bref, un état de l’art.

http://bit.ly/TD13JPR1

Gouvernance des données avec SQL Server et ETL en Self-Service avec Data Explorer

Maitriser ses données est un enjeu majeure dans notre système d’information. Dans cette session, je mènerai la réflexion sur les outils et les processus pour bien gérer ses données.

http://bit.ly/TD13JPR2

Stand SQL Server / Stand GUSS / Stand AZEO

Evidemment, comme tous les ans, je serai ATE sur le salon afin de répondre à toutes vos questions. Vous pourrez donc me retrouver sur l’un de ces stands :

  • stand AZEO : évidemment, ce sera l’un de mes points de chute privilégié. Entretiens, rendez-vous avec mes clients, déconner avec mes collègues…
  • stand GUSS : officiellement il sera au stand #85 mais les différents experts navigueront entre celui ci et le stand SQL
  • stand SQL Server : je trainerais forcément vers le stand SQL, en tant qu’ATE, membre du GUSS ou simplement parce que c’est un stand sympa où je connais plein de monde.

 

Pour conclure, pensez à aller faire un tour sur mon profil :

http://bit.ly/ProfileJPRiehl

Transformer une colonne en KPI dans une liste SharePoint

20 janvier 2013

Dans une liste SharePoint, on veut afficher une colonne avec un indicateur graphique plutôt qu’avec un texte. Comme dans la capture ci-dessous.

 image

1ère étape :

Ajouter une colonne calculée qui construit du code HTML par exemple :

<span style="color:blue">●</span>

Le problème est que l’affichage de la colonne transforme le HTML en texte.

2ème étape :

Changer l’affichage pour que le HTML soit correctement interprété.

Pour cela, il faut ouvrir votre affichage dans SharePoint Designer et ajouter l’attribut disable-output-escaping="yes" dans le XSLT.

image

Pour faire cela, passer par le menu “modifier la balise” en bas.

image

 

Et voila, de quoi construire une liste de KPI simplement, sans SSRS, ni PerformancePoint même si bien évidemment qui dit KPI dit Business Intelligence et donc un vrai projet derrière Sourire.

Dis papa, c’est quoi l’Open Data

1 décembre 2012

image

Récemment, on m’a demandé ma vision sur Open Data. Je me suis donc lancé dans une “courte” explication qui s’est terminée en un dump de toutes mes convictions sur le sujet. Un vrai éditorial.


Open Data peut se comprendre de 2 façons :

  • « Ouverture » des données
  • OData

 

Le protocole OData est un moyen technique de diffuser de la donnée simplement (en s’appuyant sur des protocoles comme REST et un format comme XML).

Il est notamment utilisé par les outils de BI pour exposer ou consommer des « flux de données ». Toute la stack MS en fait bon usage.

Le protocole est plutôt conventionnel sur le marché mais en règle général, il faut offrir plusieurs formats (dont l’indétrônable CSV sur un FTP) pour couvrir l’ensemble des consommateurs de données potentiels.

 

On parle également d’Open Data dans le contexte de rendre public des données. Là, on est sur une philosophie à la mode depuis 2 ans qui vise à “libérer” les données dites brutes pour qu’elles soient exploitées par tout un chacun.

Les Data-Journalistes et Data-Scientists sont les populations qui consomment le plus ces données là et on voit fleurir des créa graphiques dans les journaux et magazines utilisant ces données à des fins d’investigation.

On a vu aussi l’émergence de petites applications (le marché des smartphones et tablettes a eu son effet aussi) exploitant ces données dans un mode consultatif, souvent ludique de surcroit.

En France, on peut noter l’initiative des Data Tuesday qui fédère cette population et œuvre pour l’utilisation massive et intelligente des données, d’où qu’elles viennent.

Mais on est encore loin d’un usage par madame Michu.

Le problème est que ces données publiques arrivent au compte-gouttes (la France a souvent été pointé pour son retard) mais surtout, l’intérêt de ces données est discutable.

En effet, les données ouvertes par les administrations sont souvent très pauvres ou alors très spécifiques (ex : l’emplacement des sanisettes à Paris).

De plus, le format est très souvent inexploitable sans un retraitement manuel (fichiers Excel, format non tabulaires, etc.).

Les données de la France sont sur http://www.data.gouv.fr/; on notera que la France rattrape ses lacunes.

Dans un contexte Business Intelligence, on exploite de plus en plus des données dites exogènes en plus des données d’entreprise que l’on trouve dans les DataWarehouse. L’Open Data répond parfaitement à ces  besoins d’analyses croisées mais se posent 2 problèmes :

· Avoir des données propres et fiables

· Avoir des données à valeur ajoutée

C’est pourquoi dans un contexte professionnel l’Open Data dans sa philosophie première ne trouve pas son usage (hormis l’aspect données-vitrine).

En revanche, cette philosophie me semble très adapté dans un contexte ”marchand” (on dit premium, c’est plus hype).

Par exemple, si vous voulez des données de population, vous prenez un contrat premium avec l’INSEE qui vous fournit des données propres, fiables, à valeur ajoutée dans un format exploitable. Il est en de même avec ESRI ou IGN pour des données géographiques.

C’est un marché encore jeune mais plein d’avenir. Microsoft l’a bien compris et vois cela comme un enjeu de la Business Intelligence à court terme. On le comprend avec la démo du PASS Summit de Data Explorer dans Excel (encore en bêta) qui se branche sur Azure Data Market, véritable portail de donnée ouvertes.

Démo Data Explorer à la Keynote du PASS Summit (allez directement à 1h30)

Mais quelle différence en Azure Data Market et les données des administrations ?

Azure Data Market (https://datamarket.azure.com/) est une infrastructure gérant la diffusion, l’indexation, la recherche et surtout la monétisation des données à valeur ajoutée.

Une entreprise disposant de données « intéressantes » peut donc les vendre (ou les donner, c’est aussi possible) via ce portail (et donc gagner le stockage, la bande passante, le développement du portail, etc.).

Actuellement, c’est très américano-américain mais Microsoft cherche des acteurs pour enrichir ce portail.

L’intérêt pour une société :

  • Exposer des données publiques gratuitement, le portail assurant la logistique et une diffusion étendue
  • Monétiser des données à valeur ajoutée vers ses partenaires ou d’autres organismes qui les consommeraient

Mais attention, cela implique d’être mature sur sa gouvernance de données. En effet, il faut être déjà dans une démarche de MDM, disposer de référentiels établis, maîtriser le processus d’acquisition, de nettoyage (dédoublonnage par exemple), avoir ce que l’on appelle des Data-Steward, etc.

Bien gérer ses données est un gros sujet pour une entreprise dont la technique est loin d’être le principal enjeu.

Mais je pense (et les analystes Gartner, Forrester, HarryPotter, etc. s’accordent là-dessus), c’est un critère important pour sortir son épingle du jeu dans la crise le monde d’aujourd’hui et même rationnaliser ses couts et sa gestion.

J’espère avoir dressé un topo complet sur Open Data et pourquoi pas avoir répondu à vos interrogations.

Power View et SSAS – clarifications

9 novembre 2012

Suite à une discussion avec Frédéric Brossard (via les commentaires et lorsqu’on s’est vu au PASS), il y a eu un certain doute sur :

Power View dans Excel 2013 RTM peut-il attaquer du SSAS (tabular ou multidimensionnel) ?

Selon la Keynote du PASS Summit, la réponse est oui et les démos l’ont confirmé.

Avec mon modèle tabulaire (basé sur le projet AdventureWorks de CodePlex), j’ai cette erreur :

image

Donc je suis allé à la conclusion que Power View ne marchait toujours pas sur du SSAS Tabulaire. Mais la vérité est ailleurs©

En fait, avec une base tabulaire plus simple (ie. une table), Power View arrive à le charger et en effet, on peut faire des rapports Power View sur du tabulaire.

Moralité : j’ai un bug de compatibilité sur un élément de mon modèle (que je vais de ce pas mettre sur Connect). A retenir.

Le test bête sur du multidimensionnel :

image

L’erreur est plus explicite : ça ne marche pas actuellement sur du multidimensionnel.

Alors ?

Power View marche sur :

  • un Data Model dans Excel 2013
  • un classeur Excel 2013 dans SharePoint (Excel Web App)
  • un SSAS Tabulaire (attention, il peu y avoir un problème de modèle, cf. ci-dessus)

 

Sur du multidim, c’est pour quand ?

(gars qui siffle en regardant en l’air)

Microsoft travaille dessus c’est une certitude. Mais quand aura t-on une version, nous ne le savons pas encore.

Plus de détails sur le blog de Chris Web qui était à la session sur le sujet au PASS Summit :
http://cwebbbi.wordpress.com/2012/11/09/power-view-on-ssas-multidimensional/

Stay tuned !


Suivre

Recevez les nouvelles publications par mail.

Joignez-vous à 325 followers