Nous étions une petite quinzaine à discuter autour du sujet (ou pas, c’est le principe de l’AfterWork ).

Nous avions l’honneur d’accueillir Stéphane Fermigier, spécialiste du Big Data mais connaissant très peu SQL Server. Il a rédigé un excellent livre blanc, très exhaustif sur le sujet.

Vous pouvez trouver ce livre sur son site : http://www.fermigier.com/

Ma vision sur le sujet

J’ai dans les cartons depuis un moment de faire un petit article sur le Big Data afin de livrer mes pensées sur le sujet. L’AfterWork a été un moment pour quelques échanges de points de vue.

Autant vous le dire tout de suite, mon premier sentiment quand j’entends le mot Big Data est “Buzz”. En effet, à voir comment tout le monde ces derniers mois s’est précipité pour ajouter ce mot dans un article, un discours marketing, une nouvelle feature de sa solution. En moins d’un an, tous les éditeurs ont sorti une offre intégrée plus ou moins dans leur solution.

Le phénomène d’explosion des données n’est pas nouveau. Comme le rappelle Sybase, les plus grands spécialistes en parlaient déjà comme une révolution en 56, en 70, 86 ou encore 90 (source : http://www.decideo.fr/Sybase-se-moque-de-la-tendance-big-data_a4755.html).

Qu’on soit bien d’accord, le Big Data est pour moi un concept bien réel et je ne dénigre personne. Je vais m’expliquer.

Avec ce mot quasi marketing de Big Data, on arrive à imager simplement toutes les problématiques actuelles de nos montagnes de données.

Et la problématique ne se limite pas au simple fait que ce soit une montagne. Si je dois vous livrer ma définition, je reprendrai le principe des 3V (dont je ne connais pas l’auteur original désolé).

Pour qu’on soit dans un cas de Big Data, il faut que ces trois caractéristiques soient présentes :

• Volumétrie : c’est le Big de Big Data. On s’en doute bien, on parle de volumétries importantes et je ne parle pas forcément des Péta-octets de Facebook ou de Google. On peut redescendre sur terre et démarrer le compteur en centaines de Go.
• Vélocité : ma définition est souvent de dire qu’on a un flux entrant supérieur à notre capacité de traitement (ou tout du moins suffisamment élevé en comparaison). Par traitement, j’entends intégration ou analyse.
  Il y a d’autres définitions du second V évidemment mais je conserve la mienne.
• Variété : par variété, on entend le fait que nos données sont changeantes. Je prends souvent l’exemple d’une ligne qui contient une fois 3 colonnes et la fois suivante 10.
  On peut imaginer des logs Web d’un site d’e-commerce où on stocke la simple navigation puis au moment de la vente toutes les données relatives à celle-ci.
  Encore une fois, c’est ma version et je ne veux pas prétendre qu’elle soit la meilleure

L’important est d’avoir l’ensemble de ces critères. Individuellement, chacune de ces caractéristiques est gérable par SQL Server (ou d’autres bases de données).
Au niveau de la volumétrie, SQL Server n’a plus à démontrer ses capacités. Le dernier record en date est la gestion d’un DataWarehouse de 600To avec l’appliance PDW (Parallel Data Warehouse).
Au niveau de la vélocité, SQL Server détient avec SSIS le record de vitesse d’intégration de données (ça date un peu d’ailleurs) avec 1To chargé en 30 minutes.
Enfin, au niveau de la variété, je citerai juste des fonctionnalités comme Sparse Column, XML ou SQLCLR.

Donc, il faut les 3V… Sauf que c’est plus compliqué que cela je pense. Big Data est un concept, donc de nombreuses combinaisons sont à considérer.
Big Data est tout simplement le mot utilisé pour parler de données difficilement exploitables avec des moyens ou techniques traditionnelles.

Et cela veut aussi dire qu’on inclut des modes d’exploitation nouveaux (ou mis à l’écart faute de savoir comment bien les appréhender auparavant). Ainsi, on souhaite maintenant trouver dans notre montagne de données des tendances, des relations inattendues, des modèles dans le modèle, etc.

Pour moi, c’est tout cela finalement le Big Data, le concept d’abolir les limites de l’exploitation des données.

Mais alors, rien de concret ?

En fait si ! Derrière le concept, il faut bien trouver des solutions techniques.

Comme je le disais, SQL Server peut gérer du Big Data si l’on se base sur les fondamentaux. Néanmoins, de nouveaux paradigmes ont été créés pour mieux répondre aux enjeux.

Le premier est le stockage qui doit absorber le volume et la vélocité. Le second le requêtage qui doit s’adapter à la variété.

Ainsi on trouve Hadoop qui propose un système de stockage (HDFS) et des systèmes de requêtage (MapReduce, Hive ou PIG).

Microsoft a rejoint Hadoop en signant un partenariat avec HortonWorks et contribue en fournissant de l’outillage (requêtage en Javascript, Driver Hive ODBC, etc.) et en portant Hadoop sur Azure et Windows.
Vous pouvez d’ailleurs jouer avec Hadoop : hadooponazure.com

Ces solutions sont certes jeunes mais de nombreux projets les utilisent massivement.

Pour conclure…

Je le réaffirme, le mot Big Data est un phénomène marketing. Mais il introduit un changement de paradigme réel dans l’approche que l’on a de l’exploitation de nos données.

En tant que professionnel de la Business Intelligence, je comprends parfaitement même si les solutions traditionnelles répondent encore très bien aux besoins. Mais attention car les solutions telles que Hadoop répondent très bien à l’opérationnel (OLTP) et il faut donc les considérer comme des sources de données, comme celles que nous utilisons déjà.

Pour finir, c’est quand le prochain AfterWork ?

Le prochain Afterwork sera très certainement orienté Business Intelligence. J’ai quelques sujets en tête mais n’hésitez à en proposer au GUSS (en passant par moi par exemple).

En raison des ponts du mois de mai et divers problèmes de logistique, nous n’avons pas pu réunir les conditions suffisantes pour maintenir l’événement technique du 22 mai sur le Monitoring SQL Server.

Ce n’est que partie remise puisque nous allons prochainement le planifier au mois de juin.

Vous ne perdrez pas au change puisque ce décalage nous permettra de vous offrir un contenu encore plus riche : éditeurs de solutions tierces, System Center, tips de DBA, etc.

Si vous aviez prévu de venir, nous sommes désolé pour ce changement de dernière minute, n’hésitez pas à prendre contact avec moi pour en discuter.

Veuillez nous excuser pour le report et merci pour votre compréhension.

La syntaxe XML est une instruction Alter selon ce format :

<Command>
  <Alter AllowCreate="true" ObjectExpansion="enum">
    <!Object>...<!Object>
    <ObjectDefinition>...</ObjectDefinition>
  </Alter>
</Command>

L’attribut AllowCreate permet de créer l’objet s’il n’existe pas.

Le tag Object sert à pointer sur l’objet à modifier. Par exemple pour, modifier une dimension vous aurez ceci :

<!Object>
  <DatabaseID>ContosoUDM</DatabaseID>
  <DimensionID>Calendrier</DimensionID>
<!Object>

Le tag <ObjectDefinition/> contient quant à lui la définition de l’objet à créer ou à modifier.

Dans la vraie vie…

Dans les faits, on écrit jamais de zéro une instruction <Alter/>. On s’en remet à l’assistant de déploiement (Deployment Wizard), un outil fournit avec SSAS.
Cet assistant va générer le script XMLA et notamment la complexe définition de l’objet.
A noter qu’il est utilisable en ligne de commande : Microsoft.AnalysisServices.Deployment.exe

Le problème qu’on peut rencontrer, c’est quand on utilise un compte (compte de service ou un utilisateur Windows) pour l’impersonation des sources de données.
Dans ce cas, le script XMLA généré ne contient pas le mot de passe du compte or celui-ci doit être reprécisé.

On peut évidemment le rajouter le mot de passe dans le script avant de le lancer :

<ImpersonationInfo>
  <ImpersonationMode>ImpersonateAccount</ImpersonationMode>
  <Account>Domain\AS_Account</Account>
  <Password>***</Password>
</ImpersonationInfo>

Mais pourquoi doit ont repréciser le mot de passe à chaque déploiement ?

A cause de l’attribut ObjectExpansion de la commande Alter. Cet attribut est par défaut à ExpandFull, ce qui signifie que la définition de l’objet doit être complète.
Donc pour modifier le cube, il faut préciser tous les objets dépendants, ce qui inclut la data source et par conséquent le mot de passe du compte d’impersonation.

Peut-on faire autrement ?

ObjectExpansion peut prendre la valeur ObjectProperties, qui permet de n’indiquer que les éléments qui ont changé.
Il suffirait ainsi de ne pas préciser le bloc <ImpersonationInfo/> ou <DataSourceImpersonationInfo/>.

Sauf que ObjectProperties ne permet de modifier qu’objet par objet. Il faut donc toute une série de commandes Alter représentant toute la hiérarchie d’objets en pointant chacun avec le bloc <Object/>.

Alors finalement quelle solution ?

Il n’y en a pas vraiment . Les outils ne récupèrent pas le mot de passe et vous devez le renvoyer lors de la mise à jour quand on est en ExpandFull. Et utiliser l’option ObjectProperties rend le script XMLA trop compliqué.

Quelques pistes que j’utilise (en fonction du projet ou de la plate-forme) :

• utiliser le compte de service SSAS : vous n’aurez pas à manipuler de mot de passe dans les sources de données. L’inconvénient est que vous mutualisez l’accès aux données sources or on doit souvent cloisonner ces accès
• Passer un script XMLA que vous gardez précieusement qui rétablit les mots de passe en post-déploiement (avec l’option ObjectProperties). Ca marche aussi avec un script PowerShell et de l’AMO

Note : sachez que dans la cas de “gros” cubes (ie. ceux qui mettent un temps de process tel qu’on ne peut reprocesser tout à chaque fois), on est très vigilant sur les mises à jour. En effet, elles ne doivent en aucun cas mettre les partitions dans un état Unprocessed.

Bonnes mises à jour de cubes !

Le premier est un Afterwork sur le thème du Big Data. Comme tout Afterwork, il vous suffit juste de venir avec vos idées, vos questions, vos retours et surtout votre bonne humeur.
J’espère que nos échanges et les différents experts présents vous apporteront des éclairages sur Hadoop, NoSQL, MapReduce, etc.

Le lieu est le même que la dernière fois : le Charly Birdy du 15ème à Paris

Rendez-vous le 10 mai 2012 à partir de 19h00
Charly Birdy
1 place Etienne Pernet – Paris

Le second est une demi-journée de sessions techniques sur le thème du monitoring de SQL Server.

Nous vous proposons lors de ces sessions de découvrir ou de parfaire vos connaissances sur toutes les façons d’administrer et de surveiller SQL Server. Outils externes, DMV, compteurs de performances, scripts, etc., nous essaierons de faire un tour d’horizon des différents techniques et de vous donner quelques tips.

Pour cet événement, réservez votre après-midi du 22 mai et venez découvrir les solutions de monitoring pour vos plate-forme SQL Server.

22 mai de 14h à 18h
Centre de Conférences Microsoft
41 quai du Président Roosevelt
Issy-les-Moulineaux

Un mois de mai plutôt placé donc sur le thème du Data Management. Que les adeptes de la Business Intelligence ne s’impatientent pas,  d’autres événements les concernant seront organisés prochainement.

D’ailleurs, en attendant, ils sont les bienvenus à ces 2 événements. Le Big Data est souvent associé à la Business Intelligence car quel intérêt de stocker autant de données si hétérogènes si ce n’est pour les analyser. De la même façon, une solution de Business Intelligence se surveille, comme n’importe quel Data Center.

Venez nombreux.

C’est ici : http://frenchconnection.bi/2012/04/04/self-service-bi-idees-et-opinions/

Un bel article qui appelle au débat et je vous encourage à poster vos commentaires, partager vos expériences.

Notre débat préalable avec mes compères Aurélien, François, Florian et Mr. Dark Xnight ont été beaucoup plus techniques et animés mais la synthèse résume bien le fond. Toutefois, n’hésitez pas à nous solliciter, nous serons ravis d’échanger sur PowerPivot, Power View, Excel ou les modèles tabulaires.

Cet événement est une première à double titre. C’est le premier Afterwork de la communauté SQL et c’est aussi le premier des spécialistes de FrenchConnection.BI (je vous rassure, ce sont les mêmes ).

Je tiens à remercier l’ensemble des participants car les échanges ont été vraiment exceptionnels. 2h de discussions et de partage d’expérience autour de PowerPivot, Power View, la qualité des données, etc. c’était bluffant.

Chacun a pu débattre et donner son avis dans la convivialité du lieu et du format.

Il y avait des gens venus de tous horizons mais surtout des gens rassemblés autour de la même passion : faire de la Business Intelligence.

Ca me rend d’autant plus fier d’appartenir
à la communauté SQL Server

Evidemment, nous allons faire d’autres Afterworks, sur des thèmes décisionnels ou sur d’autres sujets liés à SQL Server.

Pour continuer le débat sur la Self-Service BI, avec mes compères de FrenchConnection.BI, nous finalisons un édito, résultat de nos débats (animés) mais également inspiré des échanges de cet Afterwork.

PS : au passage, je vous signale que lors de l’AG du GUSS, François et moi avons été élus au Conseil d’Administration du Groupe Utilisateur. J’y reviendrai dans un prochain post.

SQL Server, c’est large ; et nous avons pu voir que sa communauté l’est aussi avec les 330 personnes venus aux Journées SQL Server. Je fais partie de cette communauté et j’en suis extrêmement fier.

Fier de faire du SQL Server !

Mais je suis également un professionnel de la Business Intelligence, discipline que j’adore au quotidien, certainement dû en bonne partie aux outils Microsoft.

Alors, avec quelques acolytes (François, Florian, Aurélien et le Dark Knight), nous avons décidé de donner de la voix à la communauté BI au sein de la communauté SQL.

Fier de faire de la Business Intelligence !

C’est ainsi qu’est né FrenchConnection.BI ! Ce site se veut un hub pour fédérer la communauté Business Intelligence française et échanger ensemble sur les sujets qui nous plaisent à tous (MDX, modélisation multidimensionnelle, tabular, self-service BI, big data, etc.).

C’est où cette communauté ? Partout, Facebook, Twitter, WordPress, etc. Et si vous êtes perdus :

http://FrenchConnection.BI

Je vous rassure, nous gardons nos blogs respectifs mais FrenchConnection.BI sera là pour traiter des sujets de fonds, parlez de nos événements, héberger nos discussions, etc.
Alors comme disent les jeunes : Lâche ton com’ !

Pour fêter cela, nous vous proposons un Afterwork la semaine prochaine. Le thème sera la Self-Service BI qui a le mérite d’être plutôt sujet à discussion.

Afterwork Self-Service BI
Jeudi 22 mars – 19h30

Charly Birdy
Place Etienne Pernet
Paris (15ème)

D’ailleurs, sur le sujet de la Self-Service BI, nous avons planché avec mes condisciples et nous allons bientôt publier une tribune commune sur FrenchConnection.BI, histoire de lancer les débats .

C’est en reconnaissance de ses compétences et de son engagement que le MTC (Microsoft Technology Center) de Paris a signé un accord de partenariat avec AZEO. L’accord porte sur l’expertise SQL Server qu’AZEO apporte à ses clients et pourra dès à présent apporter aux clients de Microsoft.

Dans le contexte du lancement prochain de SQL Server 2012 et de la croissance de la demande de services liés au succès de SQL Azure, ce partenariat est stratégique pour l’éditeur comme pour l’intégrateur.

Les architectes du MTC pourront ainsi s’appuyer sur les talents des consultants AZEO pour accompagner au mieux la sortie de la nouvelle version du moteur de base de données et de la plate-forme de Business Intelligence.

Cet accord permet à des clients de venir au MTC pour la réalisation de Proof-Of-Concept ou de validation technique comme par exemple évaluer une migration vers SQL Azure, dessiner l’architecture d’un Data Center ou encore de réaliser un prototype de Business Intelligence avec Power View et les modèles tabulaires.
Ils seront ainsi conseillés par les meilleurs experts, quelques soit le sujet traité.

Comment ça marche ? Contactez-moi, tout simplement (téléphone, mail, linkedin, facebook, etc.)

Pure Player technologique innovant, focalisé sur la création de valeur au quotidien chez nos Clients, AZEO est principalement positionné sur le conseil et l’intégration de la plateforme d’entreprise Microsoft.

La mise en œuvre d’une nouvelle technologie dans un système d’information complexe nécessite une haute expertise technique et un conseil spécialisé pouvant être délivrés par AZEO. Nous accompagnons donc les entreprises depuis l’expérience utilisateur et l’analyse fonctionnelle jusqu’au maintien en condition opérationnelle.

Frédéric Aatz – Responsable du MTC Paris :

« Le MTC, c’est le showroom et le laboratoire de Microsoft en France. Sa mission, c’est d’accompagner nos clients dans la compréhension des technologies Microsoft jusqu’à l’élaboration et la prise de décision des solutions de mise en œuvre.

Le MTC, c’est plus de 1100 engagements par an auprès de plus de 500 clients et éditeurs de logiciel. » Découvrez le MTC en vidéo…

Pour cette version, Microsoft a décidé de démarrer cette ultime étape par un grand événement mondial et en ligne.

Au programme, vidéos de présentation, conférences avec des speakers internationaux, échanges avec les MVP et la communauté, discussions avec les partenaires sur vos projets, etc.

C’est quand ?

8 mars 2012

C’est où ?

SqlServerLaunch.com

Comme ce “lancement” est en ligne, il durera plusieurs jours (et plusieurs nuits). AZEO est partenaire pour la France et vous pourrez venir me poser vos questions ou me parler de vos projets (même si vous n’avez pas besoin de cela pour le faire).

Egalement, lors de ce lancement, vous aurez la date de disponibilité pour télécharger la RTM de SQL Server 2012.

Merci à l’équipe de Bruno Aziza, World Wide Marketing Director SQL Server pour cette vidéo.

Et merci à vous, la communauté…