1- Créer un lot SSIS dédié
2- Utiliser le composant : Analysis Services Execute DDL Task

3- Déclarer une connexion SSAS dans mon lot
4- dans le composant, indiquer :

• la connexion SSAS précédement créée
• ensuite pour mettre le bon script XMLA, c’est à ce moment précis que l’astuce F7 intervient :

il faut aller
dans management studio >sur l’instance OLAP > sur le cube que vous voulez processer>se mettre sur le dossier Dimension et appuyer sur F7.

Vos dimensions s’affichent dans l’ « Objet Explorer Details ». Il ne vous reste plus qu’à toutes les séléctionner et à faire clique droit process. Dans la fenêtre qui s’affiche à vous cliquez sur « Script » et prendre « Script action to new query window ».

Vous pouvez maintenant récupérer le script XMLA qui s’affiche et le mettre directement dans le composant SSIS :

Faire la même chose avec la partie cube, et voilà! Votre lot de process est fait…

Pour scheduler le process du cube, il ne restera qu’à créer un job avec un step pointant sur ce lot après mise à jour de votre datawarehouse, de vos datamarts.

Et vous, comment faites vous actuellement?

Voici 2 cas ou j’ai eu besoin d’utiliser des curseurs avec SQL server:

CAS 1: je devais, pour répondre aux besoins d’une présentation, simuler des données. A partir d’une table ou j’avais des utilisateurs, j’ai alimenté une table répertoriant des connexions. Le but étant de voir comment les utilisateurs se connectent à une plateforme.

DECLARE db_cursor CURSOR
FOR SELECT id, userid FROM moodle_mdl_log
WHERE userid = 0  and module = ‘login’

DECLARE @id int
DECLARE @userid int

OPEN db_cursor
FETCH NEXT FROM db_cursor INTO @id, @userid

WHILE @@FETCH_STATUS = 0
BEGIN
/*PRINT @id*/
UPDATE moodle_mdl_log
SET userid = (SELECT TOP 1 id FROM dbo.randuser order by NEWID())
WHERE CURRENT of db_cursor
FETCH NEXT FROM db_cursor INTO @id, @userid
END

CLOSE db_cursor
DEALLOCATE db_cursor

CAS 2 : A un instant t du projet, la base de production a été copiée en recette : des données de production se sont donc retrouvées en recette. Les utilisateurs m’ont alors demandés de tout vider et de tout recharger. Pour vider les tables en masse j’ai donc utilisé un cureur.

DECLARE db_cursor CURSOR
FOR SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE Table_Type=’BASE TABLE’ and TABLE_NAME NOT IN (‘xxx’,'yyy’) and TABLE_NAME NOT LIKE (‘Tmp%’)
DECLARE @table varchar(50)
OPEN db_cursor

FETCH NEXT FROM db_cursor INTO @table
WHILE @@FETCH_STATUS = 0
BEGIN
/*PRINT @id*/
exec(‘TRUNCATE TABLE ‘ + @table)
FETCH NEXT FROM db_cursor INTO @table
END

CLOSE db_cursor
DEALLOCATE db_cursor

Rien d’extraordinaire pour ce post mais ça pourra peut être servir…

Donc voici la configuration que j’avais :

• SQL server 2008R2 avec le suite BI
• MySQL server 5.5
• installation du connecteur-net 6.6.4.msi
• installation mysql connector odbc 5.2.3-win32.msi ( car je sais que le 64bits ne fonctionnera pas)
• projet SSIS a pour propriété runtime64bits à false.
• création d’une connexion ODBC à traver odbcad32.exe présent dans C:\windows\sysWOW64. Cette connexion fonctionne dans connexion system.

Dans SSIS que je créé une connexion ADO.net
-avec le provider odbc data provider
-ou avec MySQL data provider
Quand je test ma connexion, lors de la création, il me dit « connexion sucessfull ».

Tous les blogs et sites montrent que cette procédure fonctionne. Seulement, bien-sûr, je n’ai pas été dans ce cas… En effet lorsque:

• je faisais glisser une composant d’input j’avais des erreurs (cf ci-dessous)
• je voulais restester ma connexion j’avais des erreurs (cf ci-dessous)

Alors la solution que j’ai trouvé est :

• de ne pas m’occuper du message d’erreur au niveau de ma connexion
• et lorsque je faisais glisser l’input, de ne pas passer par l’interface graphique du composant habituel.

Je suis donc passée au niveau du composant d’input (ADO NET SOURCE) par

• « show advanced editor » pour indiquer la bonne connexion

• et pour entrer la requête je suis passée par l’onglet  « properties » (en indiquant les champs car si je fais un SELECT * FROM matable il ne me trouvait rien)

et lors de l’exécution ça a fonctionné… Je ne sais pas si ça aidera quelqu’un un jour mais voilà comment je m’en suis sortie!

Je n’ai même pas eu l’occasion d’aller aux tech.days cette année. Cependant, une personne de mon entourage sait que je m’interesse de prêt au big data et elle m’a conseillé de regarder la plénière (rubrique « revivez l’intégralité du live ») du jeudi 14 Février qui est vraiment pas mal!

Je vous laisse apprécier les 2 premières heures de la vidéo sur le sujet!

N’hésitez pas à mettre ce que vous en pensez en commentaire!

• Volume de données très important (structurées ou non-structurées)
• Vitesse à laquelle les données sont générées ou sont à traiter : très rapidement ex : data de twitter ou facebook
• Variétés des données importantes
• Variabilités d’interprétation d’une même donnée en fonction du contexte

Pour répondre à ces problématiques, plusieurs choses sont à envisager :

• une bonne infrastructure
• une autre manière de stocker les données car les bases de données relationnelles arrivent à leur limite
• une autre manière d’interroger les données car le SQL arrive à sa limite

Dans ce post je vais vous exposer la réponse de Microsoft face au big data…Enfin de ce que j’en ai compris…

Coté Infrastructure :

Pour répondre à la sollicitation du big data Microsoft propose 2 architectures en fonction de la taille de votre futur DWH et de votre besoin de calcul :

Symetric multi-processing SMP : est une architecture qui consiste à multiplier les processeurs identiques au sein d’une même machine, de manière à augmenter la puissance de calcul, tout en conservant une unique mémoire. On prendra cette offre dans le cas suivant :

• Petit/moyen DWH
• limité
• traitements que l’on ne peut pas séparer

Massively Parallele Processing MPP va être conseillé pour du grid computing * (donc du calcul intensif). C’est une architecture qui consiste à multiplier le nombre de processeur ou d’ordinateur pour faire de la parallèlisations. Il y a un nœud de contrôle qui dispache ça sur n nœud de traitement et de stockage. On prendra cette offre dans le cas suivant :

• Gros DWH
• Besoin de Prédictif
• gros besoin de calculs

* Grid computing (HPC server Hight performance computing) est une architecture permettant de répartir des calculs sur une ferme de serveur pour des calculs intensifs. Cette ferme peut être mise dans le Cloud computing pour payer à la demande et pas les serveurs, etc.

Exemple pour optimiser son mode de stockage pour toujours plus de de performance avec du MPP:

Microsoft propose 2 appliances :

• SQL Server 2008 Fast tracks : implémentation SMP de SQL server Enterprise 2008
• SQL server 2008R2 Parallel datawarehouse : implémentation MPP de SQL server Enterprise 2008

Une appliance est un serveur pré-calibré. Les composants sont utilisés au mieux. On arrive à prédire l’évolution de son système. (Ex : Bull qui fait livrer des serveurs avec ces appliances déjà tous configurés). Pour en savoir plus, voir cette vidéo

Coté type de stockage:

Microsoft en propose 2 types :

• Type blob storage : pour  des données volumineuses non structurées ex : image, vidéos…
• Type table: clés valeurs partition et clé de ligne (Pour en savoir plus aller voir un de mes posts précédent)

Coté interrogation des données :

Microsoft a misé sur l’outil Hadoop. Dans le schéma suivant vous pouvez entrevoir le chemin des données :

Les données sources exemple facebook, twitter, bing… sont interrogées via Hadoop par les API streaming que ces éditeurs proposent.

Ensuite quand ces données seront stockées dans des bases de données sous format type table (clés/valeurs) ou type blog, le connecteur Hadoop/SQl server permettra d’aller requêter ces données selon 2 façons :

• Soit en requête via du Javascript ou du dotnet grâce au framework Daytona avec la méthode MAP/REDUCE
• Soit en utilisant l’option Hive table dans Hadoop qui permettra de construire des tables virtuelles pour ensuite les interroger avec un langage tel que Scoop ou encore Pig qui ressemble un peu plus à du SQL qui lui-même sera transformer en Javascript pour interroger la base de données clés/valeurs ou blob.

Si vous aussi, vous avez assisté à des conférences sur le big data, comment y faire face, ou si vous avez déjà participé à un projet big data n’hésitez pas à partager vos opinions

D’ailleurs ce post expose les solutions que propose Microsoft  mais les solutions d’autres outils sont les bienvenus.

• grosse volumétrie
• SQL server 2008 (ou les connexions ADO.NET ne sont pas supportées correctement)
• On utilise des connexions OLEDB (si on était en SQL server 2008R2 avec ADO.NET, nous n’aurions pas rencontré ce problème de package bloqué)
• La source de données utilise la table cible. Exemple concret : Ma stratégie de chargement est la suivante : je charge une table temporaire (Temp_ma_table) avec 5 jours d’historique par exemple (car c’est une table volumineuse). Et pour charger les nouvelles lignes dans la table cible (ma_table), je fais en source une requête du type :

SELECT a.*
FROM
Temp_ma_table a
LEFT OUTER JOIN ma_table b
ON a.champ1= b.champ1 and a.champ2= b.champ2
WHERE b.champ1 is null

Et donc lors du chargement, le lot utilise la même table en lecture et en écriture. Visiblement SSIS ne monte pas toutes les lignes en mémoire mais fait du coup par coup. Donc si vous ne faites pas certains réglages, le package reste bloqué et si vous allez  sur « management studio » voir le monitoring, vous pourrez y voir dans la colonne « Blocked By » un lock de la table:

Pour éviter ces problèmes de locks et donc de package SSIS bloqué, il faut jouer sur les paramètres suivants :

• Dans les propriétés du composant « data Flow Task » dans le control Flow, vous pouvez jouer sur les paramètres suivants :
  • DefaultBufferMaxRows : 100 000 par exemple
  • DefaultBufferSize : 104 857 600 par exemple (on a ajouté un 0)
• Dans le Data Flow dans le composant cible il y a l’option : « Table Lock », on peut le décocher:

Alors le fait de décocher cette option n’est pas forcement conseillé mais si elle peut vous débloquer le chargement, ça vaut le coup!

Si vous avez d’autres solutions pour ces problèmes de tables locked et de packages SSIS bloqués,n’hésitez pas à nous en faire part…

En effet, si vous ne voulez pas avoir trop de colonnes pour exploiter vos données et donc rester sur des tailles de matrix ou tablix raisonnables la manipulation n’est pas évidente.

Ci dessous 2 images du tutorial que je vous indique plus bas.

Cette première image comme vous pouvez le constater est le début d’un tableau que vous pourrez exploiter en mode drill down comme les cubes analysis services. Le seul hic, c’est que le tableau va prendre, tout de suite, beaucoup de place.

Le but est donc d’arriver à ce résultat :

Le tableau aura donc une taille raisonnable. Bref voici ce fameux tutorial que j’ai trouvé sur le net après une longue recherche.

Profitez en bien!

Si vous avez d’autres astuces pour bien présenter vos données sur SSRS n’hésitez pas à nous les faire partager avec des commentaires!!

•  le « data Viewers » : si c’est un problème de données dans le flux. Cette option nous permet de visualiser les données sans les mettre dans une table physique ou un fichier…donc bien pratique!
• Les sorties « redirect row ou error output » qui permettent de connaitre les données qui ne passent pas dans le flux donc qui ne vont pas dans la table de destination ou dans le fichier de destination. (exemple à la sortie d’un lookup => flèche rouge)
• Les « breakpoints » qui permettent dans la fenêtre « locals » de visualiser les valeurs des variables. Voici un article un peu plus complet sur le sujet

Il y a aussi :

• l’onglet « progress » voir cet article en exemple vous pourrez y voir les « errors » ou encore la durée des traitements…
• Les errors pourront aussi être retrouvées dans la fenêtre « Output »
• Vous pouvez aussi utiliser le composant « row count » pour mettre dans une variable le nombre de lignes qui transitent et ensuite le stocker dans une table d’audit par exemple.

Lorsque l’on développe en SSIS, il faut acquérir des techniques qui permettent rapidement de comprendre pourquoi des données sont manquantes en cible ou pourquoi le package plante. Ces outils sont donc là pour nous assister alors autant les utiliser…

Et vous comment faites-vous?

• On peut ajouter des templates (.rdl) qui seront accessibles lors de la création d’un rapport  dans un projet avec le menu suivant : Ces templates seront à placer dans le dossier ci-dessous (pour plus d’informations aller sur ce lien):

C:\Program Files (x86)\Microsoft Visual Studio 9.0\Common7\IDE\PrivateAssemblies\ProjectItems\ReportProject

• On peut agir aussi au niveau du wizard de création d’un nouveau rapport, nous pouvons proposer de nouveaux thèmes.Il faut modifier le fichier Style_Templates.xml situé dans le dossier ci-dessous pour ajouter son thème :

C:\Program Files (x86)\Microsoft Visual Studio 9.0\Common7\IDE\PrivateAssemblies\Business Intelligence Wizards\Reports\Styles

C:\Program Files (x86)\Microsoft Visual Studio 9.0\Common7\IDE\PrivateAssemblies\Business Intelligence Wizards\Reports\Styles\en

Ces 2 manipulations aideront les développeurs lors de la création d’un nouveau rapport par contre, elles ne permettront pas de rendre le rapport dynamique au niveau de son style. Dynamique dans le sens où si vous voulez changer la couleur de votre titre, par exemple, vous n’avez pas à passer sur chaque rapport, seule la modification d’une variable suffit dans un fichier ou autre.

• Pour information, les fichiers .CSS ne fonctionnent pas pour les rapports. Sur msdn vous trouverez la phrase suivante :

« Dans Reporting Services, les rapports ne font pas référence à des feuilles de style. Les rapports ad hoc qui sont générés automatiquement par le serveur de rapports utilisent des informations de style qui sont stockées sous forme de ressources incorporées dans les fichiers programmes du serveur de rapports. Les rapports que vous créez dans le Concepteur de rapports utilisent les polices, les couleurs et la mise en page que vous spécifiez dans la définition de rapport. Les styles sont créés en accord avec le reste de la mise en page. » donc les choses sont statiques et on ne peut pas utiliser de .CSS.

• Cependant des personnes ont pensé à utiliser la base de données comme référentiel de style. Voici un article très bien fait sur le sujet. C’est la seule manière pour l’instant de rendre un rapport dynamique au niveau de son style.

Et vous comment faites-vous?

Les critères de classement :

* Profiling : capacité à récupérer des informations qui permettent de se rendre compte de la qualité de données et des types de problèmes dans les données
* Parsing and standardization: permettre la création de règles de gestion, pattern…pour standardiser les informations
* Generalized « cleansing »: pouvoir appliquer ces règles de gestion à un large spectre de données
* Matching: identifier, lier ou merger des données connexes ou non ou à travers un ensemble de données
* Monitoring: mettre des contôles pour s’assurer que les règles de gestion pour la qualité de données sont bien appliquées
* Enrichment: enrichir l’information avec des informations de ressources externes, des méta-datas…

* Connectivity/adapters: possibilité de faire communiquer plusieurs types de données
* Subject-area-specific support: pouvoir standardiser des informations spécifiques
* International support: gestion de multi langue
* Metadata management: ajouter des metadatas au process de data quality
* Configuration environment: Capacité à créer, gérer, déployer des règles de gestion.
* Operations and administration: Facilité à gérer le data quality process.
* Workflow/data quality process support: possibilité de données aux utilisateurs la validation de données.
* Service enablement: Architecture orienté SOA

Et je ne sais pas si vous l’avez remarqué mais Microsoft ne fait pas parti de ce cadran…Il n’est pas encore dans la course. Nous verrons si avec SQL server 2012, il réussira à rattraper son retard sur ces sujets de data management.

Qu’en pensez-vous?