The blog of blog of blogs

Les aventures d'un ethnologue dans le grand monde

Pourquoi ça a planté en prod 7 juin 2010


Pourquoi ça a planté en prod ?

Dans cette grande entreprise, les produits sont vendus en utilisant plusieurs canaux de distribution : internet, boutiques, partenaires et d’autres encore.
Le coeur du système est bien sûr l’informatique.
Or dans le monde informatique il y a deux sous-systèmes : la production et les tests.
D’abord on fait faire un programme informatique (neuf ou modification de l’existant), puis on teste et on re-teste et on re-re-teste jusqu’à ce que le résultat soit à la fois conforme aux attentes et non nocif pour tout le reste qui existe déjà.
Le sous-système Tests doit donc être une copie exacte de la Production pour garantir que lesdits tests ont été réalisés « comme pour de vrai ».
Ensuite quelqu’un avec une cravate dit Go et les équipes de tests placent leurs armes dans le carquois des équipes de Prod. Le(s) produit(s) est alors installé sur le sous-système Production (à la date prévue, théoriquement).

Ces installations en production se font généralement de nuit, dans le silence feutré des centres de supervision fonctionnant en 24/24.

Question : dans l’entreprise en question, qu’est ce qui provoqué une impossibilité de vendre tous les produits, sur tous les canaux pendant presque 24 heures, soit une perte sèche de millions d’euros ?
Réponse 1 : l’équipe technique responsable des mise en production a chargé un fichier erroné cette nuit là, du fait de procédures non respectées et d’un défaut d’attention au moment de réaliser le geste technique. En amont, l’équipe ayant fourni le fichier corrompu avait omis de respecter les règles de nommage ce qui a permis la suite et ses conséquences néfastes.
Réponse 2 : après être passée de six à deux personnes depuis le début d’année pour des raisons d’économie, l’équipe responsable des mises en production doit assumer le même volume de travail. Cette nuit là, pour réaliser le geste technique une personne seule devait rassembler les informations éparses réparties dans 152 e-mails différents et trois outils dont un workflow transverse.
Comme les équipes de tests avaient été réduites dans les mêmes proportions pour les mêmes raisons, le problème de surcharge et de non maîtrise de l’information existait en réalité depuis déjà des mois. Cet éclatement de l’information critique s’est répercuté en cascade et en se multipliant jusqu’au moment fatidique.

Hypothèse : la théorie de la Firme est néfaste pour les organisations.  La  théorie de la Firme est l’équivalent organisationel des « actifs toxiques » bancaires. Si elle est chez vous, jetez-la et désinfectez. Cette théorie fomentée par les macro-économistes préconise que les coûts internes doivent être abaissés dessous le seuil des prix du marché.
Si vos coûts internes sont supérieurs aux coûts du marché, vous avez intérêt à acheter l’activité à quelqu’un d’autre plutôt que de la faire vous-même. C’est limpide, simple et aisément compréhensible et c’est la raison pour laquelle tous les Conseils d’Administration du monde s’y jettent les yeux fermés.

C’est bien dommage, car c’est un non-sens organisationnel. Cela ne génère aucune économie, c’est une augmentation des coûts, une augmentation des probabilités d’incident et une nuisance à votre culture interne. Il y a toujours des hauts et des bas dans les procédures métier ce qui explique « les incidents de prod ». Mais lorsqu’on y ajoute des équipes réduites, un discours du management qui valorise la vitesse en oubliant la redondance et la qualité… on arrive non plus à des incidents mais à des accidents. Dans d’autres contexte ce genre de badinage peut tuer. Car les professionnels connaissent les règles et surtout les choses indispensables dont il ne faut pas se passer mais la théorie de la Firme met à la tête des organisations des gestionnaires de budget. Pensez à Carly Fiorina chez Hewlett-Packard.
La survenue d’incidents plus graves et plus fréquents n’a donc rien d’un hasard lorsque la Direction garde pour objectif prioritaire la réduction des coûts sans prendre en compte les impératifs métier.

Prospective : dans le cas d’école dont nous parlions plus haut, la tendance est clairement à la recherche du « meilleur service, au meilleur coût » ce qui est un cache-sexe pour dire « meilleur coût ». L’étape d’après est déjà en route sous la forme d’un des plus importants projets d’externlisation de la décennie 2010 – 2020. Ce sera la sous-traitance de pans entiers de l’activité informatique (donc une activité stratégique dont on va perdre le contrôle).
Donc oui, ce sera pire lorsque les astreintes techniques seront sous-traitées et achetées en Inde. Non pas que j’ai quoi que ce soit contre les Indiens/Chinois/Roumains et j’en passe. Par contre j’ai quelque chose contre la non existence de relations de solidarité entre des équipes distantes qui travaillent ensemble sur des sujets hautement contextualisés. La méconnaissance du contexte et la dépersonnalisation des relations professionnelles rend impossible l’entraide spontanée dans les moments critiques. C’est toujours mieux de se faire dépanner par quelqu’un que Machin connaît et avec qui  Truc a déjà bossé. Que vos équipes soient réparties sur 5 continents n’est pas un problème, le problème c’est de construire la cohésion de vos équipes, distantes ou proches.

Publicités
 

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s