Le processus de M&O Stamp of Approval’Uptime Institute est conçu pour intégrer les enseignements de plus de 20 ans de visites de sites dans des installations critiques à travers le monde dans les meilleures pratiques afin d’aider les propriétaires et les opérateurs de centres de données à introduire la cohérence, la transparence et les meilleures pratiques du secteur dans les processus de gestion et d’exploitation des centres de données.

Uptime Institute a analysé d'innombrables données et a constaté que la majorité des pannes de datacenter signalées sont directement liées à l'erreur humaine, que ce soit sous la forme d'une erreur de l'opérateur ou de la direction dans les décisions concernant le personnel, les processus de maintenance, la formation ou la rigueur globale des opérations. Ces types de pannes peuvent se produire malgré la topologie de l'infrastructure du datacenter. De l'autre côté, un centre de données bien géré peut atteindre la disponibilité de l'entreprise bien au-delà des attentes et généralement basé uniquement sur la topologie de l'infrastructure installée.

Étant donné que l'erreur humaine est responsable de la majorité des incidents de datacenter, l'adoption d'une approche holistique de l'évaluation des pratiques de recrutement et d'organisation, des activités de maintenance et d'exploitation, ainsi que de la gestion et de la planification était logique pour Shawn Tugwell, directeur de l'architecture et de l'ingénierie des datacenters chez PayPal. Il a vu cela comme une occasion de s’assurer que son équipe passait en revue tous les détails, et d’utiliser l’évaluation du M&O Stamp of Approval comme un outil important pour couvrir tous les aspects des opérations avec la perspective et l’expertise de tiers d’Uptime Institute.

Tugwell voulait continuer à pousser son équipe pour s’assurer qu’aucune pierre n’était déformée, en demandant : « Comment puis-je rendre cela plus difficile pour être sûr que rien n’a été manqué ? » Il souhaitait également voir comment il pouvait à son tour adopter cette même méthodologie et appliquer le M&O Stamp of Approval et l’évaluation indépendante aux colos qui travaillent avec PayPal pour pouvoir déterminer comment chacun des colos individuels travaillant avec PayPal se portait et ce qui pourrait être amélioré.

L’évaluation M&O est un moyen de mesurer directement l’efficacité opérationnelle des équipes au sein du datacenter en se concentrant sur les comportements dans cinq « composantes » et en disséquant chaque comportement identifié pour déterminer si ce comportement répond aux trois principes de Operational Sustainability : proactif, mis en pratique et informé. Les cinq composantes avec lesquelles ces comportements s’alignent sont 1) la dotation en personnel et l’organisation ; 2) la maintenance ; 3) la formation ; 4) la planification, la coordination et la gestion ; et 5) les conditions d’exploitation. L’équipe des opérations de centre de données PayPal dans PHX01 est une équipe chevronnée avec des années d’expérience sous sa responsabilité, mais elle n’a jamais été évaluée par Uptime Institute. Et avec l’engagement récent de Paypal envers cinq-neuf (99,999 %) de disponibilité dans tous les centres de données, quel que soit le Tier, l’évaluation était un moyen de valider que l’équipe pouvait atteindre son objectif.

Le processus a commencé début 2018, lorsque PayPal Data Center Services a reçu le M&O Stamp of Approval l’Uptime Institute pour le centre de données PHX01 à la fin de l’évaluation. La société a reçu 96,2 %, l'un des scores les plus élevés jamais obtenus pour la première fois, une grande réussite qui illustre clairement le leadership de PayPal dans la mise en œuvre des meilleures pratiques de gestion et opérationnelles. Le résultat est le résultat direct de la ténacité de l’équipe DC Ops à Phoenix, en Arizona, et reflète le dévouement de l’équipe aux opérations axées sur les processus.

L’équipe d’Uptime Institute a également été impressionnée par la mise en œuvre par PayPal de la plateforme ServiceNow. L’équipe DC Ops utilise ServiceNow pour les flux de travail d’approbation des procédures, la gestion de la maintenance pour les infrastructures critiques de datacenter, la gestion des incidents, ainsi que la planification de l’espace et de l’alimentation. Lorsque PayPal a expliqué que ServiceNow n’avait été mis en œuvre que depuis quelques mois au sein de DCS, les représentants d’Uptime Institute étaient très satisfaits du niveau de maturité du système.

PayPal a ensuite soumis PHX02 et PHX04 au même processus M&O Stamp of Approval, et chaque site a reçu un autre score de premier ordre de 100 %. Grâce à ces évaluations, l’équipe PayPal compétitive continue de placer la barre plus haut, avec une compréhension claire de la manière d’atteindre le niveau supérieur.

L'engagement de PayPal en faveur de cinq-neuf disponibilités exige ce que l'on appelle dans l'industrie des datacenters le personnel « 24 par éternel ». Dans la composante « Personnel et organisation », il a été identifié que le groupe des opérations de l'installation répondait à ces critères de personnel en ayant au moins trois techniciens sur site à tout moment. Ces techniciens suivent une formation initiale et continue rigoureuse pour s’assurer qu’ils possèdent une connaissance complète et approfondie dans diverses disciplines et une variété de systèmes et d’équipements.

Le groupe Opérations de l'installation est également responsable de la bonne exécution de la maintenance préventive et corrective au centre de données. L’équipe crée et maintient des normes et des procédures de maintenance sur site pour s’assurer que la maintenance est terminée et documentée avec succès. Les normes élevées de l’équipe des installations, en partenariat avec l’équipe de gestion des centres de données de PayPal, ont permis de ne pas reporter les éléments de maintenance dans tous les centres de données. Un programme de maintenance préventive complet et efficace permet à PayPal de maintenir l'équipement dans un état comme neuf, ce qui est essentiel pour offrir cinq-neuf de disponibilité.

La formation est à l’avant-garde de l’équipe des services de centre de données de PayPal. Les nouvelles recrues au sein de l’équipe des opérations de l’installation sont tenues de suivre un programme de formation initial avant d’être autorisées à travailler en équipe. En plus du programme de formation initial, un programme de formation des fournisseurs existe également pour les fournisseurs qui effectueront la maintenance sur site. La formation des fournisseurs comprend les sujets de formation requis et diverses règles de travail pour les centres de données.

Une planification, une coordination et une gestion efficaces sont un autre aspect clé de la réalisation des objectifs de disponibilité de PayPal. L’équipe dispose de diverses procédures et normes, disponibles dans la base de connaissances ServiceNow, afin de garantir la cohérence entre les centres de données et de réduire le risque d’erreurs humaines sur le site. En outre, l’équipe financière de PayPal crée, examine et suit les budgets pour s’assurer que chaque centre de données dispose d’un budget adéquat pour soutenir les objectifs commerciaux. Ces budgets sont maintenus indépendamment d’un site à l’autre pour s’assurer que l’attention et l’attention appropriées peuvent être accordées à des centres de données spécifiques.

Enfin, PayPal utilise des limites de charge cohérentes et documentées sur les composants pour assurer la réussite des conditions de fonctionnement. Les points de consigne associés aux composants et à l’équipement sont établis comme des outils d’atténuation des risques et se concentrent sur le coût global des opérations dans les centres de données. Les points de consigne d’alarme de l’installation sont définis pour permettre une capacité réservée pour la commutation et le basculement, tandis que les points de consigne sont établis en partenariat avec une société de conseil en ingénierie.

À mesure que l’organisation continue de se développer, la cohérence devient encore plus importante à mesure que l’équipe ajoute des sociétés de colocation à leur mix de centres de données. L’équipe des services de datacenter a ensuite réussi et a déployé le programme M&O Stamp of Approval auprès des fournisseurs de datacenters de colocation de l’organisation. Désormais, les nouveaux contrats exigent que les fournisseurs de centres de données aient obtenu le M&O Stamp of Approval’Uptime Institute et conservent un statut d’attribution valide pendant que PayPal est un client.

L’objectif principal de l’équipe des services de datacenter est de continuer à réduire les coûts pour l’entreprise, et tout temps d’arrêt du datacenter est une perte pour l’entreprise. L’équipe veut également s’assurer que toutes les colos sont en mesure de faire de leur mieux, et le M&O Stamp of Approval aide à atteindre ces objectifs. Le M&O Stamp of Approval aide également les équipes à s’assurer qu’aucune surprise ne se produit à mesure que de nouvelles équipes et pratiques opérationnelles entrent en jeu. PayPal a également été satisfait de l'excellent soutien qu'ils ont reçu de leur équipe BGIS pour le personnel critique et la maintenance du programme, qui a également été la clé du succès du programme.

Les excellents scores de PayPal ont également permis à l'équipe de valider un travail bien fait et d'aider l'équipe de gestion du centre de données à illustrer clairement à son équipe de direction qu'elle fait un travail formidable et peut garantir à ses clients que leurs paiements sont sécurisés avec la plateforme de paiements numériques PayPal.