Optimisation énergétique et pratiques d’excellence dans un centre de données vital

En tant que l’une des plus grandes plates-formes de commerce électronique, eBay exige une fiabilité extrême de ses centres de données ; tout temps d’arrêt aurait des conséquences sur les transactions équivalentes à plus de 2 000$ par seconde. Son équipe mondiale des centres de données doit donc exceller en offrant disponibilité et souplesse, tout en réduisant les coûts – un défi réellement complexe, nécessitant une innovation constante pour y parvenir.

Depuis sa création, eBay a accumulé un portefeuille de 12 sites de centre de données pour s’adapter à sa charge de calcul en augmentation constante. Bien entendu, les coûts d’exploitation des centres de données d’eBay augmentent également chaque année tandis que la croissance de l’activité se poursuit sans répit.

En réaction, eBay a créé et a commencé à exécuter un plan de centres de données sur quatre ans avec un objectif ambitieux : réduire les coûts énergétiques de moitié, tout en doublant simultanément les performances de calcul. En même temps, la conception de cette nouvelle infrastructure doit permettre plus de souplesse opérationnelle et plus de fiabilité.

Pour atteindre ces objectifs, eBay doit consolider ses actifs en un nombre moins élevé de centres de données, chacun étant entièrement conçu pour être extrêmement économe en énergie sans compromettre la disponibilité.

« Une stratégie de centres de données réussie présume que la demande de calcul augmentera chaque année, en permettant néanmoins cette croissance sans augmentations proportionnées des dépenses d’exploitation », explique Dean Nelson, directeur principal responsable de la stratégie et de l’exploitation des centres de données d’eBay. « Nous devons mettre fin à la relation linéaire entre charge de calcul et coût d’exploitation. Ceci nécessite des progrès permanents et déstabilisants dans nos profils d’efficacité énergétique, de puissance de calcul et d’utilisation des serveurs. »

En mai 2010, eBay a ouvert le site phare et la pierre angulaire de sa nouvelle stratégie de centres de données, le projet Topaz. Situé à South Jordan, dans l’Utah, Topaz est l’investissement unique le plus important dans l’histoire d’eBay et hébergera plus d’un tiers de son infrastructure de serveurs mondiale. Tout en déployant toutes les redondances nécessaires requises pour un centre de données de niveau IV, Topaz peut également se glorifier d’un indicateur d’efficacité énergétique (PUE) de seulement 1,4.

Efficacité des racks maximale par le biais des pratiques d’excellence

En utilisant des mécanismes d’efficacité énergétique innovants dans son infrastructure – tels qu’un projet d’architecture optimisé, des économiseurs sur l’eau, la collecte de l’eau de pluie et des contrôles dynamiques dans l’ensemble des sous-systèmes de refroidissement et de distribution électrique – le centre de données Topaz fournit l’alimentation et le refroidissement de l’espace au sol avec une charge opérationnelle remarquablement minimale.

Pour compléter ces mesures sur le site, Topaz met également en oeuvre de nombreuses pratiques d’excellence sur ses espaces au sol, fonctionnant de pair avec l’installation de refroidissement pour contribuer à la conception écologique LEED de référence du site. Cinq caractéristiques clés de la conception de l’espace au sol du centre de données Topaz sont particulièrement séduisantes pour leur valeur et leur applicabilité à tous les centres de données modernes :

1. Système de confinement de l’allée chaude

Pour atteindre les meilleures performances de refroidissement, eBay a utilisé un système de confinement de l’allée chaude ayant été conçu avec précaution, élaboré sous forme de prototype et évalué avant la construction.

Dans son siège de San Jose, l’équipe chargée de l’architecture des centres de données d’eBay a équipé des maquettes grandeur nature de plusieurs systèmes de confinement, en expérimentant différentes stratégies (confinement de l’allée chaude par rapport à l’allée froide), matériaux (portes de confinement par rapport à un gainage en plastique) et dimensions. Ce processus de conception a déterminé un équilibre optimal entre coût, souplesse et fiabilité avant le déploiement de masse. eBay a constaté que le confinement de l’allée chaude fournissait des temps de réserve plus généreux que le confinement de l’allée froide en cas de panne de la climatisation. L’équipe a déployé des ailes de confinement constituées de rangées d’armoires 45U et a établi un partenariat avec son fournisseur d’armoires et de confinement afin d’assurer une conception modulaire tout en réduisant au minimum les déperditions.

2. Distribution 400 V à chaque armoire

Avec plusieurs serveurs lames déployés dans certaines armoires, eBay souhaitait que chaque rack spécifique puisse distribuer des charges allant jusqu’à 17 kW. Alors que ceci est possible avec la distribution 208 V traditionnelle, Topaz atteint une rentabilité importante en étendant la distribution d’une tension plus élevée à chaque armoire. En fournissant une tension de 400 V à chaque
armoire, eBay réduit au minimum la transformation réductrice et la perte de ligne de transmission tout en réduisant l’utilisation de cuivre.

eBay fournit notamment une alimentation triphasée de 400 V à deux unités de distribution d’alimentation de rack intelligentes Raritan (également appelées « barrettes d’alimentation » ou « PDU de rack ») dans chaque armoire. La PDU de rack, avec un câblage phase-neutre interne (WYE triphasé), fournit à chaque serveur une alimentation de 240 V et monophasée – dans la plage de fonctionnement des alimentations de pratiquement tous les équipements informatiques.

En tant que fournisseur mondial d’unités de distribution d’alimentation de rack, Raritan propose une gamme très étendue de configurations de produits acceptant une entrée de 400 V. Alors que la distribution 400 V est relativement récente en Amérique du Nord, Raritan a déployé des systèmes à 400 V où il s’agit de la tension nominale standard en Australie et dans de nombreux pays européens.

3. Instruments d’alimentation de serveur détaillés

Son coût total par recherche est peut-être la mesure d’économie la plus importante pour l’équipe chargée de
l’exploitation des centres de données d’eBay. En outre, étant donné que les capacités des serveurs augmentent aussi rapidement avec chaque génération de produits, eBay remplace ses serveurs avec des cycles de rafraîchissement de deux ans, les gains de performance par watt rentabilisant les coûts d’achat des nouveaux actifs.

Avec chaque serveur acheté, cependant, eBay peut réellement réduire au minimum son coût par recherche en incluant tous les coûts d’exécution du serveur, et pas uniquement le coût d’achat. En particulier, les coûts énergétiques sont l’unique dépense opérationnelle la plus importante pour chaque actif donné. 

Pour parvenir à réaliser le maximum d’économies, eBay a déployé des PDU de rack de Raritan fournissant des données précises sur la consommation énergétique pour chaque alimentation unique, de chaque serveur particulier. Précis par rapport aux normes de « facturation » de l’IEC/ANSI, la gamme de PDU de rack de Raritan Dominion PX fournit des informations précises sur les kilowatts par heure, en dessous de +/- 1 % pour chaque actif individuel dans le centre de données. Conçue avec les standards informatiques et d’installations à l’esprit, la gamme Dominion PX peut transmettre ces informations en amont aux systèmes de gestion des locaux et de suivi des actifs d’eBay en temps réel, atteignant un PUE de catégorie 3 (ou PUE3) du Green Grid.

« La gamme Dominion PX peut m’apporter la précision requise pour calculer mes coûts d’exploitation réels pour chaque serveur, jusqu’au dernier centime », déclare M. Nelson. « Je peux comprendre les profils d’efficacité de chaque fournisseur et déterminer les besoins qui sont immédiatement amortis dans le prochain appel d’offres de serveurs. »

4. Instruments de température granulaire

En ayant mis en oeuvre de nombreux mécanismes
révolutionnaires dans son infrastructure de refroidissement,
Topaz améliore davantage ses performances de refroidissement – aussi bien en termes d’économies de coût que de fiabilité – avec une compréhension en temps réel de l’environnement d’exploitation de chaque serveur. Tandis que la plupart des centres de donnée contrôlent les seuils et renvoient les températures, ces données ne donnent qu’une approximation de l’environnement de serveur réel au niveau du rack. Et des approximations nécessitent que les opérateurs établissent des marges de sécurité et des plafonds de refroidissement qui sont, par définition, peu rentables.

En revanche, eBay connaît la température d’entrée et de sortie exacte de chaque armoire individuelle dans le centre de données Topaz. Plus particulièrement, Topaz suit les recommandations de l’ASHRAE pour le contrôle
environnemental des serveurs, en mesurant l’allée froide en haut, au milieu et en bas en plus de l’allée chaude. Etant donné que ces informations peuvent être contrôlées en permanence, eBay peut ajuster ses paramètres de
refroidissement afin d’optimiser les performances tout en assurant des alertes instantanées pour toute défaillance au niveau des serveurs.

Généralement, ce niveau de contrôle environnemental serait trop onéreux pour être déployé dans chaque armoire. Pourtant, la gamme de PDU de rack intelligentes Dominion PX peut apporter
ce degré de détails des instruments sans coûts d’infrastructure supplémentaires au-delà des capteurs de température Plug-and-Play eux-mêmes. La couche réseau existante déjà fournie par les
PDU de rack Raritan est adaptée pour mesurer et contrôler les données sur l’humidité et la température.

5. Barres blindées de distribution d’alimentation au plafond

La plupart des centres de données utilisent un dédale de câbles d’alimentation sous plancher des tableaux de contrôle des PDU à chaque armoire. Cependant, cette conception entrave
énormément la fourniture de ventilation et, en conséquence, affecte les performances de refroidissement. Etant donné que cela se produit souvent sous le faux plancher, ce manque d’efficacité
est facilement négligé et peut être matériel.

En outre, une conception standard fournissant des « fouets » d’alimentation sous plancher dédiés à chaque disjoncteur consomme également une quantité importante de cuivre inutile et sous-utilisé, tout en limitant en même temps la flexibilité pour la commande de nouvelles armoires.

Pour résoudre ce problème, Topaz utilise des barres blindées de distribution d’alimentation au plafond pour que chaque armoire puisse être facilement branchée sur une source d’alimentation de 400 A. Deux barres passent entre chaque rangée d’armoires, chacune fournissant une alimentation redondante, éliminant ainsi complètement le besoin de fouets sous plancher. Des prises peuvent être ajoutées à n’importe quel emplacement le long de la rangée d’armoires en cinq minutes en fournissant une boîte de dérivation protégée par disjoncteur, au lieu d’attendre plusieurs jours qu’un électricien fournisse des branchements supplémentaires.

Synthèse

eBay est une entreprise qui se soucie d’améliorer la fiabilité alors que les temps d’arrêt coûtent 2 000 $/seconde ou 120 000 $/minute. L’envergure étendue des activités d’eBay signifie que l’entreprise doit également continuer à contrôler les coûts d’équipement et d’électricité. A ces fins, eBay a développé un modèle pour ses centres de données qui rend les opérations informatiques extrêmement fiables et qui reviennent deux fois moins cher à exploiter que les centres de données qu’elle met hors service.

En plus de réduire au minimum les pannes et de diminuer les coûts d’exploitation, le site d’eBay à South Jordan dans l’Utah est passé à la première place dans le classement de l’agrément
LEED (Leadership in Energy & Environmental Design) du U.S. Green Building Council.

La flexibilité conçue dans le centre de données d’eBay est aussi importante que le classement en termes d’efficacité de l’agrément LEED et la fiabilité de niveau IV. Il s’agit d’un centre de données qui peut s’adapter à l’évolution des besoins et des équipements, ce qui est particulièrement important pour eBay, la demande exigeant de s’adapter pour une croissance future.

En mettant en oeuvre les pratiques d’excellence du secteur informatique comme eBay en a donné l’exemple, même les centres de données de taille modeste peuvent améliorer leur disponibilité, réduire les coûts et devenir plus efficaces en utilisant un équipement facilement disponible et des techniques et des processus simples.