FRnOG 38 - Frédéric Mossmann : Open Compute Project
FRnOG 38 - Frédéric Mossmann : Open Compute Project
#FRnOG #hardware #OCP #server #datacenter
#FRnOG #hardware #OCP #server #datacenter
Transcript
00:00 Je vais vous parler de l'OCP, l'Open Compute Project.
00:04 Je me présente, Frédéric Mossman, je suis directeur technique chez 2CRSI,
00:08 fabricant de serveurs à Strasbourg, on en a déjà parlé tout à l'heure.
00:11 Je n'ai pas d'AS, je n'ai pas de Stage24 et l'IPv6 ne marche pas trop,
00:15 mais j'ai une clé PGP, c'est le seul truc geek que j'ai pu mettre.
00:18 En fait, on a fêté l'année dernière 100 ans de quelque chose que vous connaissez tous.
00:25 Est-ce que quelqu'un devine ce que ça peut être ?
00:26 On parle d'OCP.
00:29 On a fêté les 100 ans de la norme du 19 pouces.
00:32 D'après Wikipédia, c'est pour monter des modules électroniques dans des racks
00:39 et pour stocker du matériel de communication.
00:41 Ce n'est pas du tout pour les serveurs,
00:42 vous vous doutez bien qu'il y a 100 ans, ce n'était pas l'objectif,
00:45 mais comme tête technique, ce n'est pas mal.
00:48 En plus, ça ne fait même pas 19 pouces, ça fait 17,5,
00:53 donc on se fait un petit peu arnaquer au passage.
00:56 Je vais vous parler de l'OCP, d'où ça vient très brièvement.
01:00 En 2011, pour renouveler un data center de Facebook,
01:06 la question s'est posée,
01:08 est-ce qu'on ne pourrait pas faire profiter la communauté
01:11 de ce qu'on apprend pendant cette reconception de data center ?
01:17 Le projet OCP est né de ce travail-là chez Facebook.
01:22 Il y a beaucoup d'autres contribuables qui ont participé.
01:24 C'est les plus emblématiques, c'est pour ça qu'on les cite souvent.
01:27 Et les objectifs principaux, c'était l'efficacité énergétique,
01:30 greenwashing, mais en essayant de faire plus sérieux,
01:34 la simplification de la maintenance, la réduction des coûts,
01:38 vous prenez les deux au-dessus et vous réduisez les coûts,
01:42 et surtout, spécifications ouvertes, des réunions ouvertes,
01:46 des spécifications qui sont toutes disponibles,
01:50 des réunions ouvertes, des réunions ouvertes,
01:53 des réunions disponibles, des votes des membres de la communauté,
01:56 et c'est ça qui fait l'Open Compute Project.
01:58 C'est pensé à la base pour les hyperscalers et les cloud providers,
02:03 donc on n'est pas dans le serveur traditionnel
02:05 où on achète juste une pizza box et on la pose.
02:07 On est dans quelque chose qui est à l'échelle du rack.
02:11 Donc il y a eu une étape intermédiaire
02:12 qui était les serveurs en blade,
02:14 mais on était vraiment contraints à du matériel,
02:17 on ne pouvait pas mixer, et en fait, l'OCP,
02:19 c'est un espèce de gros blade rempli de pizza box
02:23 avec de la mutualisation.
02:24 Donc on prend un petit peu le meilleur des deux mondes.
02:26 Le premier point, alors vous êtes du réseau,
02:30 mais je pense que le RAID 5, ça vous parle,
02:32 c'est est-ce qu'on ne peut pas faire du RAID sur les alimentations ?
02:35 Au lieu de prendre dans chaque pizza box deux alimentations
02:39 parce qu'une peut tomber en panne,
02:41 on va mettre toutes les alimentations en commun
02:43 et on va se dire, si il y en a une qui tombe en panne,
02:45 c'est une au niveau du rack.
02:48 Et c'est de là, pour moi, la plus grosse innovation,
02:51 c'est déjà sortir les alimentations du serveur,
02:53 les mettre au niveau du rack
02:55 et réduire le nombre d'alimentations énormément.
02:58 On est à 18 alimentations dans un rack
03:01 où il y en avait 96 avant,
03:03 donc on est vraiment dans une grosse réduction.
03:05 Et petit effet de bord pour un constructeur informatique,
03:08 c'est que vous enlevez l'alimentation,
03:10 vous enlevez quasiment un quart du serveur.
03:13 On peut aller plus loin, nous, on a même enlevé la ventilation,
03:15 et là, il n'y a que de l'IT dans votre boîtier.
03:19 Votre boîtier est plus grand et en plus, il est plein d'IT.
03:21 Tout est en front taillot dans l'OCP.
03:26 Vous ne passez jamais à l'arrière du rack.
03:29 Vous prenez votre serveur, vous le rackez à l'avant,
03:31 tous les câbles se mettent à l'avant.
03:33 Sauf l'alimentation, l'alimentation est en fond de rack,
03:36 mais elle se fait par une griffe, vous rentrez le serveur,
03:38 elle va automatiquement se clipser à l'arrière du rack
03:42 et alimenter le serveur sans avoir besoin d'aller derrière.
03:45 Donc la petite aile bleue ID pour savoir quel est le serveur
03:48 qu'on va éteindre, ça n'a plus d'impact.
03:52 Là, maintenant, simplifié, si vous regardez,
03:55 il y a une couleur qui n'est pas du greenwashing.
03:57 Là, c'est juste pour dire, quand c'est vert,
03:59 vous avez le droit de toucher.
04:00 Si ce n'est pas vert, vous ne touchez pas.
04:02 Juste en touchant les éléments verts,
04:04 vous êtes capable de démonter le serveur jusqu'à la carte-mère.
04:07 On enlève la carte-mère du châssis juste en enlevant,
04:10 sans aucun outil, les vis, les connecteurs,
04:14 et changer n'importe quel composant sans aucun outil
04:16 et très rapidement.
04:18 Toujours pour réduire les coûts de maintenance.
04:22 C'est presque open hardware.
04:24 Alors, les spécifications sont publiques,
04:26 mais pour les utiliser, il faut être membre du projet OCB,
04:29 donc c'est très, très ouvert.
04:32 Par contre, il faut faire partie du projet
04:33 pour pouvoir avoir la totale liberté
04:36 de réutiliser toutes les spécifications
04:38 sans payer de droit d'auteur, enfin de brevet.
04:42 L'idée, c'était d'augmenter la demande,
04:46 et plus il y a de demandes, plus il va y avoir de fournisseurs,
04:48 et plus il y a de volumes, plus les coûts vont être bas.
04:52 Et dans l'OCP, il n'y a pas que des serveurs.
04:55 Nous, on vient du serveur, il n'y a pas que des serveurs.
04:57 Vous venez du réseau, il n'y a pas que du réseau.
04:59 Il y a de tout. Il y a à la fois la conception de data center,
05:02 il y a une équipe qui travaille sur rack and power,
05:05 qui va voir comment on va faire les racks
05:06 qu'on va mettre en data center, comment on va les alimenter,
05:08 comment on va les sécuriser.
05:10 Vous avez une équipe complète,
05:12 qui est... Enfin, plusieurs équipes même, sur le cooling,
05:15 que ce soit en immersion, que ce soit en DLC,
05:17 que ce soit avec des portes froides, etc.
05:19 Et vous avez évidemment des groupes pour la partie serveur,
05:22 la partie storage, la partie réseau, qui travaillent.
05:26 Et si vous rejoignez la communauté OCP,
05:28 vous pouvez faire partie de ces groupes de travail.
05:30 Et si vous n'avez pas envie de les rejoindre,
05:32 les archives sont gratuites, les réunions sont ouvertes,
05:35 il y a une totale transparence.
05:37 Petite évolution de l'OCP.
05:40 Alors, généralité, on appelle open rack le rack format OCP.
05:44 Alors, qu'est-ce que ça veut dire ?
05:45 Il y a une nouvelle largeur.
05:47 Au lieu du 19 pouces, qui est en vrai du 17,5,
05:49 on fait du 21 pouces, on gagne 20% en termes de largeur.
05:53 En termes de hauteur, on est parti de 44 mm,
05:58 et des poussières, on monte à 48 mm.
06:01 Ça ne paraît pas énorme,
06:02 mais quand vous prenez une double hauteur,
06:05 vous mettez des ventilateurs de 80 mm au lieu de 65 mm,
06:11 ce qui fait un gain énorme.
06:13 Sachant que le moteur du ventilateur prend beaucoup de place,
06:17 un ventilateur un petit peu plus grand,
06:19 c'est des pales en plus, des ailettes en plus,
06:21 ce n'est pas un moteur plus gros.
06:23 Une chose super importante, c'est que les racks OCP,
06:27 même si le serveur est 20% plus grand,
06:28 le rack est standardisé, il fait 60 cm,
06:31 comme les racks 19 pouces traditionnels.
06:33 Donc en data center, vous enlevez un rack 19 pouces,
06:35 vous mettez un rack OCP.
06:37 Si vous avez des dalles au sol qui font 60 cm,
06:40 ça collera dessus, il n'y a aucun problème.
06:43 La seule différence,
06:44 c'est un petit peu plus haut qu'un rack traditionnel,
06:46 mais les racks traditionnels commencent également
06:48 à augmenter en hauteur.
06:49 Donc au final, ça ne changera absolument rien.
06:52 Tous les open racks, l'arrivée électrique est en triphasé.
06:56 Il y a un système automatique d'équilibrage des phases
06:59 qui peut être intéressant.
07:00 Ça évite de changer les prix sur les PDU
07:02 pour essayer d'équilibrer.
07:04 Les alimentations sont tout le temps regroupées
07:07 dans ce qu'on appelle des "power shelves",
07:09 donc un boîtier dans lequel vous allez racker vos alimentations.
07:13 La distribution de courant est toujours faite
07:15 par des barres en cuivre qui sont au fond du rack.
07:17 Il y a quelques spécificités, on les verra juste après,
07:19 mais c'est le même principe sur tous les open racks.
07:22 Et les rails sont standards.
07:23 D'ailleurs, ce ne sont même pas des rails,
07:24 ce sont des équerres sur lesquelles se posent les serveurs
07:26 et se clipsent les serveurs.
07:27 Il n'y a pas cette notion de "on est à deux à porter le châssis
07:31 pendant qu'on essaie de rentrer le rack
07:32 et quand c'est mal rentré, ça tombe".
07:34 Là, vous mettez le serveur seul, vous le poussez,
07:37 vous le clipsez jusqu'au fond et le serveur démarre.
07:41 La première version standardisée de l'open rack, open rack V1,
07:45 il y avait trois zones, à chaque fois trois bus-bars
07:49 avec des bandes d'alimentation.
07:52 Et il y avait la possibilité d'avoir une alimentation de secours
07:55 à base de batterie qui se trouvait dans un rack
08:00 à côté des racks de compute.
08:02 Donc vous aviez des racks de compute et un rack de batterie
08:04 qui est alimenté en courant alternatif.
08:06 Sachant que le but premier de ce système,
08:13 c'était de ne plus avoir d'onduleurs dans le data center.
08:17 Toujours les groupes électrogènes, mais pas les onduleurs.
08:20 Open rack V2, on a changé un petit peu,
08:23 il y a un petit peu moins d'alimentation
08:24 et une seule barre au lieu de trois.
08:26 Et les batteries sont directement dans les power shelves.
08:29 Donc vous n'avez plus le rack de batterie,
08:31 les batteries, vous les mettez directement
08:32 dans votre alimentation.
08:34 Pour secourir en cas de coupure de courant.
08:38 Et important, une rétrocompatibilité avec open rack V1
08:41 que vous n'avez pas dans le open rack V3, la nouvelle version,
08:45 qui n'est pas compatible parce qu'elle est en 48 volts.
08:47 Je vous laisse deviner ce qui se passe
08:49 quand on branche un serveur 12 volts sur du 48 volts.
08:52 Donc pas de rétrocompatibilité, mais beaucoup d'amélioration.
08:57 Des barres qui sont en 48 volts,
09:00 beaucoup d'amélioration.
09:02 Des barres qui sont plus sécurisées,
09:05 qui sont mieux faites.
09:06 Vous quadruplez la tension,
09:08 ça veut dire que vous divisez par 4 l'intensité.
09:10 Et c'est l'intensité qui est le problème en électricité.
09:14 Vous pouvez rajouter des power shelves d'alimentation,
09:18 donc des alimentations à volonté.
09:20 Vous pouvez rajouter des batteries en option,
09:22 juste en les glissant et en les clipsant dans votre rack,
09:27 sans avoir besoin d'intervenir physiquement
09:29 à boulonner quelque chose.
09:31 Et pour les serveurs qui ne sont pas passés en 48 volts,
09:34 il y a toujours le moyen de convertir en 12 volts
09:38 pour certains composants.
09:41 Je passe rapidement, mais le 48 volts,
09:42 vous vous doutez que c'est beaucoup plus efficace.
09:44 Et en plus, dans le monde des télécommunications,
09:45 le 48 volts est assez simple à récupérer,
09:48 sachant que la source d'alimentation primaire,
09:50 c'est vraiment le triphasé, et le 48 volts est en secours.
09:56 Dans les DC, le standard OCP visait le free cooling au début.
10:01 Donc on est sur l'entrée d'air à 30 degrés,
10:03 30-35 degrés d'air ambiant en entrée des serveurs.
10:07 On n'est pas obligé d'avoir une climatisation.
10:09 Ensuite, ça marche très bien dans un data center
10:11 en colocation qui a de la climatisation.
10:13 On ventilera peut-être un petit peu moins,
10:15 mais on peut s'en passer.
10:17 En colocation, avec l'open rack V1 et V2,
10:22 ça ne marchait pas trop parce que c'était prévu
10:24 pour les hyperscalers qui sont seuls dans leur bâtiment.
10:27 Donc il n'y a pas de porte.
10:28 Il n'y a même pas de porte sur les côtés.
10:30 Votre rack, c'est une cage en métal
10:33 dans laquelle vous mettez vos serveurs.
10:34 Aucune sécurité.
10:35 Open rack V3 standardise, donc ne le fabrique pas.
10:40 Open compute ne fabrique rien.
10:42 Mais dans l'open rack V3, il y a le standard de porte,
10:46 de sidewall, donc les plaques sur les côtés,
10:48 pour pouvoir mettre votre rack en colocation.
10:51 Et toujours le map footprint de 60 cm
10:55 qui permet d'être compatible avec les autres racks.
10:57 Open rack V3 standardise aussi le DLC.
11:02 On a parlé de cooling ce matin, ce début d'après-midi.
11:05 Chacun avait sa solution de DLC, donc de raccordement.
11:10 Là, le DLC sur open rack V3,
11:12 c'est une barre, un tube de métal à l'arrière
11:17 avec des connecteurs rapides.
11:18 Vous prenez le serveur, vous l'enfoncez au maximum,
11:22 il va prendre le courant, il va se brancher sur le réseau d'eau.
11:25 Et quand vous le retirez, il se déconnecte du réseau d'eau
11:27 et il est électricisé automatiquement.
11:28 Et c'est standard, c'est-à-dire que tous les serveurs
11:30 open rack V3 DLC seront compatibles avec tous les racks
11:34 et tous les data centers supportant ce standard.
11:37 J'essaie d'aller vite.
11:39 Il y a des standards OCP que vous utilisez sûrement
11:45 même sans faire de l'OCP.
11:47 Le premier, c'était les mezzanine cards 2.0.
11:50 Donc, c'était des cartes qui se clipsaient sur la carte mère.
11:53 C'est bien, mais pas top.
11:56 C'est-à-dire que ça prend de la place sur la carte mère,
11:58 mais ça permettait d'éviter les cartes PCI perpendiculaires
12:01 parce que dans les serveurs, on sait que c'est toujours problématique.
12:04 Est venue l'OCP NIC 3.0,
12:08 celle-là, vous la connaissez peut-être un petit peu plus,
12:09 en mode coplanaire.
12:11 Vous mettez la carte dans l'alignement de votre carte mère,
12:13 vous la clipsez dedans,
12:14 et vous avez un port PCI tout à fait traditionnel
12:18 qui vous permet d'avoir n'importe quelle carte réseau
12:20 ou pourquoi pas autre chose qu'une carte réseau.
12:22 Tout ce qui marche en PCI pourrait fonctionner comme ça.
12:25 Supermicro avait un peu la même idée,
12:27 mais ce n'était pas un standard, donc c'était réservé à la marque.
12:29 Là, on est vraiment dans quelque chose que l'OCP a libéré
12:32 et tous les constructeurs, même d'ailleurs ceux-là,
12:36 implémentent et vos cartes,
12:37 vous pouvez les mettre dans vos serveurs comme ça.
12:41 Un autre exemple, c'est le format OAM
12:43 pour les accélérateurs modules,
12:44 donc les GPU principalement, mais ce n'est pas les seuls.
12:47 C'est vraiment prévu pour serveurs.
12:49 Votre composant est vissé à la carte mère,
12:52 un peu comme un processeur.
12:53 Ce n'est pas une carte PCI qui peut être un petit peu...
12:56 se déconnecter, mais ce n'est pas vraiment prévu pour les serveurs.
13:01 Là, c'est vraiment dédié pour les serveurs,
13:02 même pour les serveurs multi-GPU,
13:04 avec plus de connexions et un montage vraiment plus industriel.
13:10 On en parlait, c'était la première présentation,
13:12 le EdgeCore qui a fait un switch,
13:14 qui était le switch principal chez Facebook,
13:18 qui est un switch bare metal.
13:19 Vous achetez le switch,
13:20 vous avez un logiciel dessus qui s'appelle ONI,
13:22 qui permet d'installer un système d'exploitation,
13:24 un NOS, un Network Operating System.
13:27 Le switch, les spécifications du switch sont libres,
13:32 les spécifications d'ONI sont libres,
13:34 ça fait partie du projet OCP.
13:37 Et comme logiciel, vous avez par exemple SONIC,
13:40 qui fait partie du projet OCP également,
13:43 et qui permet de faire tourner votre switch.
13:46 Donc, vous avez le matériel,
13:47 vous avez la couche d'installation du logiciel,
13:49 et vous avez le logiciel.
13:51 Et je vois Philippe se lever, mais je suis à la conclusion.
13:55 Trop tard.
13:56 Alors, l'OCP, ce n'est pas forcément pour tout le monde.
14:00 Si vous voulez acheter un serveur et le poser dans votre cave,
14:03 ça ne marchera pas.
14:04 Ce n'est pas vraiment l'idéal.
14:06 La quantité minimum de commandes,
14:08 on va dire c'est le rack.
14:10 Au-dessus du rack, c'est pertinent,
14:12 le rack, c'est le minimum.
14:13 En-dessous du rack, vous avez de l'espace vide dans votre système,
14:16 ça ne sert absolument à rien.
14:17 Mais par contre, le 19 pouces commence à être vraiment trop juste.
14:21 On a un standard, le 2U 4 nodes,
14:23 donc 2U, vous voyez ce que ça fait, 4 nodes, vous avez 4 lames.
14:26 On commence à être vraiment au bord,
14:29 avec les barrettes de RAM qui touchent les bords,
14:31 et le processeur qui est de plus en plus gros,
14:33 ça commence à être un peu compliqué.
14:36 Le refroidissement est très compliqué,
14:37 on est obligé de faire du liquid cooling ou des choses comme ça
14:39 pour les nouveaux CPU.
14:41 Par contre, la transition est de plus en plus facile.
14:43 On a de plus en plus de vendeurs de matériel OCP,
14:46 donc vous avez plus de facilité à vous équiper.
14:49 Et c'est une source d'innovation également pour le 19 pouces.
14:53 Je pense que les cartes réseau OCP,
14:56 c'est une belle avancée et c'est vraiment super pratique.
15:00 Et la dernière diapositive, voilà.
15:02 J'ai respecté le...
15:04 Parfait. Super. Merci.