Pierre-Yves Maunier : Deploying a Backbone in APAC (suite et fin) #FRnOG
Category
🤖
TechnologieTranscription
00:00 Il y a 6 mois, en septembre 2022, j'avais fait une présentation sur la façon dont F5 avait déployé son backbone en Asie-Pacifique,
00:10 toutes les étapes à lesquelles on était passé.
00:13 J'avais terminé sur le fait qu'on vient de finir le dernier déploiement et qu'on attend les mois suivants pour savoir comment ça se passe.
00:23 C'était il y a 6 mois et je vais faire un petit retour d'expérience sur les 6 derniers mois d'exploitation de ce réseau.
00:30 D'où est-ce qu'on vient ?
00:33 Comme je le disais, si vous voulez avoir un peu plus de contexte, je vous invite à aller sur le site du GFRNOG,
00:39 regarder les archives pour avoir la dernière présentation qui va expliquer tout ça un peu plus en détail.
00:44 Je vais faire un tout petit récap.
00:46 Q1 2020, on voulait se déployer en Asie-Pacifique, on a commencé depuis les US avec du transport L2 pas cher.
00:56 La qualité était proportionnelle au prix qu'on payait donc ça ne marchait pas très bien.
01:01 On a changé, on s'est dit qu'on allait essayer de le faire en Wave.
01:05 On l'a fait en Wave, 3 chemins par pop, ça casse tout le temps, ça casse longtemps et souvent.
01:11 On a fait un autre update en Q4 2021, on a rajouté des liens, ça cassait toujours.
01:17 Au FRNOG 36, on était arrivé à un design, on utilisait 13 câbles sous-marins, 1 Tera de Kappa,
01:25 donc plein de 100 GB, quelques 10 GB.
01:27 J'avais dit qu'on attend les prochains mois pour voir comment ça se passe.
01:31 J'avais fini ma présentation en disant en conclusion, c'est long, c'est relou et le sous-marin c'est chiant.
01:37 6 mois plus tard, spoiler alert, le sous-marin c'est toujours chiant.
01:41 Petit exemple, comme avant, les outages durent très longtemps.
01:47 Là ce que vous voyez à droite c'est l'ensemble des liens qu'on a en Asie pacifique.
01:51 Ça ne prend pas en compte les liens trans-pacifiques, c'est les liens qu'on a au sein de l'Asie, les liens sous-marins.
01:56 Les outages durent très longtemps, on n'a pas eu de downtime de pop,
02:02 comme on a pu avoir précédemment où on a eu Singapour qui était dans le noir pendant 3 heures.
02:06 Par contre, on a eu un close call dans le sens où la première coupure, le premier rectangle noir que vous voyez,
02:13 on a eu 5 circuits qui sont tombés sur 4 chemins différents.
02:18 On a 4 câbles sous-marins qui sont tombés dans la même fenêtre de temps.
02:23 Sur ces 4 câbles sous-marins, il y en a 3 chemins différents qui concernaient Hong Kong.
02:30 Donc Hong Kong s'est retrouvé dans cette situation là, donc il y a notre Hong Kong Osaka qui était down,
02:34 Hong Kong Tokyo qui n'était pas down.
02:36 C'est un câble qui aurait dû être livré mais le délivrer a pris plus de temps parce qu'il y avait une grosse maintenance sur le câble.
02:42 Mais maintenant ça dure longtemps.
02:44 Et on a notre Hong Kong Singapour qui était down et notre Singapour Tokyo qui était down.
02:48 Et le dernier lien qui raccordait Hong Kong au reste du backbone, il avait des erreurs CRC dessus.
02:53 Donc on ne pouvait même pas l'utiliser correctement.
02:55 Heureusement, on avait mis du backup en layer 2, ce qui ne marchait pas avant.
03:04 Mais on a mis un nouveau provider qui a marché.
03:07 On a dû faire quelques ajustements parce que quand vous passez de 350 GB de Kappa à quelques dizaines sur du layer 2, ça pose des soucis.
03:18 Donc ce qu'on a pu faire, c'est on a dédié le POP aux connexions locales.
03:21 Tout ce qui était Anycast au niveau mondial, on a dégagé de ce POP et ce POP ne servait vraiment que les clients locaux.
03:27 Donc tout le trafic qui pouvait être desservi par des POP à côté, on l'a redirigé ailleurs.
03:34 Du coup, globalement, on a eu ces soucis.
03:38 Donc jusqu'à 4 câbles coupés en même temps, ça prend du temps.
03:43 Et pour l'instant, on est content de notre design.
03:47 On va faire une petite comparaison entre ce qu'on a vécu en Asie-Pacifique et le reste de la plateforme au niveau mondial chez F5.
03:54 En comparaison, en Asie-Pacifique, on voit tous les liens.
03:59 Ça casse assez souvent très longtemps.
04:04 Vous voyez qu'il y a des liens, c'est 180 jours, donc c'est 6 mois.
04:07 Vous voyez qu'il y a des liens, ça fait 4 mois qu'ils sont d'armes.
04:10 Pour la petite histoire, il y a plusieurs choses qui expliquent ces délais dans cette région-là.
04:18 Intervenir en bateau sur des câbles sous-marins, ça prend du temps.
04:21 Il faut localiser la faute, il faut envoyer un bateau, il faut attendre les bonnes conditions météo, il faut pouvoir le réparer.
04:26 Et à côté de ça, il y a une autre problématique qui va être plutôt politique.
04:31 Si vous avez par malchance la coupure sous-marine, qui ne se trouve pas dans les eaux internationales, mais dans les eaux territoriales,
04:38 il y a certains pays en Asie-Pacifique, dans leurs eaux nationales,
04:42 ils peuvent vous faire patienter 6 mois avant de vous donner l'autorisation de réparer le câble.
04:47 C'est le cas, là, en ce moment, c'est le Hong Kong-Singapour, ça fait 4 mois qu'il est down,
04:55 et on ne sait pas quand est-ce que ça sera réparé.
04:58 On voit quand même que dès qu'il y a du sous-marin, ça ne dure plus très longtemps.
05:04 L'Asie et le Trans-Pacifique, les coupures durent plus longtemps qu'en Trans-Atlantique,
05:09 c'est plus simple à priori de réparer dans l'Atlantique que dans le Pacifique, je ne sais pas pourquoi.
05:15 En Amérique du Nord et en Europe, on fait principalement du terrestre,
05:19 et du coup la disponibilité est quand même beaucoup plus présente, et ça coûte beaucoup moins cher.
05:27 C'est beaucoup plus facile de travailler en Europe et en Amérique du Nord que dès qu'on passe le Pacifique, c'est très compliqué.
05:34 Le backbone F5, c'est le backbone qu'on a en F5.
05:42 Les POPs que vous voyez en vert, c'est les POPs à venir,
05:44 vous voyez pour exemple Tel Aviv et Dubaï, c'est les prochains déploiements qu'on va faire,
05:48 et on va faire les mêmes études qu'on avait faites la dernière fois,
05:51 donc je vous montre un truc équivalent à ce qu'on avait fait.
05:53 Il y a six mois, j'avais présenté cette version-là pour l'Asie-Pacifique,
05:57 où en gros, chaque petit carré que vous voyez, ce sont des cables landing station,
06:01 et les gros carrés sur lesquels sont raccordés, c'est tous les pays,
06:04 et tous les trucs de couleur, ce sont les cables sous-marins, sur lesquels on est capable d'avoir de la CAPA,
06:08 donc on fait une étude de diversité des landing station,
06:10 pour être sûr que quand on choisit deux câbles sous-marins différents,
06:14 on essaie de faire en sorte de prendre des câbles qui, en plus de ça, utilisent des landing station différentes,
06:18 ou des beachman holes différents.
06:21 Les beachman holes, c'est là où la fibre sous-marine rencontre la fibre terrestre,
06:25 avant d'aller dans la landing station.
06:27 Donc voilà, c'est toute une étude, là c'est purement physique,
06:30 entre le terrestre et le sous-marin, pour être sûr qu'on ait une diversité totale.
06:34 Et ce qui nous a permis, sur Hong Kong, même avec trois chemins d'aide,
06:39 on avait un quatrième qui était bon.
06:42 Malheureusement, il avait du CRC, mais au moins, physiquement,
06:46 on avait quand même le POP qui était toujours connecté.
06:49 Allez, un petit récap de ce qu'on a appris,
06:54 comme ça je ne vous garde pas plus longtemps.
06:57 Alors, c'est très cher, l'Asie Pacifique,
07:00 et aujourd'hui, nos dépenses réseaux, en transit, peering et les circuits,
07:04 ça représente à peu près 50% du coût total du backbone.
07:09 Le backbone, c'est ça.
07:11 Et 50%, c'est juste, vous voyez, Tokyo, Osaka, Hong Kong, Singapour, Melbourne, Sydney.
07:16 C'est juste les quelques POP qui sont là, qui représentent 50% de nos coûts.
07:21 Alors, ça risque de beaucoup changer, quand on va aller au Middle East,
07:24 c'est pareil, c'est d'autres coûts assez exorbitants.
07:27 Alors, les câbles sous-marins, les coupures durent très longtemps,
07:31 du coup, ça accroît la possibilité d'avoir plusieurs câbles down en même temps,
07:36 donc il faut prendre ça en compte.
07:38 Il y a plus de maintenance, alors souvent les maintenance sont sans impact,
07:42 mais il y a plus de maintenance, donc à chaque fois qu'on a une notification de maintenance,
07:46 il faut qu'on se prépare, se dire, bon, potentiellement, ça peut couper,
07:49 donc il faut qu'on se prépare en amont.
07:52 Les maintenance avec impact peuvent durer très longtemps,
07:55 ils vont vous dire, ben voilà, on est le 14 avril, on va faire une maintenance,
07:59 le provédent nous envoie un mail, bon, ben c'est coupé jusqu'à le jour 1,
08:03 parce qu'on fait une maintenance, bon, ben, deux mois sans câble.
08:08 Pour avoir une disponibilité proche de 100%, c'est au minimum 4 chemins par pop.
08:13 On a essuyé les plates pendant 2 ans avec 3 chemins et demi, 3 ou 4 chemins,
08:17 donc c'est 4 minimum, et en plus de ça, on a du backup niveau 2.
08:21 On pensait au début, justement, que ce backup niveau 2, ça allait être,
08:25 c'était overkill, il n'y en aurait pas besoin, vu qu'on avait 4 chemins par pop,
08:28 ben, finalement, on s'en est servi plusieurs fois, ce qui est très compliqué.
08:32 Ça prend beaucoup de temps de faire ces études de diversité de câbles,
08:35 de landing session, de beachman hall et de backhaul terrestre,
08:39 mais on pense que ça nous a pas mal servi au vu du nombre d'impact qu'on a sur ces câbles.
08:45 Et tous nos providers de circuit ont joué le jeu avec nous,
08:49 on les a pas mal embêtés pour faire des changements, pas de dernière minute,
08:52 mais sur la partie backhaul terrestre, entre la landing session et le data center,
08:57 on leur a dit "ah ben, j'aimerais bien éviter telle carrefour, telle rue",
09:00 ils ont été assez, ils nous ont bien supportés là-dessus.
09:04 Et dernière chose, envoyer du hardware et gérer les douanes, les imports, les exports,
09:12 c'est hyper compliqué, ça prend du temps,
09:15 mais globalement, on avait des gens chez nous qui ont plutôt bien géré ça.
09:20 Pour résumer, c'est exactement la même chose que ce que j'ai dit il y a 6 mois,
09:28 c'est relou, c'est long, et le sous-marin, c'est toujours chiant, ça casse beaucoup,
09:33 et c'est beaucoup d'efforts pour avoir quelque chose qui fonctionne correctement.
09:39 Et voilà, c'est tout, je vous remercie.
09:41 (Applaudissements)
09:48 Est-ce qu'il y a des questions ?
09:51 Oui, Will, petit opérateur suisse.
09:59 Est-ce que tu comptes sur tes liens sur le territoire, sur le continent,
10:06 pour pouvoir te faire tes backups en plus de tes liens qui arrivent sur tes landing stations à travers la mer ?
10:16 Est-ce que tu peux compter dessus dans une certaine mesure pour pouvoir donner plus de sécurité,
10:19 parce que tu es peut-être un peu plus fiable ?
10:22 Parfois, l'opérateur te livre des liens redondés entre la landing station et le data center,
10:28 et tu as la partie terrestre qui t'est sûre de ne pas avoir de soucis.
10:31 Après, nous, globalement en Asie, très peu, pour ainsi dire, je crois qu'on n'a pas eu un seul incident terrestre.
10:38 Tous les incidents qu'on a eus, c'est du sous-marin, des encres de bateau, des mouvements géologiques ou autres,
10:44 et avec des temps de réparation.
10:47 Mais au niveau terrestre, globalement, même si on a fait un gros travail pour avoir une diversité maximale
10:51 sur les 4 chemins qu'on a, d'avoir le plus de diversité possible, c'est pas là où on a des soucis.
10:56 Mais si jamais il y a des soucis, on est relativement protégé.
11:00 Est-ce que quand tu souscris à ce genre de câble sous-marin, on te fournit un certain SLA, initialement ?
11:06 Oui, alors, c'est la blague, en fait.
11:10 Quand tu discutes avec ton fournisseur, tu as le SLA, il te dit "Ok, sauf cas de force majeure,
11:16 donc une coupure sous-marine, ça rentre pas dedans".
11:19 Alors, quand il fait des maintenances planifiées, il te dit "je vais couper pendant 2 mois ces planifiés,
11:26 ça rentre pas non plus dans le SLA".
11:29 Parce que souvent, les maintenances prennent du temps,
11:31 si il fallait changer un ampli à 300-400 mètres de profondeur, ça prend du temps.
11:36 Mais non, des coupures qui durent 3-4 mois, ça va pas à l'encontre du SLA.
11:42 Après, ils sont pas bêtes non plus, ils sont capables d'être assez arrangeants,
11:48 tu peux payer des services pour être rerouté sur un autre câble,
11:50 si tu sais que ça va durer 4-6 mois, tu peux être rerouté sur un autre câble,
11:54 ça va changer ta latence, mais en tout cas, ces coupures, ça ne rentre pas dans le SLA.
11:59 Est-ce qu'il y a une autre question ?
12:04 Du coup, tu dis qu'il va couper le Middle-East, t'as pas un peu peur des câbles en Egypte,
12:14 sur le canal de Suez, où ils sont tous côte à côte ?
12:17 Ouais, alors, regarde, la blague, tu vois ces deux trucs-là ?
12:23 C'est le canal de Suez, c'est à bout à la hâte, et c'est le landing station.
12:27 Donc tu vois, t'as quand même des options pour éviter le canal de Suez.
12:30 Enfin, t'as ces deux-là qui passent aussi dans le canal de Suez,
12:32 mais c'est pas le même landing station.
12:34 Après, tu as celui-là qui est vachement bien, ce rouge-là, qui coûte une blinde,
12:38 mais il est terrestre jusqu'à assez loin, et tu peux éviter le canal de Suez par là.
12:44 Mais effectivement, comme tu vois, la plupart des câbles,
12:47 donc là, t'as 68005, etc., passent, c'est le canal de Suez, là, ce que tu vois là.
12:52 T'as des options, mais ça te demande combien t'es prêt à payer.
12:57 Il y avait une question là-bas, je crois.
13:00 Où ça ?
13:01 Là-bas.
13:02 T'as cité des raisons politiques pour retarder les réparations.
13:09 Une idée de la raison, c'est la guerre économique ?
13:12 Non, non, non, c'est juste que t'as certains gouvernements qui sont très frileux
13:16 au fait que t'as une boîte étrangère qui vienne opérer dans leur zone nationale
13:20 et que c'est un process hyper long, qui prend des mois,
13:23 juste à avoir l'autorisation d'envoyer un bateau dans leur zone territoriale.
13:27 Ce qui leur fait peur, c'est l'espionnage ?
13:29 Ben, possiblement.
13:31 Possiblement.
13:32 J'en sais rien, mais peut-être.
13:35 Si t'as des câbles qui pètent en mer de Chine, je pense que ça...
13:38 En ce moment, tu vois, entre Taïwan et la Chine...
13:41 Ben, tu vois le cas d'Andre depuis 4 mois, là...
13:44 Voilà, c'est...
13:45 OK.
13:46 Yes.
13:50 Est-ce qu'il y a une dernière question, peut-être ?
13:53 Ou est-ce qu'on est bon ?
13:55 OK, ben parfait. Merci.