[atnog] 10G IPsec

gernot at nusshall.com gernot at nusshall.com
Fri Nov 19 09:26:27 CET 2021


Hallo Klaus,

die teuerste Variante der Bluefield-2 hat Anfang des Jahres ca. 1200,- exkl. gekostet. So weit ich mich erinnere können die normalen ConnectX-6 Karten sogar bei zB Dell im Konfigurator um ca. 500,- mitbestellt werden. Die ASICs und der Crypto Chipsatz auf der Bluefield-2 sind ident mit der auf der ConnectX6-dx, daher werden die Werte ähnlich sein. Der wesentliche Unterschied ist, dass auf der Bluefield-2 NIC noch zusätzlich 8 ARM Cores bereitstehen. Die sogenannte SmartNIC hat ein eigenes OS (Ubuntu oä.) und wird damit eigens gemanagt. IPsec Tunnel und weitere Network Functions werden vom ARM OS aufgebaut/bereitgestellt und belasten somit nicht die Host CPUs. Der Vollständigkeit halber, die NIC präsentiert n-Interfaces (SR-IOV) ggü. dem Host selbst und können natürlich auch eigenständig konfiguriert werden.

LG
Gernot

________________________________
From: Klaus Darilion <klaus.darilion at nic.at>
Sent: Friday, 19 November 2021, 08:16
To: Gernot Nusshall; atnog at atnog.at
Subject: AW: [atnog] 10G IPsec

Hallo Gernot!

Danke für die Info. Was kosten diese Mellanox Karten ca.? Ich habe online nichts gefunden.

Hast du auch Erfahrung mit den "normalen" Mellanox X6 NICs? Die sollen ja auch IPsec offload unterstützen.

lg
Klaus

Von: atnog <atnog-bounces at atnog.at> Im Auftrag von Gernot Nusshall
Gesendet: Donnerstag, 18. November 2021 15:17
An: atnog at atnog.at
Betreff: [atnog] 10G IPsec

Hi,

ja, ich hatte vor einiger Zeit in einem Laborsetup die Möglichkeit das mit Erfolg zu testen. Wir hatten NVIDIA Bluefield-2 SmartNICs [1] und Dell R7525 mit AMD Epyc Prozessoren im Einsatz, die Server waren via den SmartNICs back-to-back verkabelt. Das weitere Setup und die Konfiguration war relativ ähnlich mit dem Aufbau im RedHat Blog [2], das Crypto Setup bzw. das HW Offload Setup ist mittlerweile relativ gut dokumentiert [3][4] und die Treiber/Firmware sind seit Q2/21 tatsächlich stabil.

LG
Gernot

[1] NVIDIA BlueField-2 Datasheet<https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/documents/datasheet-nvidia-bluefield-2-dpu.pdf>
[2] Optimizing server utilization in datacenters by offloading network functions to NVIDIA BlueField-2 DPUs (redhat.com)<https://www.redhat.com/en/blog/optimizing-server-utilization-datacenters-offloading-network-functions-nvidia-bluefield-2-dpus>
[3] IPsec Crypto Offload - MLNX_OFED v5.4-3.0.3.0 - Mellanox Docs<https://docs.mellanox.com/display/MLNXOFEDv543030/IPsec+Crypto+Offload>
[4] IPsec Functionality - BlueField DPU SW Manual 3.6.0.11699 - Mellanox Docs<https://docs.mellanox.com/display/BlueFieldSWv36011699/IPsec+Functionality>


________________________________
From: Markus Rambossek <m.rambossek at netplanet.at<mailto:m.rambossek at netplanet.at>>
Sent: Wednesday, 17 November 2021, 15:39
To: atnog at atnog.at<mailto:atnog at atnog.at>
Subject: [atnog] 10G IPsec


Hi,

Die Antwort(en) würden mich auch sehr interessieren - ich hatte noch keine zeit für hardcore benchmarks mit wireguard, momentan wäre das mein "first tool of choice" für sowas in die richtung, aber ich denke da gibts und wirds auch bald nix geben mit hardware-beschleunigung dafür. wobei meine hoffnung wäre, das das mit noch-commodity-hardware in der geschwindigkeit vlt machbar ist.

sorry für die nichtantwort. :)

lg,

Markus
On 17.11.2021 15:14, Klaus Darilion wrote:

Hallo!



Hat jemand Erfahrung mit 10G encryption? Wir würden gerne auf einer 10G WAN Leitung Verschlüsselung verwenden und diese Leitung bei MTU 1500 voll ausfahren.



Wir haben diverse Linux Tests gemacht: IPsec, IPsec mit Intel-QAT Cryptooffload Karte, Wireguard, Linux Macsec

Aber wir sind nie über 5GBit gekommen (single SA, da Source/Ziel IP konstant sind).



Da unsere Juniper Switches, welche diesen WAN-Link befüllen, kein MACsec unterstützen scheidet das vorerst aus, da wir nicht die teuren Switches wegwerfen wollen.



Habt ihr Ideen was wir machen können? Hat schon mal jemand NICs mit crypto-offload verwendet und damit 10g geschafft? Wenn ja, welche NICs?



Danke

Klaus



_______________________________________________

atnog mailing list

atnog at atnog.at<mailto:atnog at atnog.at>

https://atnog.at/mailman/listinfo/atnog
--

RAMBOSSEK Markus

NETPLANET GmbH

Louis-Häfliger-Gasse 10

1210 Wien

FN 339937 h, HG Wien



E-Mail: m.rambossek at netplanet.at<mailto:m.rambossek at netplanet.at>

Tel:    +43 1 / 3430343

Fax:    +43 1 / 3430343-800
Important Note: This e-mail and any attachment are confidential and may contain trade secrets and may be otherwise protected from disclosure. If you have received it in error, you are on notice of its status. Please notify us immediately by reply e-mail and then delete this e-mail and any attachment from your system. If you are not the intended recipient please understand that you must not copy this e-mail or any attachment or disclose the contents to any other person.
Wichtiger Hinweis: Dieses E-Mail und etwaige Anlagen können Betriebs- oder Geschäftsgeheimnisse oder sonstige vertrauliche Informationen enthalten. Sollten Sie dieses E-Mail irrtümlich erhalten haben, ist Ihnen der Status dieses E-Mails bekannt. Bitte benachrichtigen Sie uns in diesem Fall sofort durch Antwort-Mail und löschen Sie dieses E-Mail nebst etwaigen Anlagen von Ihrem System. Ebenso dürfen Sie dieses E-Mail oder seine Anlagen nicht kopieren oder an Dritte weitergeben.





-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://atnog.at/pipermail/atnog/attachments/20211119/e556b125/attachment.htm>


More information about the atnog mailing list