40GbE — стандарт Ethernet, определённый в IEEE 802.3ba в июне 2010 года. Используется для uplink-соединений между стойками, агрегации трафика в ядре дата-центра, а также для подключения серверов с высокими требованиями к пропускной способности: GPU-кластеры, высокопроизводительные SAN, высокочастотный трейдинг.
Физические интерфейсы 40GbE
- QSFP+ (Quad SFP+) — 4 полосы по 10G в одном разъёме, основной форм-фактор для 40GbE
- 40GBASE-SR4 — многомодовое оптоволокно, MPO-разъём, дальность до 150 м (OM4)
- 40GBASE-LR4 — одномодовое оптоволокно (LC-дуплекс), до 10 км
- 40GBASE-CR4 — медный DAC (Direct Attach Copper), до 7 м, самый дешёвый вариант для межстоечного соединения
40GbE в дата-центрах
40GbE занял нишу ToR (Top of Rack) uplink — соединений серверов с коммутатором агрегации в период 2012–2018 годов. Типичная схема: сервер с 10GbE-NIC → ToR-коммутатор 24×10G + 4×40G uplink → агрегационный уровень 40G/100G. Стоимость 40GbE QSFP+ трансиверов упала с $1000 (2012) до $20–50 (2020).
К 2024 году 40GbE уступает место 100GbE: Cisco Nexus, Juniper QFX и Arista серии 7000 предлагают 100GbE как новый ToR-стандарт. 40GbE остаётся актуальным для существующих инсталляций, где апгрейд нецелесообразен. Скорость 40 Гбит/с на порт позволяет агрегировать трафик 4 серверов по 10GbE через LACP-бондинг.
QSFP+ и breakout-кабели
Один QSFP+ порт (40GbE) можно «разбить» через breakout-кабель (QSFP+ to 4×SFP+) на четыре независимых 10GbE порта. Это экономично: вместо 4 отдельных 10G-портов на коммутаторе используется 1 порт 40G. Аналогично 100GbE QSFP28 разбивается 4×25GbE.
История
IEEE 802.3ba принят в июне 2010 года — первый стандарт Ethernet выше 10G. Параллельно определил и 100GbE. Первые 40GbE-NIC появились у Mellanox и Intel в 2011–2012 годах. Cloud-провайдеры (Google, Amazon, Facebook) в 2012–2015 годах развернули 40GbE в backbone. В 2016–2018 году рынок начал переход на 25GbE для серверов и 100GbE для коммутаторов агрегации как более эффективная схема чем 4×10G / 40G.
40GbE vs 25GbE: современный выбор
Индустрия в 2016–2018 годах выбрала 25GbE для серверных портов вместо 4×10GbE bonding или 40GbE. Причина: 25GbE экономически выгоднее (один разъём SFP28 против 4 SFP+ или одного QSFP+), меньше кабелей, такая же агрегация. 100GbE = 4×25GbE в QSFP28 или CFP4. Для существующих 40GbE-инсталляций обратная совместимость: 40GbE QSFP+ кабели и трансиверы работают в современных 100GbE коммутаторах (в режиме 40G). Mellanox ConnectX-5 (самый популярный server NIC 2018–2021) поддерживает 25GbE и 100GbE.
40GbE RDMA и высокопроизводительные сети
RDMA (Remote Direct Memory Access) поверх 40GbE (RoCE — RDMA over Converged Ethernet) используется в HPC-кластерах и distributed storage системах (Ceph, Lustre, GPFS). RDMA минует TCP-стек CPU: данные передаются напрямую между памятью двух серверов, CPU занят минимально. Latency RDMA: 1–3 мкс против 50–200 мкс у TCP. Требования: 40GbE RDMA NIC (Mellanox ConnectX-3+, Chelsio T5/T6), поддержка PFC (Priority Flow Control) на коммутаторах для бесперебойной работы без потерь. Для VPS-провайдеров c Ceph-хранилищем 40GbE-RDMA-backend критически повышает IOPS виртуальных дисков.
40GbE QSFP+ порт при необходимости работает в режиме 4×10GbE через breakout: это позволяет подключить 4 сервера по SFP+ к одному QSFP+ порту коммутатора, экономя порты агрегации. Широко применяется при апгрейде инфраструктуры без замены кабельной инфраструктуры.