[VFKD] Tatsächliche Segmentkapazität nur 2Gbit/s?

[robert_s]

In meinem Kabelsegment (Casa CMTS) scheint es einen unerwarteten Flaschenhals zu geben:

Obwohl das Segment rechnerisch bis zu 3,4Gbit/s Downstream-Kapazität haben sollte, gelingt es mir nicht, 2 Gigabit-Anschlüsse gleichzeitig voll auszunutzen:

- Bei Einzeltests gibt jeder Kabelrouter die erwarteten 1106Mbit/s (IPv4-netto von den provisionierten 1150Mbit/s) her
- Lasse ich jedoch an einem Kabelmodem einen längeren Download laufen, der sich auf 1,08-1,09Gbit/s einstellt, und führe dann am anderen Kabelmodem einen Download oder Speedtest durch, sackt die Datenrate am ersten Kabelmodem leicht ab (mal auf 1,02Gbit/s, bisweilen auch auf etwas unter 1Gbit/s), und am zweiten erreiche ich auch nicht mehr ganz die volle Datenrate (z.B. 1090Mbit/s im Speedtest statt über 1100Mbit/s). Sobald der Download oder Speedtest am zweiten Kabelmodem endet, pendelt sich das erste wieder auf die gleichen Werte ein wie zuvor
- Dabei sind die Rollen der Kabelmodems austauschbar, d.h. das Phänomen tritt in beiden "Richtungen" auf
- Die Segmentauslastung in der Fritz!Box Laborfirmware zeigt auch bei längeren parallelen Downloads auf beiden Kabelmodems nur Segmentauslastungen zwischen 60-70% an, also wäre auf DOCSIS-Ebene auf jeden Fall genug Bandbreite vorhanden, um auf beiden Anschlüssen gleichzeitig die volle Datenrate zu erreichen

Ich habe auch schon Schritte unternommen, um mögliche Fehler bei mir auszuschließen:

- Computer vielleicht zu langsam: Mit PC an einem Kabelmodem und Laptop am anderen Kabelmodem getestet. Keine Änderung des Phänomens.
- LAN-Kabel stören sich vielleicht: Laptop zum zweiten Kabelrouter getragen und dort direkt angeschlossen, sodass es keine gemeinsame Strecke der LAN-Kabel gibt. Keine Änderung des Phänomens.
- Kabelmodems stören sich vielleicht: In der Tat sind die nicht ganz so stark entkoppelt wie vorgesehen (Verteiler-Datenblatt sagt nur >15dB statt den vorgeschriebenen >22dB). Aber gegen eine Interferenz im Koaxkabel spricht, dass bei einem Speedtest am zweiten Kabelmodem die Geschwindigkeit am ersten Kabelmodem tatsächlich nur während des Download-Speedtests beeinträchtigt wird - beim nachfolgenden Upstream-Speedtest (wo man ja die meisten Interferenzen bei unzureichend entkoppelten Kabelmodems hätte) erholt sich die Geschwindigkeit am ersten Kabelmodem bereits wieder
- Server gibt vielleicht nur ~2Gbit/s her: Das ist durch Downloads bzw. Speedtests von unterschiedlichen Servern ausgeschlossen.

Also sehe ich eigentlich nur noch die Möglichkeit, dass da Vodafone-netzseitig irgendwo ein Flaschenhals von ~2Gbit/s vorhanden ist. Aber was sollte das sein? Absicht (um das Segment nie zu überlasten?), ein Konfigurationsfehler, oder irgendein Hardwarelimit? Es erscheint mir doch recht unwahrscheinlich, dass so ein CMTS einen 2,5Gbase-T Uplink hat? Oder gar GPON...?!?

[Flole]

Hast du mal geschaut ob du einen Server findest, der möglichst wenig beim traceroute mit dem zweiten gemeinsam hat? Also am besten einen, der über einen völlig anderen IX angebunden ist.

[robert_s]

Ich habe es mal mit speedtest.tele2.net und speedtest.belwue.net versucht, da hat nur der erste Hop (ausge*t) hinter dem lokalen Kabelrouter die gleiche IP-Adresse, und danach folgen noch ein paar recht ähnliche im Vodafone-Netz, aber dann geht es über unterschiedliche IXe zu unterschiedlichen AS:

Code: Alles auswählen

 2. AS3209   ip********.dynamic.kabel-deutschland.de     0.0%    37   10.4  10.9   8.8  14.1   1.2
 3. AS3209   ip53a9b31e.static.kabel-deutschland.de      0.0%    37    9.5  10.0   8.3  15.1   1.3
 4. AS3209   ip5886c1a7.static.kabel-deutschland.de      0.0%    37   11.8  12.0   8.9  53.8   7.1
 5. AS3209   145.254.3.192                               0.0%    37   11.1  11.1   9.4  13.3   1.0
 6. AS3209   145.254.2.217                               0.0%    37   17.0  15.6  13.7  17.9   1.2
 7. AS1273   ae9-100-xcr1.hac.cw.net                     0.0%    37   16.0  15.8  13.7  26.7   2.0
 8. AS1273   ae8-ucr1.cpi.cw.net                         0.0%    37   27.0  27.7  25.3  35.9   1.9
 9. AS1273   ae34-xcr1.skt.cw.net                        0.0%    37   26.4  27.0  25.6  29.2   0.9
10. AS1273   ae1-xcr2.six.cw.net                         0.0%    37   25.6  28.3  25.2  41.0   3.5
11. AS1273   tele2-gw.xcr2.six.cw.net                    0.0%    37   26.6  29.8  25.9  43.3   4.5
12. AS1257   avk-core-2.bundle-ether28.tele2.net         0.0%    37   28.5  27.8  26.2  29.4   0.9
13. AS1257   stb-peer-2.ae1-unit0.tele2.net              0.0%    37   27.5  27.7  25.6  29.3   0.9
14. AS1257   d90-130-70-73.cust.tele2.se                 0.0%    37   26.4  27.3  25.7  28.7   0.7

Code: Alles auswählen

 2. AS3209   ip********.dynamic.kabel-deutschland.de     0.0%    37    9.5  10.4   8.2  12.2   1.0
 3. AS3209   ip53a9b316.static.kabel-deutschland.de      0.0%    37    8.4   9.7   8.2  11.6   0.9
 4. AS3209   ip5886c1a2.static.kabel-deutschland.de      0.0%    37   24.3  12.6   8.5  43.2   6.7
 5. AS3209   145.254.3.196                               0.0%    37   12.1  11.6   9.6  23.4   2.4
 6. AS3209   145.254.2.179                               0.0%    37   16.0  17.3  14.9  18.9   1.0
 7. AS???    Frankfurt-DECIX-1-100GE-0-0-0-5.belwue.net  0.0%    37   16.0  27.4  16.0 269.0  43.5
 8. AS553    stu-eti-a99-hu0-4-0-7.belwue.net            0.0%    37   20.8  25.6  17.4 138.3  21.5
 9. AS553    stu-eti-dc1-hu0-0-1-0.belwue.net            0.0%    37   21.7  21.8  19.3  24.4   0.9
10. AS553    stu-eti-dc3-hu0-0-1-1.belwue.net            0.0%    37   20.8  21.5  20.5  23.6   0.8
11. AS553    speedtest.belwue.net                        0.0%    37   18.9  20.0  18.6  21.8   0.9

Damit ist die gegenseitige Beeinflussung auch zu sehen.

[Edd1ng]

Das habe ich bei mir auch schon ein paar mal ausprobiert mit dem gleichen Ergebnis.
Sitze im Vodafone West gebiet, kenne aber meine Segment Auslastung nicht.
Habe die Harmonics übliche Aufteilung mit 2 OFDM Blöcken.

[Flole]

Ich habe gerade einmal getestet, 2 Leitungen und dann Loadbalancing darüber und ich kam auf 2129 Mbit/s im ersten Durchgang und 2380 Mbit/s im zweiten Versuch. Interessanterweise sind viele der speedtest.net Server bei mir elendig langsam, gut funktioniert ironischerweise der Server der Telekom in Hamburg (ham.wsqm.telekom-dienste.de.prod.hosts.ooklaserver.net:8080, ID ist die 31469).

[robert_s]

Ich habe gerade einmal getestet, 2 Leitungen und dann Loadbalancing darüber und ich kam auf 2129 Mbit/s im ersten Durchgang und 2380 Mbit/s im zweiten Versuch.

2380 Mbit/s liegt aber weit über dem rechnerisch möglichen (2212Mbit/s), und so große Messfehler kenne ich beim ookla-Speedtest eigentlich nicht...!?

Das höchste, was ich jemals erreicht habe, waren 2179Mbit/s. Aber es schwankt eben deutlich, teilweise auf Werte unter 2100Mbit/s (aber stets über 2000Mbit/s).

Mit einem einzelnen Gigabit-Tarif komme ich dagegen auf die rechnerischen 1106Mbit/s mit Schwankungen im einstelligen Mbit/s-Bereich.

Interessanterweise sind viele der speedtest.net Server bei mir elendig langsam, gut funktioniert ironischerweise der Server der Telekom in Hamburg (ham.wsqm.telekom-dienste.de.prod.hosts.ooklaserver.net:8080, ID ist die 31469).

Hier in Berlin habe ich eine recht gute Auswahl von Servern, welche die 1106Mbit/s zuverlässig liefern: Cronon (17137), DNS:NET (20507), LWLcom (53495), Misaka (55665), 1&1 Mobilfunk (64700). Die Deutsche Telekom hat(te?) hier auch einen Server, aber der ist gerade nicht zu finden. Und Misaka hat einen Bug, dass die Upload-Messung häufig viel zu niedrige Werte anzeigt, obwohl die vollen 50+Mbit/s rausgehen, aber das tut der Downloadmessung keinen Abbruch...

[Flole]

Ich habe gerade einmal getestet, 2 Leitungen und dann Loadbalancing darüber und ich kam auf 2129 Mbit/s im ersten Durchgang und 2380 Mbit/s im zweiten Versuch.

2380 Mbit/s liegt aber weit über dem rechnerisch möglichen (2212Mbit/s), und so große Messfehler kenne ich beim ookla-Speedtest eigentlich nicht...!?

Provisioniert ist es auf 1150 Mbit/s, das ganze 2 mal sind 2300. Natürlich immer unter der Annahme, dass alles was auch provisioniert ist für den Test genutzt wird. Ich nutze das Tool https://github.com/taganaka/SpeedTest für den Test. So ganz 100% genau scheint es aber tatsächlich nicht zu sein, an einer 1000baseT Verbindung zeigt es 1030 Mbit/s an. Ich habe gerade entdeckt, dass es mittlerweile auch einen offiziellen Speedtest CLI Client gibt, mal schauen was der sagt.

Interessanterweise sind viele der speedtest.net Server bei mir elendig langsam, gut funktioniert ironischerweise der Server der Telekom in Hamburg (ham.wsqm.telekom-dienste.de.prod.hosts.ooklaserver.net:8080, ID ist die 31469).

Hier in Berlin habe ich eine recht gute Auswahl von Servern, welche die 1106Mbit/s zuverlässig liefern: Cronon (17137), DNS:NET (20507), LWLcom (53495), Misaka (55665), 1&1 Mobilfunk (64700). Die Deutsche Telekom hat(te?) hier auch einen Server, aber der ist gerade nicht zu finden. Und Misaka hat einen Bug, dass die Upload-Messung häufig viel zu niedrige Werte anzeigt, obwohl die vollen 50+Mbit/s rausgehen, aber das tut der Downloadmessung keinen Abbruch...

Generell scheint die Telekom gut dabei zu sein, selbst der Server in Düsseldorf liefert vollen Speed, während hingegen die Server der Deutschen Glasfaser, von Netmountains und Contabo in Düsseldorf auf 74-100 Mbit/s kommen. Die LWLcom Server in Bremen und Hamburg laufen hier so "halb" mit 500Mbit/s. Sie fangen immer langsam an und bauen dann nach und nach Geschwindigkeit auf. Teste ich es von einem nicht-Vodafone-Anschluss sieht das ganze schon ganz anders aus, da sind sie alle voll dabei.

Vielleicht hat die Telekom die TCP Parameter in irgendeiner Form "getuned" sodass die Server sich anders verhalten als alle anderen und Latenz oder Packet Loss das ganze nicht so stark beeinflussen.

[Edd1ng]

Die meisten Speedtest.net Server dürften mit mind 10G angebunden sein.

Server: Deutsche Telekom - Hamburg (id: 31469)
ISP:
Idle Latency: 8.72 ms (jitter: 0.14ms, low: 8.60ms, high: 8.89ms)
Download: 6238.95 Mbps (data used: 5.0 GB)
18.91 ms (jitter: 26.76ms, low: 8.75ms, high: 281.89ms)
Upload: 5230.88 Mbps (data used: 4.6 GB)
9.80 ms (jitter: 13.97ms, low: 8.56ms, high: 235.63ms)

Server: 1&1 Mobilfunk - Berlin (id: 64700)
ISP:
Idle Latency: 12.96 ms (jitter: 0.06ms, low: 12.87ms, high: 13.02ms)
Download: 4958.13 Mbps (data used: 7.0 GB)
14.24 ms (jitter: 2.46ms, low: 12.63ms, high: 31.53ms)
Upload: 9276.68 Mbps (data used: 12.8 GB)
12.97 ms (jitter: 0.78ms, low: 12.67ms, high: 17.23ms)

Server: Misaka Network, Inc. - Berlin (id: 55665)
ISP:
Idle Latency: 12.16 ms (jitter: 0.04ms, low: 12.10ms, high: 12.21ms)
Download: 5958.49 Mbps (data used: 7.4 GB)
12.50 ms (jitter: 1.70ms, low: 11.98ms, high: 40.20ms)
Upload: 6058.02 Mbps (data used: 10.4 GB)
12.91 ms (jitter: 3.65ms, low: 12.03ms, high: 48.68ms)

[robert_s]

Provisioniert ist es auf 1150 Mbit/s, das ganze 2 mal sind 2300. Natürlich immer unter der Annahme, dass alles was auch provisioniert ist für den Test genutzt wird.

Das ist aber die Datenrate inkl. Ethernet-Header und FCS, während der Speedtest nur die Nutzdatenrate misst. Da kann man maximal mit "nativem" IPv4 (ohne Zusatzoptionen wie RFC1323 timestamps) 1460 Bytes Nutzdaten aus einem Ethernet-Frame von 1518 Bytes bekommen, was eine Nutzdatenrate von 1150 Mbit/s * (1460 / 1518) = 1106 Mbit/s ergibt. Mit IPv6 sind maximal 1150 Mbit/s * (1440 / 1518) = 1090 Mbit/s möglich, mit IPv4-in-IPv6 (aka DS-Lite) 1150 Mbit/s * (1420 / 1518) = 1075 Mbit/s. Und diese Zahlen bekomme ich mit einstelligen Mbit/s Abweichungen auch im offiziellen Speedtest-CLI heraus.

Ich nutze das Tool https://github.com/taganaka/SpeedTest für den Test. So ganz 100% genau scheint es aber tatsächlich nicht zu sein, an einer 1000baseT Verbindung zeigt es 1030 Mbit/s an. Ich habe gerade entdeckt, dass es mittlerweile auch einen offiziellen Speedtest CLI Client gibt, mal schauen was der sagt.

Den offiziellen Speedtest-CLI verwende ich auch (die Debian-Packages und RPMs kann man sich hier direkt herunterladen: https://packagecloud.io/ookla/speedtest-cli), und der misst bei mir in der Version 1.2.0.84-1.ea6b6773cf in Ubuntu 22.04 auch recht zuverlässig. Allerdings macht der - im Gegensatz zur Web-Version - keine Multi-Server Downloads, also mein Load-Balancing über meine zwei Kabelrouter funktioniert damit nicht. Dessen gebündelte Geschwindigkeit kann ich nur im Webbrowser messen.

Generell scheint die Telekom gut dabei zu sein, selbst der Server in Düsseldorf liefert vollen Speed, während hingegen die Server der Deutschen Glasfaser, von Netmountains und Contabo in Düsseldorf auf 74-100 Mbit/s kommen. Die LWLcom Server in Bremen und Hamburg laufen hier so "halb" mit 500Mbit/s. Sie fangen immer langsam an und bauen dann nach und nach Geschwindigkeit auf. Teste ich es von einem nicht-Vodafone-Anschluss sieht das ganze schon ganz anders aus, da sind sie alle voll dabei.

Das mit der langsam aufbauenden Geschwindigkeit hatte ich auch mal. Ich weiß gar nicht mehr genau, woran es am Ende lag (manchmal zickte wohl die Netzwerkkarte, dann war es evtl. die Netztester-Box, die parallel ihre eigenen Speedtests durchführte), aber jetzt ist das weg.

Einen guten Test dazu kann ich mit dem Kommandozeilentool "wget" machen:

Code: Alles auswählen

wget -O /dev/null http://speedtest.belwue.net/1G -4 --report-speed=bits
wget -O /dev/null http://speedtest.tele2.net/1GB.zip -4 --report-speed=bits

Wenn es richtig läuft, baut sich die während des Downloads angezeigte Geschwindigkeit in ca. 4 Sekunden kontinuierlich bis 1,1Gbit/s auf. Im Schlechtfall geht es nur sehr langsam aufwärts, oder bricht auch mal wieder ein.

[Flole]

Den offiziellen Speedtest-CLI verwende ich auch (die Debian-Packages und RPMs kann man sich hier direkt herunterladen: https://packagecloud.io/ookla/speedtest-cli), und der misst bei mir in der Version 1.2.0.84-1.ea6b6773cf in Ubuntu 22.04 auch recht zuverlässig. Allerdings macht der - im Gegensatz zur Web-Version - keine Multi-Server Downloads, also mein Load-Balancing über meine zwei Kabelrouter funktioniert damit nicht. Dessen gebündelte Geschwindigkeit kann ich nur im Webbrowser messen.

Ich habe zwar nicht das Debian package sondern die Standalone-tar.gz Datei davon, allerdings auch Version 1.2.0.84 und diese zeigt bei mir über 1Gbit/s an, was nur mit Multipath-TCP oder mehreren Verbindungen möglich ist. Multipath-TCP wäre unwahrscheinlich, ich kann mich nicht erinnern dafür irgendwas konfiguriert zu haben.

Der belwue.net Download hängt bei 40Mb/s fest, der andere baut relativ schnell Geschwindigkeit auf und hält 724Mb/s relativ konstant. Bei einem anderen Anschluss erreicht der belwue.net Download 250-300Mb/s und baut erst ganz am Schluss noch etwas Geschwindigkeit auf.