[OFFEN] Ladeprobleme bei Webseiten und Medien mit aktiviertem IPv6

Internet und Telefon gestört oder gar ganz ausgefallen? Speedprobleme, die nicht offensichtlich auf die verwendeten Geräte zurückzuführen sind? Dann ist dieses Forum genau richtig!
Forumsregeln
Forenregeln
maik005
Kabelexperte
Beiträge: 795
Registriert: 27.09.2016, 00:33

Re: [OFFEN] Ladeprobleme bei Webseiten und Medien mit aktiviertem IPv6

Beitrag von maik005 »

@philwo

hab nun dieses Skript etwas laufen gelassen (danke dafür!)

Code: Alles auswählen

#!/bin/bash

# Mein aktuelles IPv6-Präfix.
prefix=P R Ä F I X 


while true; do
    a="$(printf '%x' $RANDOM)"
    b="$(printf '%x' $RANDOM)"
    c="$(printf '%x' $RANDOM)"
    d="$(printf '%x' $RANDOM)"
    src="$prefix:$a:$b:$c:$d"
    echo "=== $src ==="
    sudo ifconfig en1 inet6 $src prefixlen 64 alias
    sleep 3
    ping6 -c1 -S $src 2001:4860:4860::8888 &>/dev/null || echo "FAILED: 2001:4860:4860::8888"
    ping6 -c1 -S $src 2001:4860:4860::8844 &>/dev/null || echo "FAILED: 2001:4860:4860::8844"
    ping6 -c1 -S $src 2001:4860:4860::6464 &>/dev/null || echo "FAILED: 2001:4860:4860::6464"
    ping6 -c1 -S $src 2001:4860:4860::64 &>/dev/null || echo "FAILED: 2001:4860:4860::64"
    ping6 -c1 -S $src 2606:4700:4700::1111 &>/dev/null || echo "FAILED: 2606:4700:4700::1111"
    ping6 -c1 -S $src 2606:4700:4700::1001 &>/dev/null || echo "FAILED: 2606:4700:4700::1001"

    ping6 -c1 -S $src 2a00:1450:4016:806::200a &>/dev/null || echo "FAILED: 2a00:1450:4016:806::200a"
    ping6 -c1 -S $src 2a00:1450:4016:805::200e &>/dev/null || echo "FAILED: 2a00:1450:4016:805::200e"
    ping6 -c1 -S $src 2a00:1450:4016:804::200e &>/dev/null || echo "FAILED: 2a00:1450:4016:804::200e"
    ping6 -c1 -S $src 2a00:1450:4016:803::200e &>/dev/null || echo "FAILED: 2a00:1450:4016:803::200e"
    ping6 -c1 -S $src 2a00:1450:4016:802::200e &>/dev/null || echo "FAILED: 2a00:1450:4016:802::200e"
    ping6 -c1 -S $src 2001:ab7::1 &>/dev/null || echo "FAILED: 2001:ab7::1"
    ping6 -c1 -S $src 2001:ab7::2 &>/dev/null || echo "FAILED: 2001:ab7::2"
    ping6 -c1 -S $src 2001:ab7::3 &>/dev/null || echo "FAILED: 2001:ab7::3"
    ping6 -c1 -S $src 2001:ab7::4 &>/dev/null || echo "FAILED: 2001:ab7::4"
    ping6 -c1 -S $src 2001:ab7:2000::12 &>/dev/null || echo "FAILED: 2001:ab7:2000::12"
    ping6 -c1 -S $src 2001:ab7:3000::12 &>/dev/null || echo "FAILED: 2001:ab7:3000::12"
    sudo ifconfig en1 inet6 delete $src prefixlen 64
    echo
done
Das Ergebnis ist zum :kotz:

Code: Alles auswählen

=== PRÄFIX:1c5d:5e23:1fe9:2376 ===
FAILED: 2001:4860:4860::8888
FAILED: 2001:ab7::1
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:7dda:3fa1:167:432d ===
FAILED: 2606:4700:4700::1111
FAILED: 2a00:1450:4016:806::200a
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:7f4a:4110:2d6:449d ===
FAILED: 2001:4860:4860::64
FAILED: 2606:4700:4700::1001
FAILED: 2001:ab7::4
FAILED: 2001:ab7:3000::12

=== PRÄFIX:4b7c:d42:4f09:10cf ===
FAILED: 2001:4860:4860::64
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:805::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12

=== PRÄFIX:7783:3949:7b0f:3cd6 ===
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:7ad5:3c9c:7e62:4028 ===
FAILED: 2001:4860:4860::8888
FAILED: 2001:4860:4860::8844
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:805::200e
FAILED: 2a00:1450:4016:804::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12

=== PRÄFIX:350f:76d5:389b:7a62 ===
FAILED: 2001:4860:4860::8844
FAILED: 2001:4860:4860::6464
FAILED: 2606:4700:4700::1111
FAILED: 2a00:1450:4016:803::200e
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:32f1:74b8:367e:7844 ===
FAILED: 2001:4860:4860::64
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:804::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:5452:1619:57df:19a5 ===
FAILED: 2606:4700:4700::1111
FAILED: 2a00:1450:4016:806::200a
FAILED: 2a00:1450:4016:805::200e
FAILED: 2a00:1450:4016:804::200e
FAILED: 2a00:1450:4016:803::200e
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:775d:3923:7ae9:3cb0 ===
FAILED: 2001:4860:4860::8888
FAILED: 2001:4860:4860::8844
FAILED: 2001:4860:4860::6464
FAILED: 2001:4860:4860::64
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:806::200a
FAILED: 2a00:1450:4016:805::200e
FAILED: 2a00:1450:4016:804::200e
FAILED: 2a00:1450:4016:803::200e
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:4e1:46a8:86e:4a34 ===
FAILED: 2001:4860:4860::8888
FAILED: 2001:4860:4860::8844
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:806::200a
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12

=== PRÄFIX:4b6a:d30:4ef6:10bd ===
FAILED: 2001:4860:4860::8844
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:806::200a
FAILED: 2a00:1450:4016:805::200e
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12

=== PRÄFIX:35aa:7770:3937:7afd ===
FAILED: 2001:4860:4860::8888
FAILED: 2001:4860:4860::8844
FAILED: 2001:4860:4860::6464
FAILED: 2001:4860:4860::64
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::4
FAILED: 2001:ab7:3000::12

=== PRÄFIX:2377:653d:2704:68ca ===
FAILED: 2606:4700:4700::1111
FAILED: 2a00:1450:4016:806::200a
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:54ee:16b4:587a:1a41 ===
FAILED: 2001:4860:4860::64
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:803::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3

=== PRÄFIX:565d:1823:59ea:1bb0 ===
FAILED: 2001:4860:4860::8844
FAILED: 2001:4860:4860::64
FAILED: 2a00:1450:4016:805::200e
FAILED: 2a00:1450:4016:804::200e
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:1423:55e9:17b0:5976 ===
FAILED: 2001:4860:4860::8844
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:805::200e
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:73be:3584:774a:3910 ===
FAILED: 2606:4700:4700::1111
FAILED: 2a00:1450:4016:804::200e
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::4
FAILED: 2001:ab7:3000::12

=== PRÄFIX:51af:1375:553b:1702 ===
FAILED: 2001:4860:4860::8888
FAILED: 2001:4860:4860::6464
FAILED: 2a00:1450:4016:806::200a
FAILED: 2a00:1450:4016:804::200e
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:769c:3863:7a29:3bef ===
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:805::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12

=== PRÄFIX:2486:664d:2813:69d9 ===
FAILED: 2001:4860:4860::8844
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2001:ab7::1
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:7d08:3ece:94:425b ===
FAILED: 2001:4860:4860::8888
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:3000::12

=== PRÄFIX:13c3:5589:174f:5916 ===
FAILED: 2001:4860:4860::64
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:803::200e
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12

=== PRÄFIX:1532:56f8:18bf:5a85 ===
FAILED: 2001:4860:4860::8844
FAILED: 2001:4860:4860::64
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2a00:1450:4016:803::200e
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3

=== PRÄFIX:2ff:44c6:68c:4852 ===
FAILED: 2001:4860:4860::64
FAILED: 2a00:1450:4016:805::200e
FAILED: 2a00:1450:4016:804::200e
FAILED: 2a00:1450:4016:803::200e
FAILED: 2a00:1450:4016:802::200e
FAILED: 2001:ab7::1
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12

=== PRÄFIX:2f06:70cc:3293:7459 ===
FAILED: 2606:4700:4700::1111
FAILED: 2606:4700:4700::1001
FAILED: 2001:ab7::1
FAILED: 2001:ab7::2
FAILED: 2001:ab7::3
FAILED: 2001:ab7::4
FAILED: 2001:ab7:2000::12
FAILED: 2001:ab7:3000::12
maik005
Kabelexperte
Beiträge: 795
Registriert: 27.09.2016, 00:33

Re: [OFFEN] Ladeprobleme bei Webseiten und Medien mit aktiviertem IPv6

Beitrag von maik005 »

Sprich, beim Übergang vom Hetzner-Netz (AS24940) zu Vodafone (AS3209) geht das Ding verloren.
Aber nicht nur?
In deinem einen Trace kommt es von dir aus bis zum ersten Hop im Hetzner-Netz.
Das selbe hab ich bei Sipgate zum Teil auch.
Zum ersten Hop kommt es, dann ist es tot.
Beim zweiten Anlauf habe ich eine IPv6 Quelladresse gefunden mit der einer meiner vServer nicht pingbar ist. Hier ist nun die Rückrichtung wirklich dicht - ich kann auch vom vServer aus den Computer zu Hause nicht anpingen auf dieser IPv6 (auf anderen klappt es, Firewall in der Vodafone Station habe ich ausgeschaltet).
gehen andere Dienste außer einem ICMP Paket oder ist der Rückweg vom Server zu dir mit der IP komplett tot?
philwo
Newbie
Beiträge: 30
Registriert: 21.06.2017, 10:35
Bundesland: Bayern

Re: [OFFEN] Ladeprobleme bei Webseiten und Medien mit aktiviertem IPv6

Beitrag von philwo »

maik005 hat geschrieben:
14.10.2020, 23:17
Sprich, beim Übergang vom Hetzner-Netz (AS24940) zu Vodafone (AS3209) geht das Ding verloren.
Aber nicht nur?
In deinem einen Trace kommt es von dir aus bis zum ersten Hop im Hetzner-Netz.
Das selbe hab ich bei Sipgate zum Teil auch.
Zum ersten Hop kommt es, dann ist es tot.
Mhm.. ich lese die Trace so:

In Richtung Computer => Server ist der sichtbare Unterschied bei der defekten IPv6, dass vom letzten Hop (meinem Server) keine Antwort kommt, von allen davor aber schon.
In Richtung Server => Computer ist der sichtbare Unterschied bei der defekten IPv6, dass Schluss ist nach 2a01:4f8:0:e0f0::5a (der letzte Hop im AS24940), es kommt von AS3209 keinerlei Antwort.

Aber es ist schon spät, ich schaue morgen nochmal drauf.
maik005 hat geschrieben:
14.10.2020, 23:17
Beim zweiten Anlauf habe ich eine IPv6 Quelladresse gefunden mit der einer meiner vServer nicht pingbar ist. Hier ist nun die Rückrichtung wirklich dicht - ich kann auch vom vServer aus den Computer zu Hause nicht anpingen auf dieser IPv6 (auf anderen klappt es, Firewall in der Vodafone Station habe ich ausgeschaltet).
gehen andere Dienste außer einem ICMP Paket oder ist der Rückweg vom Server zu dir mit der IP komplett tot?
Bei meinem vServer betrifft das offenbar wieder nur ICMPv6 in diesem konkreten Fall. TCP und UDP gingen in beide Richtungen.

Bei sipgate sehe ich aber auch bei UDP-Traffic Timeouts (getestet mit sip-ping), immer bei wechselnden Server je nach Quelladresse.
bmwiedemann
Newbie
Beiträge: 2
Registriert: 19.10.2020, 14:27
Bundesland: Bayern

Re: [OFFEN] Ladeprobleme bei Webseiten und Medien mit aktiviertem IPv6

Beitrag von bmwiedemann »

Ich habe jetzt schon einige Tage an einem IPv6-routing-Problem debugged, welches dieses sein koennte und Informationen hier gesammelt:
http://vodafone.lsmod.de/

dabei sind google.de/com, heise.de und facebook.com als einzige nicht betroffen und genau bei diesen ist hop5 im traceroute ein anderer:

Code: Alles auswählen

laptop:~ # traceroute -6 -m 6 --udp -n -z 1 -q 10 facebook.com
traceroute to facebook.com (2a03:2880:f1ff:83:face:b00c:0:25de), 6 hops max, 80 byte packets
 1  MYIP  1.895 ms  2.391 ms  1.765 ms  2.185 ms  2.196 ms  2.180 ms  1.745 ms  2.088 ms  1.787 ms  2.036 ms
 2  2a02:810d:8001:7a::2  14.708 ms 2a02:810d:8001:7a::3  17.118 ms  16.392 ms  15.656 ms  15.462 ms 2a02:810d:8001:7a::2  17.188 ms  14.205 ms 2a02:810d:8001:7a::3  15.732 ms  14.703 ms  15.619 ms
 3  * * 2a02:8100:4:2::6:2111  15.564 ms  15.703 ms 2a02:8100:4:2::6:211a  25.889 ms * * * * *
 4  * * * * * 2a00::7fff:0:c02:c01:1  24.387 ms * * * 2a00::7fff:0:c01:c01:5  23.830 ms
 5  * * * * * * * * * 2a00::1d0:0:56  19.384 ms
 6  2001:4860:1:1::18fe  22.766 ms  21.225 ms  22.472 ms  19.275 ms  20.990 ms  21.698 ms  19.931 ms  21.679 ms  77.102 ms  22.031 ms
 
 
# traceroute -6 -f 4 -m 6 --udp -n -z 1 -q 10 heise.de
traceroute to heise.de (2a02:2e0:3fe:1001:302::), 6 hops max, 80 byte packets
 4  * 2a00::7fff:0:c02:c01:1  15.183 ms  15.067 ms * * * 2a00::7fff:0:c01:c01:5  23.830 ms * * *
 5  * * * * 2a00::180:0:8a  19.188 ms * * * * *
 6  2001:7f8::3012:0:2  29.586 ms  27.131 ms * * * *  21.355 ms  30.187 ms * *
 
 
 # traceroute -6 --udp -n -z 1 -q 10 zq1.de
traceroute to zq1.de (2a01:4f8:221:b52:fcfd:ff:fe00:ec0c), 30 hops max, 80 byte packets
 1  MYIP  1.623 ms  1.711 ms  2.256 ms  2.322 ms  2.366 ms  1.479 ms  2.684 ms  1.720 ms  78.568 ms  104.421 ms
 2  2a02:810d:8001:7a::2  16.015 ms 2a02:810d:8001:7a::3  17.500 ms 2a02:810d:8001:7a::2  22.231 ms  20.920 ms  22.740 ms 2a02:810d:8001:7a::3  15.968 ms  14.366 ms 2a02:810d:8001:7a::2  17.014 ms 2a02:810d:8001:7a::3  17.426 ms  15.554 ms
 3  * * * * * 2a02:8100:4:2::6:2111  16.968 ms * * * *
 4  * * * * * * * 2a00::7fff:0:c01:c01:5  25.779 ms * *
 5  * * * * * * * * * *
 6  2a01:4f8:0:e0f0::59  22.040 ms  33.475 ms  18.111 ms  19.852 ms  19.629 ms  21.119 ms  18.125 ms  26.789 ms  18.363 ms  18.499 ms
  
ansonsten ist interessant, dass IPv6/UDP deterministisch mit dem Inhalt der Header verloren geht. Gleicher UDP-port kommt immer 100% oder 0% durch (je nach Quell+Ziel IP)

Dabei teste ich unter Linux mit
https://github.com/bmwiedemann/udptest/

Code: Alles auswählen

for host in zq1.de wikipedia.org dfn.de golem.de opensuse.org archlinux.org yandex.ru google.de facebook.com heise.de ; do
  host=$host ./sendhttp.sh
done
und fuer UDP-tests hab ich ./send.sh mit passendem UDP-reflektierenden udpserver.pl auf der Gegenseite.
bmwiedemann
Newbie
Beiträge: 2
Registriert: 19.10.2020, 14:27
Bundesland: Bayern

Re: [OFFEN] Ladeprobleme bei Webseiten und Medien mit aktiviertem IPv6

Beitrag von bmwiedemann »

Um zu zeigen, dass das Problem nicht spezifisch fuer Hetzner ist, habe ich noch einen traceroute von einem openSUSE Server in Nuernberg gemacht. Sieht seltsam aus:
http://vodafone.lsmod.de/traceroute1.txt

Code: Alles auswählen

mtr --udp -zn $MYIP
from opensuse.org:           My traceroute  [v0.92]
daffy1 (2001:67c:2178:8::161)                          2020-10-19T16:22:30+0000
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. AS29298  2001:67c:2178:8::3       0.0%   121    1.0   0.9   0.7   6.7   0.6
 2. AS29298  2001:67c:2178:5::2       0.0%   121    1.0   1.4   0.9   6.7   0.9
 3. AS201011 2a01:4a0:1338:f0::1      0.0%   120    1.4   1.5   1.1   6.2   0.7
 4. AS201011 2a01:4a0:0:2001::3       0.0%   120    4.2   6.1   3.9  23.7   4.1
 5. AS201011 2a01:4a0:1338:63::2     41.7%   120    4.8   4.8   4.4   5.6   0.3
 6. AS3209   2a00::170:0:c           13.3%   120    9.3   9.2   7.7  35.8   2.8
    AS3209   2a00::170:0:10
 7. AS3209   2a00::170:0:10          20.8%   120    8.9   8.6   7.5   9.6   0.6
    AS3209   2a00::170:0:c
    AS3209   2a00::7fff:0:c02:c01:2
    AS3209   2a00::7fff:0:c01:c01:6
 8. AS3209   2a00::7fff:0:c01:c01:6  49.2%   120    7.8   8.3   7.0  14.0   1.2
    AS3209   2a00::7fff:0:c02:c01:2
    AS3209   2a02:8100:4:2::6:2119
    AS3209   2a02:8100:4:2::6:2112
 9. AS3209   2a02:8100:4:2::6:2119   18.3%   120    9.0  10.6   6.9  27.1   5.9
    AS3209   2a02:8100:4:2::6:2112
    AS3209   2a02:810d:8000:7a:4812:a683:f2aa:dac1
10. AS3209   2a02:810d:8000:7a:4812: 14.2%   120   23.0  24.6  21.3  46.9   3.4
    AS3209   2a02:810d:bd3f:f210:4a89:1b34:xxxx:xxxx <= MY IP
11. AS3209   2a02:810d:bd3f:f210:4a8 17.5%   120   22.6  24.5  21.8  36.2   2.9
da scheint bei Hop 6 manchmal eine Schleife zu passieren, so dass das Paket A->B->C->D oder A->C->B->D oder A->C->D oder A->B->D laufen kann.

Die gemessene Verlustrate von ca 17% entspricht auch dem, was ich mit meinen UDP-Messungen zuvor festgestellt hatte.