Und nein, du bekommst die IPv4 auch nicht weg, da das die IPv4 vom DS-Lite-AFTR-Gateway (also diejenige, die du dir mit anderen Kunden teilst) ist.
Die ganzen DynDNS-Dienste ermitteln "deine" IPv4, in dem sie den Header der IP-Pakete auslesen - und dort steht nunmal die IPv4 des AFTR-Gateways drin.
Mal davon abgesehen, dass
FritzVPN NICHT über IPv6 läuft, sondern zwingend mindestens einen Anschluss mit einer öffentlichen IPv4 voraussetzt.
Ein LAN-LAN-VPN zwischen zwei Fritzboxen an DS-Lite-Anschlüssen funktioniert deshalb NICHT!
Hier musst du definitiv auf andere Lösungen zurückgreifen, die IPv6 unterstützen, also bspw. OpenVPN auf einem "nachgeschalteten" RaspberryPI - mit dem in der Fritz eingebauten VPN wird das hingegen nichts.