Projekt für KDGForum: KDG-Mapper

Hier ist Platz für alle Themen, die Produkte, Verträge und Allgemeines im Zusammenhang mit Internet und Telefonie via Vodafone Kabel Deutschland, Vodafone West, der Vertriebsmarke „eazy“ bzw. O2 betreffen.
Forumsregeln
Forenregeln


Bitte gib bei der Erstellung eines Threads im Feld „Präfix“ an, ob du Kunde von Vodafone Kabel Deutschland („[VFKD]“), von Vodafone West („[VF West]“), von eazy („[eazy]“) oder von O2 über Kabel („[O2]“) bist.
Benutzeravatar
fLoo
Kabelfreak
Beiträge: 1473
Registriert: 30.11.2008, 12:19
Wohnort: Hamburg

Projekt für KDGForum: KDG-Mapper

Beitrag von fLoo »

UPDATE VOM 16.05.2013

http://breitbandatlas.com/2013/breitban ... -mai-2013/



Mediale Berichterstattung:

https://netzpolitik.org/2012/keine-scho ... utschland/
http://www.golem.de/news/kdgeo-db-kabel ... 94645.html
http://carta.info/48646/open-data-sorry-were-closed/

############### ORIGINALER THREAD ###################

Servus,

ich habe vor einigen Monaten begonnen ein Projekt zu erstellen, welches sich mit der Verfügbarkeit und dem Ausbau von KabelDeutschland-Produkten beschäftigt. Nach unzähligen Stunden Codeanalyse (die Webseite der KDG ist echt .. naja ;) ) bin ich nun soweit und kann dem Forum in Kürze ein erstes Ergebnis präsentieren.

Services:
  • Eigene GEO-Datenbank KDGEO-DB (synchronisiert mit den Servern der KDG).
  • KDGEO-DB beinhaltet alle Postleitzahlen, Orte, Straßen sowie Hausnummern
  • KDGEO-DB verfügt über die exakten Geokoordinaten zu jeder Adresse (realisiert mit Google-Maps-Geocode-API)
  • KDGEO-DB beinhaltet zu den jeweiligen Adressen auch Fotos der Straßenzüge, sofern Verfügbar (PREMIUM)
  • KDG-Frequenz-Analyse. Hiermit ist es möglich Daten per API zu schicken, um die derzeitige Auslastung des eigenen Segments online zu speichern und der Allgemeinheit zur Verfügung zu stellen.
Funktionen:
  • graphische Darstellung von Verfügbarkeiten per dynamischer Karte

Premium-Funktionen (nur für wirklich große Aufträge wie von Gemeinden, ausgenommen sind alle anderen ISPs):
  • graphische Darstellung von Verfügbarkeiten per statischer Karte (Offline als PDF / PNG / JPG / TIFF)
  • Generierung von Karten für Orte,PLZ-Bereiche,Bundesländer,Bundesweit oder eigene Gebiete (Angabe von Koordinaten LAT/LNG)
  • Nutzung des KDGEO-DB-PHOTO-Service um für Straßenzüge Fotos zu erhalten
  • statistische Auswertung von Verfügbarkeiten nach Postleitzahlen
  • statistische Auswertung von Verfügbarkeiten nach Orten
  • statistische Auswertung von Verfügbarkeiten nach Bundesländern
  • statistische Auswertung von Verfügbarkeiten Bundesweit
  • Statistik berücksichtigt die Verfügbarkeit von Produkten über die Netzte der KDG (auch Reseller wie Telecolumbus)
Geplant:
  • Einbindung der Netze Telecolumbus & UnityMedia in die Statistiken (derzeit wird nur die Resellermöglichkeit über KDG-Leitungen geprüft)
  • Letztendlich eine Kabelkarte für alle Kabelanbieter bundesweit generieren (Zukunftsmusik :flöt: )
Kosten:

Das Projekt steht für jeden Nutzer kostenlos zur Verfügung. Einige Funktionen wie die Generierung von statischen Karten gibt es jedoch lediglich gegen eine Spendengebühr pro erstmaligem Abruf der Daten. Dies geschieht aus dem Grund, da dies enorm CPU-Power beansprucht und alleine hierfür circa 130 Arbeitsstunden draufgegangen sind.

URL:
Zuletzt geändert von fLoo am 16.05.2013, 19:04, insgesamt 66-mal geändert.
Kopfstation: Hamburg Barmbek Süd (22083) -> Gekündigt wgn. schlechter und überlasteter Kabelnetz-Qualität in Hamburg.

[KDG Helpdesk] - [Kopfstationen & Ausbaustatus]
Benutzeravatar
fLoo
Kabelfreak
Beiträge: 1473
Registriert: 30.11.2008, 12:19
Wohnort: Hamburg

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von fLoo »

[ ----------------- Platzhalter -------------- ]
Kopfstation: Hamburg Barmbek Süd (22083) -> Gekündigt wgn. schlechter und überlasteter Kabelnetz-Qualität in Hamburg.

[KDG Helpdesk] - [Kopfstationen & Ausbaustatus]
Benutzeravatar
fLoo
Kabelfreak
Beiträge: 1473
Registriert: 30.11.2008, 12:19
Wohnort: Hamburg

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von fLoo »

So, ich habe nun den nächsten Schritt geschafft, zu jeder Adresse gibt es jetzt die genauen (mehr oder weniger) Koordinaten, nächster Schritt wird es sein, anhand der Vorhandenen Daten + Koordinaten eine Karte zu erstellen. Die Nacht wird lang :)
Kopfstation: Hamburg Barmbek Süd (22083) -> Gekündigt wgn. schlechter und überlasteter Kabelnetz-Qualität in Hamburg.

[KDG Helpdesk] - [Kopfstationen & Ausbaustatus]
BastardLawyerFrmHell
Fortgeschrittener
Beiträge: 177
Registriert: 23.06.2011, 13:22

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von BastardLawyerFrmHell »

Dein Engagement in allen Ehren, aber geht das nicht bereits über KDGs Homepage/Preis24s Homepage selbst? Ich meine, dass ich vor einigen Monaten so die Verfügbarkeit meines Anschlusses testete.
Benutzeravatar
fLoo
Kabelfreak
Beiträge: 1473
Registriert: 30.11.2008, 12:19
Wohnort: Hamburg

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von fLoo »

BastardLawyerFrmHell hat geschrieben:Dein Engagement in allen Ehren
Danke
BastardLawyerFrmHell hat geschrieben:aber geht das nicht bereits über KDGs Homepage/Preis24s Homepage selbst? Ich meine, dass ich vor einigen Monaten so die Verfügbarkeit meines Anschlusses testete.
Aber sicher, so prüfe ich auch meinen Anschluss

Hier geht es aber darum, eine Verfügbarkeits-Karte zu erstellen um ein möglichst genaues Bild einer Stadt, respektive eines Stadtteils abzubilden. Sowas wird es von KDG niemals geben, daher mache ich das jetzt.
Kopfstation: Hamburg Barmbek Süd (22083) -> Gekündigt wgn. schlechter und überlasteter Kabelnetz-Qualität in Hamburg.

[KDG Helpdesk] - [Kopfstationen & Ausbaustatus]
Benutzeravatar
RcRaCk2k
Ehrenmitglied
Beiträge: 2402
Registriert: 20.09.2007, 10:23
Wohnort: Freilassing

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von RcRaCk2k »

Also ich finde das Projekt interessant :)

Verwendest du den AJAX-Aufruf von der Seite, um die Straßennamen und die Hausnummern herauszufinden?
Da du ja nicht weist, welche Hausnummern und Straßen es in einem Ort geben kann.

Geil wäre, wenn dann auf der Google-Map bei einer Adresse ein grüner / oranger / roter Punkt zu sehen wäre :)

AJAX-URL: http://www.kabeldeutschland.de/static/s ... reilassing
Results in:

Code: Alles auswählen

[{value:Ahornstr.}, {value:Akeleiweg}, {value:Alpenstr.}, {value:Am Feuerhaus}, {value:Am Hang},…]
Anscheinend hat der Betreiber der Seite eine kleine Sicherheit eingebaut. Im Abstand von 5 Sekunden wird jedesmal ein Ping an die Seite http://www.kabeldeutschland.de/static/s ... ction=ping gesendet.

Hier findest du alle möglichen Abfrageparameter:
http://www.kabeldeutschland.de/static/s ... ion=config

Früher ging es auch mal, die Hausnummer der Datenbank zu extrahieren... Ich habe gerade den kompletten Code nach alten Rückständen abgesucht, aber nichts gefunden. Habe mir damals leider nicht aufgeschrieben, wie die Abfrage gelautet hat. Vielleicht findest du das ja noch raus?

EDIT: Ach Fuck... Ich dachte schon, das wären Daten aus der Live-Datenbank von Kabel-Deutschland. So hätte man sehen können, welche Straßenzüge versorgt werden und welche nicht. Aber anscheinend kommen die Daten von einem Produkt der deutschen Post: http://www.deutschepost.de/dpag?check=y ... 15592_1041 Hinweis darauf gibt die Javascript-Bibliothek "datafactory.min.js".
Anschlüsse: 3x Internet&Phone 100 MBits, 2x Internet&Phone 26MBit, 1x Internet&Phone 32 MBits Telefon-Anschluss: sipgate.de, dus.net, easybell.de, personal-voip.de
Router: Linux x64 Router, Interne Verkablung: Patchpannel, CAT 7, Netzwerkdosen, CAT 5e, wirelessLAN

Links:
- Kabel-Deutschland und die Geschwindigkeit des Internet-Zugangs
Benutzeravatar
Kabelmensch
Insider
Beiträge: 2644
Registriert: 29.01.2007, 21:21
Wohnort: Leipzig

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von Kabelmensch »

fLoo hat geschrieben:Servus,

ich habe aus aktuellem Anlass gerade begonnen ein Tool zu schreiben, welches anhand von Adressen die Verfügbarkeit von KDG-Produkten überprüft und diese dann ausgibt. Ich bitte Euch um Wünsche, was das Programm machen kann/soll/muss. Danke Euch!
Sieht nach hoher Netzlast aus, da ja sicherlich regelmäßig abgefragt werden soll.
Wie willst Du den DoS-Verdacht abwenden?
kabelmensch.de
Benutzeravatar
fLoo
Kabelfreak
Beiträge: 1473
Registriert: 30.11.2008, 12:19
Wohnort: Hamburg

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von fLoo »

Danke für die rege Teilnahme, hier die Antworten:
RcRaCk2k hat geschrieben:Verwendest du den AJAX-Aufruf von der Seite, um die Straßennamen und die Hausnummern herauszufinden?
Da du ja nicht weist, welche Hausnummern und Straßen es in einem Ort geben kann.
Genau den Verwende ich ;)
RcRaCk2k hat geschrieben:Geil wäre, wenn dann auf der Google-Map bei einer Adresse ein grüner / oranger / roter Punkt zu sehen wäre :)
Genau dabei bin ich gerade ^^
RcRaCk2k hat geschrieben:Anscheinend hat der Betreiber der Seite eine kleine Sicherheit eingebaut. Im Abstand von 5 Sekunden wird jedesmal ein Ping an die Seite http://www.kabeldeutschland.de/static/s ... ction=ping gesendet.
Mehr Schein als Sein. Das hat nichts mit Sicherheit zutun.
config
RcRaCk2k hat geschrieben:Früher ging es auch mal, die Hausnummer der Datenbank zu extrahieren... Ich habe gerade den kompletten Code nach alten Rückständen abgesucht, aber nichts gefunden. Habe mir damals leider nicht aufgeschrieben, wie die Abfrage gelautet hat. Vielleicht findest du das ja noch raus?
Soweit Hausnummer Verfügbar (abfragbar) sind, kann man diese folgendermaßen auslesen:

An folgende Adresse einen Post-Request senden : http://www.kabeldeutschland.de/start/ve ... resse.html
Inhalt: "serviceAdressRedirect=&serviceAdressProduct=&serviceAdressAdressId=&serviceAdressQuarter=&_qf_default=adress%3AVALIDATE&serviceAdressZipCode=21335&serviceAdressCity=L%FCneburg&serviceAdressStreet=Rosenstr.&serviceAdressStreetNo=&serviceAdressHouseAdd="

Daraus ergibt sich in der Antwortseite, soweit Verfügbar:

Code: Alles auswählen

<option value="21335,Lüneburg,Altstadt,Rosenstr.,,,-1">21335 Lüneburg, Rosenstr.  (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,1,,4107928">21335 Lüneburg, Rosenstr. 1 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,2,,4107929">21335 Lüneburg, Rosenstr. 2 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,3,,4107930">21335 Lüneburg, Rosenstr. 3 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,4,,4107931">21335 Lüneburg, Rosenstr. 4 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,5,,4107932">21335 Lüneburg, Rosenstr. 5 (Altstadt)</option>

	<option value="21335,Lüneburg,Altstadt,Rosenstr.,6,,6211354">21335 Lüneburg, Rosenstr. 6 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,7,,4107934">21335 Lüneburg, Rosenstr. 7 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,8,,4107935">21335 Lüneburg, Rosenstr. 8 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,9,,4107936">21335 Lüneburg, Rosenstr. 9 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,10,,4107937">21335 Lüneburg, Rosenstr. 10 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,11,,4107938">21335 Lüneburg, Rosenstr. 11 (Altstadt)</option>
Kabelmensch hat geschrieben:Sieht nach hoher Netzlast aus, da ja sicherlich regelmäßig abgefragt werden soll.Wie willst Du den DoS-Verdacht abwenden?
Ich habe ein /24 Subnet, aus dem ich Anfragen von 253 IPs senden kann, läuft :)
Kopfstation: Hamburg Barmbek Süd (22083) -> Gekündigt wgn. schlechter und überlasteter Kabelnetz-Qualität in Hamburg.

[KDG Helpdesk] - [Kopfstationen & Ausbaustatus]
Benutzeravatar
fLoo
Kabelfreak
Beiträge: 1473
Registriert: 30.11.2008, 12:19
Wohnort: Hamburg

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von fLoo »

Update: Drückt mir die Daumen, nach Rücksprache mit der Deutschen Post bekomme ich ggf. die Datafactory der Deutschen Post gratis für dieses Projekt, dass heisst im Umkehrschluss, dass ich nativen Zugang zu Hausnummern aller Straßen haben :party:
Kopfstation: Hamburg Barmbek Süd (22083) -> Gekündigt wgn. schlechter und überlasteter Kabelnetz-Qualität in Hamburg.

[KDG Helpdesk] - [Kopfstationen & Ausbaustatus]
Benutzeravatar
fLoo
Kabelfreak
Beiträge: 1473
Registriert: 30.11.2008, 12:19
Wohnort: Hamburg

Re: Projekt für KDGForum: KDG-Mapper

Beitrag von fLoo »

Yay - SEHR große Fortschritte gemacht.
Ich komme jetzt auch ohne die "Datafactory Postalcode"-API der Deutschen Post aus. Ziehe mir die Adressen direkt von KDG :love:
Kopfstation: Hamburg Barmbek Süd (22083) -> Gekündigt wgn. schlechter und überlasteter Kabelnetz-Qualität in Hamburg.

[KDG Helpdesk] - [Kopfstationen & Ausbaustatus]