URLReport

Überprüft die Erreichbarkeit von URLs im Clear-Web und im Tor-/Onion-Netzwerk.

Unterstützte Betriebssysteme:

Der Abschnitt "Erste Schritte" enthält wichtige Informationen zu Verwendung (insbesondere für MacOS).

Das Format der von den Programmen verwendeten Kommandozeilenargumente wird im Abschnitt "Format der Befehlszeilenargumente" beschrieben.

Enthaltene Programme:

Melden Sie Fehler an werner@gaijin.at
Die neueste Version erhalten Sie auf https://www.gaijin.at

Inhalt des Download-Pakets

Verzeichnisse in der Archivdatei bzw. der Imagedatei:

Erste Schritte

Windows

Nach dem Entpacken aller Dateien und Verzeichnisse aus der heruntergeladenen .7z Archivdatei kopieren Sie diese in ein beliebiges Verzeichnis, z.B. in den eigenen Benutzerordner.

MacOS

Öffnen Sie danach die Imagedatei. Per Drag&Drop ziehen Sie das enthaltene Verzeichnis aus der Imagedatei z.B. in Ihr Home-Verzeichnis.

Hinweis: Einige Verzeichnisse, wie etwa der Desktop, haben spezielle Sicherheitsrichtlinien. In diesen funktionieren die Programme und Beispielskripte nicht.

Die heruntergeladene .dmg Imagedatei ist nicht signiert. Heruntergeladene Anwendungen oder Container werden markiert und können nicht ohne zusätzliche Benutzerinteraktion ausgeführt werden. Um zu vermeiden, jedes einzelne Programm öffnen und freigeben zu müssen, führen Sie bitte folgende Schritte aus:

  1. Öffnen Sie im Finder die Datei "allow_open.command" per Kontextmenü mit dem Befehl "Öffnen" (die Datei nicht doppelklicken).
  2. Im Hinweisfenster auf "Öffnen" klicken.

Verwendung

Sie können die Beispielskripte im Verzeichnis "examples" ausprobieren, um die Ausgabe zu sehen und im Skript-Code finden Sie die Argumente, die zur Ausführung des Programms verwendet werden.

Für eine detaillierte Hilfe zu einem Programm, führen Sie dieses in der Shell bzw. der Konsole mit der Option -h oder --help aus. Zum Beispiel application.exe --help unter Windows oder./application --help unter MacOS.

Format der Befehlszeilenargumente

Befehlszeilenargumente werden durch ein Leerzeichen voneinander getrennt. Argumente mit Leerzeichen müssen in Anführungszeichen gesetzt werden (je nach Betriebssystem und Situation in einfache oder doppelte Anführungszeichen).

Kurze Optionen beginnen mit einem einzelnen Bindestrich und können gruppiert werden. Dies bedeutet, dass die Argumente -a -b -c gleichbedeutend sind mit -abc. Dies funktioniert nur für Optionen ohne Parameter. Lange Optionen beginnen mit zwei Bindestrichen.

Beide Optionstypen können zusätzlich Parameter (Werte) haben. Die Parameter können als eigene Argumente geschrieben werden, direkt nach dem Optionsparameter wie z.B. -o PARAM1 PARAM2. Ein einzelner Parameter kann in demselben Argument wie die Option angegeben werden, getrennt durch einen Doppelpunkt (:) oder ein Gleichheitszeichen (=) wie -o:PARAM1 oder -o=PARAM1. Mehrere Parameter können als Optionsparameter in der Form -o=PARAM1 -o=PARAM2 oder --option=PARAM1 --option=PARAM2 angegeben werden.

Nicht-Options-Parameter (Argumente, die keine Optionen sind), enthalten in der Regel Daten wie einen Datei- oder Verzeichnispfad.

Usage-Format

Der Punkt "Usage" in der Programmhilfe (-h/--help) gibt einen kurzen Überblick über die möglichen Optionen und Nicht-Options-Parameter und ob sie optional oder erforderlich sind.

Ein Parameter in eckigen Klammern wie [Option] ist optional, ohne eckige Klammern ist der Parameter erforderlich. Ein Pipe-Zeichen (senkrechter Strich) wird für erforderliche Argumente verwendet, die mehrere verschiedene Optionen oder Parameter enthalten können. Beispiel: -u=URL | FILE bedeutet, dass die Option "u" oder eine Datei als Nicht-Options-Argument angegeben werden muss.

URLReport

Überprüft die Erreichbarkeit von URLs im Clear-Web und im Tor-/Onion-Netzwerk.

URLReport kann das Ergebnis der Überprüfung als einzelne Datei in den Formaten TSV, CSV und HTML, sowie als umfangreichen HTML-Bericht ausgeben.

Die Datenfelder bzw. Spalten der einfachen Ausgabe sind individuell anpassbar. Diese Ausgabe eignet sich besonders für einen schnellen Überblick über die erreichbaren URLs oder die Weiterverarbeitung der Daten mit einem anderen Programm.

Der HTML-Bericht (URL Report) erlaubt die Ansicht der überprüften und erreichbaren Webseiten als sichere HTML-Version, sowie als reinen Text. Die technischen Details, wie die Kopfzeilen oder Umleitungen, können ebenfalls eingesehen werden.

Beispiele

Im Ordner "examples" finden sich mehrere Shell-Skripte bzw. Batch-Dateien, die unterschiedliche Möglichkeiten der Ausgabe demonstrieren. Die Ausgabe der Dateien erfolgt im Unterordner "files". (Die Dateinamenserweiterungen der Skripte unterscheiden sich je nach Plattform.)

"urlreport_csv" und "urlreport_html" geben die Ergebnisse von URLs aus dem Clear-Web als CSV- bzw. HTML-Datei aus.

"urlreport_report" und "urlreport_report_tor" erzeugen einen HTML-Bericht.

Im Skript "urlreport_report_tor" sind die Optionen speziell für .onion-URLs ausgelegt, was insbesondere das Timeout und die Anzahl der Verbindungsversuche betrifft.

Im Ordner "gui" sind zwei Shell-Skripte bzw. Batch-Dateien für URLReport enthalten. "urlreport" zeigt eine GUI für den Export der Daten in eine Datei an. Das Skript "urlreport_report_tor" zeigt eine GUI speziell für die Überprüfung von Onion-URLs per Tor und den Export als vollständigen HTML-Report an.

Für Anfragen über Tor empfiehlt sich generell ein Timeout von mindestens 30 Sekunden und mehrere Verbindungsversuche.

Onion URL Extractor

Extrahiert .onion-URLs aus einfachen Textdateien.

URLs können mit regulären Ausdrücken ausgeschlossen werden, z.B. um URLs mit CSS oder Bilddateien zu ignorieren. Duplikate können ignoriert und nicht ausgegeben werden. Der Domänenname, ohne Schema, Pfad und Parameter, kann zusätzlich zur URL selbst ausgegeben werden.

Hinweis: Die Anzahl der gefundenen und exportierten URLs wird am Ende jeder Datei und am Ende insgesamt angezeigt - außer wenn die Option -s/--silent gesetzt ist.

Wenn die Option -d/--dnadd gesetzt ist, kann die Anzahl der exportierten URLs größer sein als die gefundenen URLs, da der hinzugefügte Domainname mitzählt wird.

Verwendung mit X-Ways Forensik

Onion URL Extractor kann auch verwendet werden, um exportierte Suchtreffer aus X-Ways Forensics und verarbeiten.

Nun kann die Datei mit dem Skript "onionextract", welches sich bereits im XWF-Ordner befindet, verarbeitet werden.

Die extrahierten URLs werden in der Datei "urls.txt" abgelegt. Zusätzlich wird der Domainname jeder URL hinzugefügt und alle URLs in der Ausgabedatei kommen nur einmal in der Ausgabedatei vor.

Um die .onion-URLs überprüfen zu können, muss das Programm "tor" ausgeführt werden. Starten Sie dazu unter Windows das Programm "Tor Browser\Browser\TorBrowser\Tor\tor.exe" in der Tor-Installation bzw. unter MacOS das Programm "/Applications/Tor Browser.app/Contents/MacOS/Tor/tor".

Hinweis: Das Programm "tor" ist nicht das Selbe wie der "Tor Browser".

Um das Programm einfacher auszuführen, können Sie z.B. eine Verknüpfung erstellen und im Ordner "XWF" ablegen.

Anschließend können die extrahierten URLs mit dem Skript "urlreport" überprüft werden. Die Ausgabe erfolgt im Ordner "URLReport\XWF\URL Report".