Eine scrapige Hommage an Supermärkte

Supermarktscraper

In diesem Projekt wollte ich einen Scraper "overengineeren". Die Funktion ist grundsätzlich recht simpel: es werden alle verfügbaren Produkte und deren Metainformationen von mehreren Supermarktketten heruntergeladen und als JSON-Datei gespeichert.

Das Projekt habe ich als Python-Package strukturiert, es hat Unit-Tests, zeigt die Codecoverage, verwendet statische Analyse mit Flake8, Typechecking, generiert automatisch eine kleine (unnötige) Dokumentation. Mit Github-Actions werden diese Schritte bei jedem push automatisch ausgeführt.

Derzeit bin ich noch unschlüssig, was ich mit den Daten anfangen soll. Meine ursprüngliche Idee fand ich während des Programmierens bereits auf supermarkt.at.