Headline goes here

This is based on a fairly old (almost 20 years!) attempt on building a little search suite.

todo

- show known urls
- show status infos per url (use timestamps etc.)

So funktioniert es

1. Crawler

consumiert eine pending_url

Holt die robots.txt

holt eine Seite (wenn er darf)

übergibt an parser (löscht pending_url)

2. Parser