Web scraping a datové pipeline

Pravidelný sběr, čištění a nahrávání dat z jakéhokoli zdroje.
01 / Co je v ceně
  1. 01Scrapery, které zvládnou změny na webu
  2. 02Čištění a odstranění duplicit
  3. 03Plánované běhy a upozornění
  4. 04Doručení do vaší databáze nebo tabulek
02 / Průběh
  1. Krok 01PorozuměníNež napíšeme první řádek, poznáme vaše podnikání, uživatele a omezení.
  2. Krok 02NávrhToky, rozhraní a architekturu odsouhlasíme na papíře, aby vás později nic nepřekvapilo.
  3. Krok 03VývojKrátké cykly, funkční software každý týden a kód, který se dá opravdu číst.
  4. Krok 04ProvozNasazení, monitoring a údržba. Po spuštění zůstáváme.
03 / Související

Další v oboru Data a automatizace