Milujem curl

zas mi raz dalsi vsemocny linuxovy nastroj zachranil pr*el.

Co by ste robili, v pripade ze mate stiahnut produktove obrazky k stovkam produktov a dementi na zdrojovom portali nie su schopni dat dohromady akykolvek feed, pripadne ftp pristup, ci iny rozumny sposob ziskania obrazkov? Prva odpoved - parser - prilis zdlhave kvoli bordelu co maju na stranke.

Nastastie mali chalani v ukladani obrazkov zachovany urcitu logiku ktora sa dala zneuzit aj na moje ucely. Obrazky boli ukladane v jednoduchej logike /standardna_cesta/[ID_produktu][kod_farby]_[nahodne_cislo_0-9].jpg.

Potom stacilo iba makrom stiahnut vsetky potrebne linky obrazkov, parserom z tych liniek vytiahnut ID produktov a nasledne z liniek a ID produktov vygenerovat curl prikazy pre stiahnutie aj neexistujucich suborov (kvoli nahodnemu cislu 0-9 na konci nazvu suboru). Curl nastastie na serveri neexistujuce subory obskocil a nezostal na nich visiet. Odhadovana uspora casu voci manualnej robote niekolko desiatok hodin.

Aby mal tento blog aspon aku-taku pridanu hodnotu. Prikaz curl vyzeral nejak takto:

curl http://cesta_k_obrazkom/[ID_aj_s_farbou]_[0-9].jpg --create-dirs -o /cesta_pre_ulozenie/[ID_produktu]/[kod_farby]-[0-9].jpg

Chudak admin serveru ked si najde v logu niekolko tisic dopytov zo slovenska a bude sa snazit prist co za skiddie sa mu prechadzalo pred branami. Tak ma napada existuju nejake standardizovane postupy, pokial robim taketo hromadne dopyty, aby ma mylne admini neidentifikovali ako utocnika? Samozrejme v ramci slusnosti taketo veci robim vtedy, ked predpokladam nizku navsetvnost webu.