naplenie iptables 364522 pravidlami

Sekcia: Konfigurácia 02.04.2008 | 01:37
Avatar zerxen Fedora,Debian, Slackware  Používateľ
Ma niekto skusenost s extremne velkymi iptabulkami pod linuxom ? Momentelne som si dal za ulohu, preniest ochranu PeerGuardiana { MoBlock } z jednotlivych PC po dome do linuxackej masiny, ktora funguje ako NAT router, a tak centralne chranit celu LAN. Spravil som si Bash skript ktory stiehol vsetky potrebne textove subory obsahujuce zoznami "zlych" ip adries, a naparsoval z toho do druheho skriptu ktory vytvoril druhy bash skript s pod sebov usporiadanymi prikazmi vlozenia do iptables:

example:
/sbin/iptable -t nat -A POSTROUTING -m iprange --dst-range <<NAPARSOVANA IP>> -j DROP
/sbin/iptable -t nat -A POSTROUTING -m iprange --dst-range <<NAPARSOVANA IP>> -j DROP
....

a mam teraz takto 364522 riadkov kodu co nieco vklada do iptables ... a cim to viac plni, tym to ide pomalsie { nie samotna filtracia, ale to vkladanie }
Z toho co som sa docital na nete tak iptables pouziva pri porovnavani hash tabulky takze s rychlostou zatial predpokladam ze po naplneni nebude problem { naplnil som ich zatial cca 70000 riadkami a ani rychlost ani pingy sa nezhorsili. } ale to vkladanie uz trva MOOOOC dlho, zacalo to tak ze vlozil cca 100 riadkov za sekundu a pri 60000 zazname uz vklada iba 1 za sekundu { najskor teda sposobene tym ze pri kazdom vlozeni si iptabulky asi prerabaju hast tabulku } ... touto rychlostou to nie je prakticke { linearnym spomalovanim skoncim za niekolko dni! }.. takze poradste :( . ako to tam narvem ?

PS: skusil som prepisat moj bash skript na C aplikaciu a vykonavat volania /sbin/iptables cez fork() a execlp() .. ale to bol uz pokus zo zufalstva
PS: tusim ze by sa snad dali binarne editovat subory do ktorych sa ukladaju iptable rules pri shutdowne systemu ... je toto dobra cesta? robil toto niekto ? S tymto neviem zacat
First they ignore you.. Then they laught at you... Then they fight you... Then you win. Ghandi
    • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 02:01
      WlaSaTy   Návštevník
      povolit vsetko a zakazat len 364522 zlych adries, nieco mi uniklo?
      deny all, allow secure - to je paranoja.
      • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 02:16
        Avatar zerxen Fedora,Debian, Slackware  Používateľ
        vidim ze nevies co je PeerGueardian/MoBlock ich komunity a dany zoznam IP adries. ;-)

        Je to zoznam zozbieranych IP adries, pre ktore je zname ze patria dajakej nie pre nasu bezpecnost a sukromie nevhodnej entite. { NSA,CIA,RIAA,MPAA,Microsoft,spyware/adware servery, agresivne reklamy a IP z ktorych sa casto siri spam }. A komunita ludi sa uz dlhodobejsie snazi vytvarat a udrziavat velmi rozsiahli zoznam tychto IP. Takze o to co sa tu snazim je nadstavba nad klasicke fungovanie Firewalu.

        V skratke :
        1) Moj Firewall ma robit to same ako kazdy iny firawall pre LAN, blokovat vsetko pristup z vonka { az na par vybratych portov }
        2) { toto je to co schcem pridat } Zablokovat { DROPnut } vsetky pakety ktore by chceli ist z/do IP z tohoto velmi rozsiahleho zoznamu.
        First they ignore you.. Then they laught at you... Then they fight you... Then you win. Ghandi
        • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 02:29
          WlaSaTy   Návštevník
          uhadol si, neviem co to je ale vdaka za info.

          ak ja osobne potrebujem mat chraneny komp, tak z neho vyhodim vsetky nepotrebne sluzby. ak ho chcem mat chraneny lepsie, tak si nan povolim pristup len z urcitych adries a portov. a tej komunity sa opytaj ci si vazne myslia ze NSA,CIA,RIAA,MPAA,Microsoft nevedia pouzit iny rozsah IP a kolko percent klientskych pocitacov co su priamo napojene na net je sucastou botnetu. myslim ze tie dve odpovede podfarbia snazenie.

          posli mi tie subory s ipkami na icq.

          ps.: to co pouzivam ja osobne sa asi nezlucuje s niektorymi typmi distribucie po p2p.
          • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 03:00
            Avatar zerxen Fedora,Debian, Slackware  Používateľ
            Ja nejdem chranit komp!, ten si uchranim sam ;-) , toto ide o blocklis adreis s ktorymi proste pre vlastne sukromie nechcem mat nic do cinenia, hlavne ak dajaky zavideny komp tu na LAN zacne vysielat sracky, kto-vie-kde do netu.

            K tvojim pripomienkam:
            A) Ano technicky su mozne ze si ich zmenia, ale nie je to take caste, hlavne s ubudajucou sa zasobou IPv4 a pri dennych updatoch tych zoznamov je stale mensia sanca ze to prave ty schytas.
            B) Tie zoznami su dost rozsiahle a btw .. to nie je 364522 IP adries ale 364522 IP rozsahov ;) takze tych IP je tam pozehnane, na jedno zvucnejsie meno { ratal som tusim Cisco Systems } pripadne par tisic.
            C) Este raz opakujem ze nejde o ochranu systemu ako takeho, skor o sukromie a zabranenie nahodneho spojenia/preniknutia udajou pri nahodnom pouzivani roznych internetovych vymozenosti k nevhodnym entitam. Take votrenie sa do torrentov dajakej MPAA ked seedujem linuxy alebo taham knihy teda nemusim,a potom o odposielanie udajov zo spyware-friendly windows PC tu na lokalke von do netu by som tiez mal aspon o nieco viac pokoj.
            D) icq nemam, use wget | gunzip
            First they ignore you.. Then they laught at you... Then they fight you... Then you win. Ghandi
            • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 12:03
              lieko   Návštevník
              si uplne mimo. keby si sa nad tym zamyslel, tak ti dojde ze zakazovat pristup z 364522 rozsahov je sprostost
              • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 12:31
                WlaSaTy   Návštevník
                presne tak, medzi ochranou sukromia a ochranou kompu (udajov) neexistuje rozdiel. vsetko spada pod security i ked tento uhol pohladu je len jej mensou castou.

                PS.: tie zoznamy sa vytvaraju asi len pre falosny pocit. nieco ako keby som si ja sam mapoval pokrytie dopravnych liniek samotnymi vodicmi pretoze niektory z nich divoko brzdia v zakrutach a necakaju kym clovek dobehne od obchodu do dostavniku.
                • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 20:47
                  Avatar zerxen Fedora,Debian, Slackware  Používateľ
                  ee chlapci ... kto povedal ze zakazujem pristup z tychto IP ku mne? Ku mne je zakazane vsecko okrem ssh portu { do coho teda spadaju aj tieto IP :-D }. Tieto IP rozsahy su zakazane smerom VON! Teda zakazujem aby sa moje LAN kompy pripajali na niektoru z tychto adries ;-) .. uz citite rozdiel ?

                  Example vyuzitia : Ste na torrentoch a na tracker { do swarmu } sa pripoji "media defender" tak predsa mu neumoznim aby so mnou zdielal alebo dostal z mojho klienta info o mne ;). Preto zakazem vsetky pakety smerom do netu iduce na takuto "zlu" IP.
                  First they ignore you.. Then they laught at you... Then they fight you... Then you win. Ghandi
                  • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 21:10
                    WlaSaTy   Návštevník
                    :uz citite rozdiel ?
                    ja osobne nie. bezpecnost nepozna vynimky, bezpecnost pozna pravidla.

                    :Example vyuzitia : Ste na torrentoch a na tracker
                    ano, p2p som spominal. ak pouzivas nejakeho inteligentneho klienta, tak ten to ma v sebe a nemusis sa trapit s dynamicky meniacimi sa nepotrebnymi zoznamami.

                    :lebo dostal z mojho klienta info o mne ;)
                    tvoj optimizmus by som chcel mat. ak tie spolocnosti chcu zrovna o tebe zistit ze mas linux, tak si to zistia. ak sa bojis ze na teba prijdu pri zdielani (pozor nie pri stahovani) chraneneho obsahu, tak taketo nieco ti poskytne skutocne len falosny pocit bezpecia.

                    ale ak chces verit niecomu co je v svojej podstate nedokonale a odsudene na nefunkcionalitu, ja ti vieru brat nebudem. zijeme predsa v katolicistane a viera zakladom statneho zriadenia, uz ju aj povinne vyucuju na skolach.
                    • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 22:01
                      Avatar zerxen Fedora,Debian, Slackware  Používateľ
                      Mno, .. nastastie tie technicke pdf knihy co tak stahujem nie su "big bite" pre media defenderov.. takze to beriem tak skor do poctu.. a o nabozestve tu radsej neofftopikujem, lebo to zase dopadne. { na tento flame nemam naladu }

                      Mozme sa vratit teda k tomuto?
                      A) Nie je to vobec silna bezpecnost .. ale moze teoreticky pri pravidelnom update tych IP listoch niekde pomoct { napr spam }
                      B) Neviem aj tak ako robit takto velke iptables .. viete niekto dajaky napad ako to spravit ? Ci to je k niecomu dobre zhodnotime az ked to bude, co poviete ? ;-)
                      First they ignore you.. Then they laught at you... Then they fight you... Then you win. Ghandi
                      • Re: naplenie iptables 364522 pravidlami 03.04.2008 | 00:42
                        Avatar Samuel BWPOW Kupka Almalinux, OpenWRT  Používateľ
                        Ak to velmi potrebujes, tak nie je az taky problem napisat si dalsi modul pre iptables (ak taky uz neexistuje). Ak si pozries dokumentaciu, tak zistis, ze moduly sa pisu fakt dost jednoducho. Tento by napriklad mohol rozsirovat matching a fungoval by tak, ze pri zavedeni pravidla by nacital zoznam rozsahov zo suboru, ktory by bol zadany ako parameter, nasledne tento rozsah spracoval do podoby, v ktorej sa da rychlo vyhladavat (bud ako strom [napr trie] alebo obycajne usortene pole) a potom vzdy pri zavolani matchingu skusit najst, ci je dana IP adresa z nejakeho z rozsahov. To by malo na mensom pocte zaznamov (niekolko milionov) fungovat naozaj velmi rychlo (jednotky az desiatky porovnani).

                        Za primeranu odmenu som to ochotny naprogramovat (1200,- Sk bez DPH za hod., odhadovany cas 6 hodin vratane dokumentacie a testovania).
                        Strach dát najevo své pocity a zjednat si u druhých respekt je jedním z problémů civilizovaného člověka, který se naučil zpochybňovat svou vlastní pravdu pro zdání objektivity
                        • Re: naplenie iptables 364522 pravidlami 03.04.2008 | 00:44
                          Avatar uid0 Debian  Používateľ
                          hehe, kujon
                          Debian. apt-get into it…
                        • Re: naplenie iptables 364522 pravidlami 03.04.2008 | 12:34
                          Avatar zerxen Fedora,Debian, Slackware  Používateľ
                          Wow, brigadku by si chcel co ? :D. Takze A) Robim toto ako hobby a na pozdvihnutie vlastnych skillov. B) Som clen "chudobnej" studujucej mladeze takze toto je navrh "mimo".

                          K rieseniu asi tolko ze ten modul je pekna myslienka, ale neviem naco by mal byt potrebny kezde iptabulky zatial sami o sebe to stihaju { len to naplenie je strasne }, dnes rano ten skript presiel hranicu ~100k ip rozsahov { skript bezi teraz 14hodin cisteho casu }, a na experimentalnej pentiumII 400Mhz, 128MB Ram pri NAT-ovani 3-ch PC rychlost ani pingy neklesli. Takze potrebujem system ako naplnit tie tabulky rychlejsie, nepotrebujem vlastny filter. Takze skor kuknem dokumentaciu po strukture soborov v ktorych si iptables odkladaju obsah pri reboote a editnem tie.

                          AJ ked to vidim az tak ze az po letnom semestri :). Zatial sa to v tom routriku pomalicky loaduje, tak som zvedavy ako to dopadne :)
                          First they ignore you.. Then they laught at you... Then they fight you... Then you win. Ghandi
                          • Re: naplenie iptables 364522 pravidlami 03.04.2008 | 17:20
                            lieko   Návštevník
                            sa ti to teraz naplni za tyzden a potom vypadne doma elektrina a bude sa to loadovat odznova :)
                            • Re: naplenie iptables 364522 pravidlami 03.04.2008 | 22:40
                              Avatar zerxen Fedora,Debian, Slackware  Používateľ
                              To zase nie, kedze uz naplnene tabulky sa daju savnut ... a to je "ich" dajaky save file ktory uz drzi aj tu ich hash tabulku takze to uz je lahko obnovitelne.
                              Vidim to ale tak ze ten file odteraz chodi aj na zalohy :) { BTW, toto je vlastne ten subor ktory by som chcel vediet editovat }

                              .. a nakodil som si uz skript ktory robi updaty tychto velkych iptables, a to tak ze stiahne nove zoznami, najde len zmeny a len upravi, takze pri updatoch to vobec nemusi trvat dlho.
                              First they ignore you.. Then they laught at you... Then they fight you... Then you win. Ghandi
      • Re: naplenie iptables 364522 pravidlami 02.04.2008 | 02:19
        Avatar zerxen Fedora,Debian, Slackware  Používateľ
        este dodavam ze v tych textakoch su aj popisy tych entit, keby niekto nevedel a chce mrknut:

        wget http://www.bluetack.co.uk/config/ads-trackers-and-bad-pr0n.gz
        wget http://www.bluetack.co.uk/config/bogon.gz
        wget http://www.bluetack.co.uk/config/dshield.gz
        wget http://www.bluetack.co.uk/config/edu.gz
        wget http://www.bluetack.co.uk/config/hijacked.gz
        wget http://www.bluetack.co.uk/config/iana-multicast.gz
        wget http://www.bluetack.co.uk/config/iana-private.gz
        wget http://www.bluetack.co.uk/config/iana-reserved.gz
        wget http://www.bluetack.co.uk/config/level1.gz
        wget http://www.bluetack.co.uk/config/level2.gz
        wget http://www.bluetack.co.uk/config/level3.gz
        wget http://www.bluetack.co.uk/config/Microsoft.gz
        wget http://www.bluetack.co.uk/config/rangetest.gz
        wget http://www.bluetack.co.uk/config/spider.gz
        wget http://www.bluetack.co.uk/config/spyware.gz
        wget http://www.bluetack.co.uk/config/templist.gz
        wget http://www.bluetack.co.uk/config/trojan.gz
        First they ignore you.. Then they laught at you... Then they fight you... Then you win. Ghandi