Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Praćenje logova. Neki software?

[es] :: Linux/UNIX serveri i servisi :: Praćenje logova. Neki software?
(TOP topic, by maksvel)

[ Pregleda: 25898 | Odgovora: 19 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Praćenje logova. Neki software?04.05.2016. u 17:44 - pre 96 meseci
Koristite li vi neki software da pregledate sve logove, ili rucno idete po serveru i otvarate jedan po jedan?
Da li logove gledate samo kad naidju problemi, ili vam je praksa da svakodnevno obidjete i proverite sta se desava na serveru?

Postoji li neki software koji moze da mi spakuje sve logove na jedno mesto i da mi olaksa pregled?

Tacnije, sigurno da postoji i guglao sam i medju prvim rezultatima sam dobio ovo
http://pimpmylog.com/

Kakva je vasa praksa sa pracenjem logova?

Pricam o hosting serveru i svim logovima vezanim za takav server.
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Praćenje logova. Neki software?04.05.2016. u 19:11 - pre 96 meseci
Imas logwatch, za pocetak.

Za malo bolje rezultate imas logstash, na primer, koji utrpas u elasticsearch, pa onda na to nabacis kibana-u kao dashboard i iz nje pravis pregled i criticala i svega.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
87.116.191.*



+638 Profil

icon Re: Praćenje logova. Neki software?04.05.2016. u 22:55 - pre 96 meseci
Citat:
Da li logove gledate samo kad naidju problemi, ili vam je praksa da svakodnevno obidjete i proverite sta se desava na serveru?


Pametnije je napraviti dobar monitoring, koji te obavesti na vreme kad nesto nije u redu.

A logove treba pratiti svakako.
 
Odgovor na temu

Miroslav Strugarevic

Član broj: 5038
Poruke: 2689



+68 Profil

icon Re: Praćenje logova. Neki software?04.05.2016. u 23:48 - pre 96 meseci
Dobro je pitanje samo je tesko napisati kompletan odgovor :)

Ja bih instalirao i podesio neki monitoring alat (tipa Zabbix) koji bi radio iscrtavanje grafikona za servise koje vrtis. Na osnovu grafikona i njihovog ponasanja (trenda) ti mozes napraviti alarme koji ce da okidaju odredjenu aktivnost. Tipa poslace ti email i uradite nesto jos na serveru kako bi pokusali da isprave problem (tipa restart servisa).

Ako hoces da parsiras logove i da trazis odredeni string onda to i nema puno smisla posto ces stabilnost sistema pratiti direktno preko grafikona, tipa ako ti za Apache web server drasticno padne metrika za broj HTTP requestova po sekundi onda mozes znati da nesto nije uredu. Onda kreces sa istragom i gledas logove na primer.

Ja bih takodje koristio auditd na Linux kao alat koji bi radio security monitoring tipa (koji korisnik je pristupio kom fajlu, monitoring sistemskih poziva, detekcija process crasha i jos brdo stvari). Ovo bi bilo dovoljno za neki security monitoring samog sistema.

Naravno hardening sistema moras uraditi sam i moras postaviti best practices koji ce ti pomoci da ti sistem bude sto sigurniji po default-u. Ovo se kombinuje sa obaveznim patchiranjem sistema.

Kao alternativa kojia je daleko jednostavnija za podesvanja i nema toliko opcija ja bih preporucio Monit i Munin.

P.S. Da ne bude zabune, ovo sto je @nkrgovic rekao je super predlog koji ti omogucava analiziranje, pregled i iscrtavanje grafikona za sve i svasta samo je malo teze za podesiti, rekao bih :)




[Ovu poruku je menjao Miroslav Strugarevic dana 05.05.2016. u 01:19 GMT+1]
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Praćenje logova. Neki software?05.05.2016. u 08:59 - pre 96 meseci
Hvala :).
Nisam postavio ni najjasnije pitanje.

Hocu da ispostujem neke prakse koje rade pravi administratori...

Ogroman mi je problem sto se nisam zaposlio negde gde imam nekog seniora od koga mogu da "prepisem" i da vidim kako se uopste radi i na sta treba da se pazi.
Pa ovako upadam iz problema u problem i pokusavam da ih resim... Umesto da preventujem desavanje tih problema... (to je system hardening? :) )


Dakle, monitoring je nesto drugo. Ja sam kapirao da je monitoring pracenje logova.

Izguglao sam ovo sto nkgrgovic kaze za elasticsearch, kibana, i logstash, samo sam podigao obrve i uzdahnuo.... i vratio se na logwatch.

Za pocetak mi je potrebno bas auditd.
Nadam se da ce mi on pomoci sa resavanjem problema koji mi se jos uvek desava sa nekim malware na jednom serveru.

A sad cu da vidim sta je Zabbix, Monit i Munin :)
 
Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
87.116.191.*



+638 Profil

icon Re: Praćenje logova. Neki software?05.05.2016. u 14:19 - pre 96 meseci
To su alati koji, obicno preko SNMP-a, "vade" razne vrednosti tipa cpu load, memory free... i od toga crtaju grafikone i prikazuju na npr dnevnom, nedeljnom i mesecnom nivou. Takodje ako neki parametar "iskoci" mogu da alarmiraju na razne nacine tipa putem mejla.

Naprednije varijante obuhvataju pracenje samih servisa npr. da li je neki port otvoren tj. dostupan, broj konekcija, status procesa... razne varijante u zavinosti od toga sta ti treba. I dalje je na osnovu tog statusa moguce okidanje skripti za pokusaj "auto recovery-ja" itd - dajem ti ideju sta je sve moguce.

Ali postoje i razlike izmedju tih alata. Npr neki su za bas za crtanje grafikona kakav je npr Cacti, dok su drugi vise za "real-time" pracenje i alarmiranje kakav je Nagios. Neki od njih mogu pak obe stvari. Nagios je prilicno "industry standard", i njegovi forkovi.
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Praćenje logova. Neki software?05.05.2016. u 20:02 - pre 96 meseci
Nikola ima gadnu naviku da odgovara na postavljenja pitanja... :) Ti nisi trazio alat za monitoring, ti si trazio alat za pracenje logova.

Topla preporuka, knjiga "Unix for dummies". Ima poglavlje o tome kako postavljati pitanja. :D

Da kratko odgovorim: Za pracenje sistema SNMP + Cacti. Relativno se lako podesava.

Za detaljno pracenje, plus alerting, standard je Nagios, Zabbix je odlican. Drzi se ta dva. Razlika je sto Cacti koristi SNMP, sto je standardni protokol, a ova dva traze svoje agente instalirane na masini koja se prati.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
87.116.191.*



+638 Profil

icon Re: Praćenje logova. Neki software?05.05.2016. u 20:08 - pre 96 meseci
I nagios moze da izvuce preko snmp-a sta god treba.
 
Odgovor na temu

Miroslav Strugarevic

Član broj: 5038
Poruke: 2689



+68 Profil

icon Re: Praćenje logova. Neki software?05.05.2016. u 21:45 - pre 96 meseci
Pozdrav,

CoyoteKG@ ti postavljas pitanja onako kako najbolje znas a posto si pocetnik nije cudno da ne znas kako da ih postavis da budu skroz jasna :)

Sva pitanja koja postavljas su legitimna samo je problem sto ne ides redom. Pretpostavljam da radis negde kao sys admin u nekoj hosting kompaniji (nije bitno gde!) i sad ne znas kako da krenes. Problemi sa malware-om i ostale gluposti koje si imao NE MOGU da se rese kako ti mislis. Ako ti je sistem zarazen, bice tako sve dok ne uradis fresh instalaciju i ne vratis fajlove iz backup-a. Ne kazem da ovo treba da radis vec samo dajem savet.

Sto se tice prvog pitanja ti koliko sam skapirao izmedju redova (to mi je profesionalna deformacija posto moram da citam korisnicima misli ponekad :D) da ti hoces da ubacis neki monitoring kako bi bio siguran da sve radi kako treba i da je sve sigurno.

Ovo sto ti je predlozeno je nesto od brdo opcija koje postoje i definitivno treba dobro da razmislis sta hoces, kako hoces da bi napravio plan i naucio sve to pre nego sto prebacis u prod.

Auditd ti nece pomoci oko malware-a (ali hoce oko drugih bitnih security stvari) posto je ocigledno neko nasao propust u nekom sajtu tvog korisnika ili je neki drugi servis bio pogresno konfigurisan (i bez update-a) pa su tako infiltrirali te gluposti.

Svaki servis ima posebna pravila i best practices za hardening (tj ucvrscivanje sgurnosti) i ti moras da procitas hardening dokumentaciju za SVAKI servis ponaosob kako bi sve to podesio kako treba.

Primer: Apache server u hosting okruzenju mora imati (ovo je samo primer, ne kazem da samo ovo moras uraditi):

1) redovne OS updejte (security ako nista drugo) - jako bitno!
2) pravilnu konfiguraciju
3) ako je PHP u pitanju, ugasene sve "insecure" funkcije i podesene limite itd...
4) apache treba da se pokrece sa suphp-om (ili nekim drugom modulom) kako bi svaki VHOST (user) vrteo svoje sajtove pod unikatnim userom. Tako da ako ti neko hakuje masinu ne moze da dobije apache user privilegije i da ti zarazi sve sajtove. ovako ce samo taj jedan sajt (user) biti zarazen.
5) mod_security na primer kao Web Application Firwall i jos mnoooogo stvari
6) takodje MORAS imati backup strategiju i proceduru za vracanje (i testiranje validnosti backupa) kako bi mogao da izbuces sebe iz problema ako dodje do nekih gluposti.
7) jos x stvari koje ne znam :D

Primer: znaj da gasenje ili skrivanje Apache verzije nece pomoci oko security-a i nemoj da gledas 3rd party sajtove nego official pages ili neke dobro poznate stranice. Kao primer: https://httpd.apache.org/docs/2.4/misc/security_tips.html (jedan deo ove price mozes videti ovde).

Sto se tice knjiga, ako hoces (a trebalo bi) procitaj How Linux Works: What Every Superuser Should Know da naucis OSNOVE. Onda kreni dalje sa drugim servisima/topicima.

Nadam se da je ovo bilo jasno. Ako jos nesto treba, napisi pitanje da bude sto precizicnije i valjda ces dobiti pomoc od nekoga :)

Srecno!

 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Praćenje logova. Neki software?06.05.2016. u 06:46 - pre 96 meseci
Moja, kratka dopuna:

1) Generalno shared hosting sucks. Mnogo elegantije resenje je ne izdvajati usere uz suphp i slicne brljotine, vec izdvajati to u odvojene kontejnere / virtuelne masine. LXC je zreo projekat, koji je lightweight i mnogo je bolje resenje za izolaciju. Em ce ti useri biti srecniji, em ce tebi zivot biti laksi.

2) Ako radis security hardening mnogo je zgodno da dodas i neki host-based IDS. Ja znam samo za OS Sec da nesto valja, pa prepoucujem njega. Vredi dodati i tripwire. Ovo nisu recepti za ciscenje (to je, realno, glupost), ali jesu za detekciju.

3) Najlakse resenje za vracanje na stanje pre upada, posebno u sistemu gde imas npr. LXC su snapshots. :D

4) Ja volim mod_security, ali zna da bude naporan. Ako moze, sjajno! U svakom slucaju obavezno dodati i mandatori access control, odlican je da spreci privilege escalation. Ja godinama koristim SELinux, trazi malo da se podesi, ali vredi.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
87.116.191.*



+638 Profil

icon Re: Praćenje logova. Neki software?06.05.2016. u 11:29 - pre 96 meseci
PHP-FPM vise i ne koristi suphp, vec ima one pool-ove gde podesis pod kojim userom se izvrsava sve sto se prosledi tom pool-u. To je donekle i problem sa FPM-om, sto za svakog usera imas zaseban pool.

Za LXC se slazem, ispod neka virtualizacija pa preko npr Kubernetes kao orkerstrator.
 
Odgovor na temu

maksvel

Moderator
Član broj: 107376
Poruke: 2417

Jabber: maksvel
Sajt: maksvel.in.rs


+161 Profil

icon Re: Praćenje logova. Neki software?06.05.2016. u 12:30 - pre 96 meseci
Kapiram da će Kojot za početak uzeti nešto osnovno, ali nastavite vi, da naučimo još. Mislim da ću i da topujem ovo

BTW, mod_security i seLinux mora da se lepo naštimuje, ja još uvek nisam izdvojio vremena da se pozabavim sa tim :(
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Praćenje logova. Neki software?06.05.2016. u 14:54 - pre 96 meseci
meni totalno nije jasno... kad u recenici od 15 reci pola moram da guglam sta znace :).
Ali svakako da cu da krenem sa necim sto je najlakse konfigurisati. Sad samo da vidim sta.

:)
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Praćenje logova. Neki software?06.05.2016. u 19:20 - pre 96 meseci
Cacti. :) On je definitivno najlaksi.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
87.116.191.*



+638 Profil

icon Re: Praćenje logova. Neki software?06.05.2016. u 20:01 - pre 96 meseci
Kod hostinga osnovno sto treba paziti je DDoS i SPAM. Obe stvari se lagano vide u logovima. Narocito na ne klasicni DDoS kada pronadju nacin da sa malim brojem request-ova zaguse httpd, kao sto je bio onaj napad preko "half-open" http konekcija (slowloris ilil kako se zvase vec alat). SPAM je problem kod busnih sajtova, pa injektuju skripte putem kojih salju mejlove, ili skripte za reverzni shell koje se kace na njihove servere i na taj nacin dobiju shell na serveru (ali sa userom koji je postavljen kao owner fajlova). Cesto su kod shared hostinga dozvole config fajlola Wordpress-a, Joomla-e i drugih CMS-ova lose, zato sto ih korisnici sami menjaju i ne postave dozvole dobro, i onda putem skripte pokusaju da "pogode" putanje konfig fajlova ostalih sajtova na serveru i naprave symlink do njih i tako ih procitaju.

Sto se tice mod_security-ja osim sto sam instalirao OWASP pravila ne secam se da sam nesto specijalno podesavao. Osim mozda sto je jednom bio "false positive", pa sam morao u vhost-u da iskljucim mod_security.

edit:

Sto se tice kontejnera (LXC, Docker...) to je definitivno sledece tj. bliska buducnost ili vec sadasnjost hostinga. Hosting nema smisla vise raditi na standardni nacin tj. obicno hostovanje sajtova pravljenih u standardnim CMS-ovim. Vidim svako malo se pojavi neko radi hosting. Podigne Ubuntu i LAMP i gotovo, zavrsen posao. Nemam nista protiv ali toliki broj takvih firmi vec postoji da stvarno vise nema smisla pocinjati jos jednu. Bolji nacin je odmah ici na neka PaaS i SaaS resenja, hostovanje softvera/aplikacija i sl. Kontejneri su dusu dali za to pa su verovatno zato brzo i postali toliko popularni.
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Praćenje logova. Neki software?06.05.2016. u 21:07 - pre 96 meseci
E, da ne bude zabune, vidim da se par puta ovde pomeunlo da ovde gde radim, da radim za hosting kompaniju :).
Daleko od toga... jadna bi bila ta hosting kompanija kad bih im ja bio jedini administrator :)

Vec sam u nekoj drugoj temi na madzone pisao o tome kakav mi je posao.
Dakle, programerska firma od desetak radnika plus neki frilenseri koji se angazuju po projektima.
Kojoj je prioritet konstatno razvijanje DMS. Imamo i neki search alat, i jos 7-8 produkata na kojima se konstantno radi.

Sekundarno su web aplikacije, shopovi, korporacijski sajtovi...
Vecina toga je kod neke host kompanije, ali pored toga imamo 2 dedicated servera kod hetznera.
Na jednom imamo u produkciji jedan nama bitan magento shop i nekoliko "projekata" u dev fazi.
Uglavnom sta predje iz dev u produkciju, prebacimo ga na neki hosting...
Drugi je neka backup varijanta, i tu hostujemo neke manje bitne nase stvari. To je onaj gde me muci spam :).


 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Praćenje logova. Neki software?16.07.2018. u 22:18 - pre 69 meseci
Jeste li koristili Check_MK?
 
Odgovor na temu

mali_od_palube
Misa Grujic
Novi Sad

Član broj: 101386
Poruke: 32
212.152.230.*



+5 Profil

icon Re: Praćenje logova. Neki software?30.08.2018. u 14:57 - pre 67 meseci
Meine takođe zanimaju aktuelna iskustva software-a za nadgledanje. U postu ispod je opisan prelazak sa zabbix-a na check_mk:

https://paulgraydon.co.uk/post...oving-from-zabbix-to-check-mk/

U međuvremenu sam video da su check_mk sajt malo nabildovali ove godine i čini mi se da je dokumentacija bolje sređena. Takođe mi je check_mk toplo preporučio lead sys. admin jednog od vodećih operatera u Rumuniji (oni ga koriste za svoju infrastrukturu).

 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Praćenje logova. Neki software?06.03.2019. u 11:26 - pre 61 meseci
Počeo sam malo da se zezam sa ELK.
Podesio za neke filebeat za analizu logova, ali iskoristio priliku pa instalirao i metricbeat i heartbeat.
E sad bih voleo da namestim alert-e za metrike kad ostvare neki threshold, ili ako je monitor.status down

Ne nalazim kako to da uradim, osim X-Pack Watcher koji koliko vidim košta.
Može li to nekako besplatno?
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Praćenje logova. Neki software?06.03.2019. u 19:34 - pre 61 meseci
Izgleda postoji neki ElastAlert
https://elastalert.readthedocs.io/en/latest/

Guglao danas nisam mogao da nadjem nista osim pack, uradise dobar seo sa x-pack :)
I tek sad kad sam se spremao da postavim pitanje na stackoverflow njihov search mi odmah pokazao ovo :)
 
Odgovor na temu

[es] :: Linux/UNIX serveri i servisi :: Praćenje logova. Neki software?
(TOP topic, by maksvel)

[ Pregleda: 25898 | Odgovora: 19 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.