[es] - [Fikcija] Big(!) email sistem

B o j a n
eCTRL
EU

Član broj: 1178
Poruke: 2925
*.yubc.net

Jabber: bc@default.co.yu
Sajt: default.co.yu/~bc

+1 Profil

[Fikcija] Big(!) email sistem

^{09.06.2002. u 23:51 - pre 266 meseci}

Okej,
ovu temu sam zamislio kao izmišljeni zadatak, u vidu realizacije high load mail serverva, sa obavezno ( jednim ) hub-om, sa ciljem da se zaživi daemons forum.
Naravno problem je potpuno fikcijski, i nikakva žurba nije potrebna pri odgovaranju.
Idejno slična tema je na ovom linku

Daklem, pretpostavimo da je cilj server(i), koji će biti pod konstantnim opterećenjem hiljada tekućih e-mail poruka.

Konkretna pitanja:

1. Koji software izabrati ?
2. Potreban hardware ?
3. Tip čuvanja poruka. ( lokalni ili daljinski ) ?
4. DNS (MX) rekordi, gde i koliko ?
5. Kompletni mail serveri ili cluster varijante sa dummy leaf-ovima ?
6. Ukoliko se ide na cluster varijantu, broj nodova, uloge, load balance ?
7. Webmail ?
8. Komercijalni aspekti ?
9. Cena realizacije ?
10. Šta u slučaju multilinka, jednog ultra brzog -- a skupog, i jednog sporijeg -- a jeftinijeg ( flat )
11. Login definicije ?
12. Security ?

Ovo su trenutna pitanja, možda bude još ....

Većinski već imam neku viziju kako bi ovo trebalo izgledati, ali interesuje me kako ostali gledaju na ovako nešto ?

"It's okay, I'm just admiring to the shape of your skull!" -- Dr. Gonzo

Odgovor na temu

cRASH
Beograd

Član broj: 3378
Poruke: 39
217.26.67.*

Profil

Re: [Fikcija] Big(!) email sistem

^{21.07.2002. u 19:30 - pre 264 meseci}

pa zar nikog nema da kaze nesto o ovome ??
Bojane posto si rekao da vec imas neku viziju ovoga jel bih mogao da je napises :) mene interesuje
kako bi sve to izgledalo

Odgovor na temu

B o j a n
eCTRL
EU

Član broj: 1178
Poruke: 2925
*.yubc.net

Jabber: bc@default.co.yu
Sajt: default.co.yu/~bc

+1 Profil

Re: [Fikcija] Big(!) email sistem

^{22.07.2002. u 02:53 - pre 264 meseci}

Ima ima, samo ih mrze da pisu ... ajde ajde, ne budite lenji, nije to tesko osmisliti. Sacekajmo jos malo, mozda ima neko ...

"It's okay, I'm just admiring to the shape of your skull!" -- Dr. Gonzo

Odgovor na temu

B o j a n
eCTRL
EU

Član broj: 1178
Poruke: 2925
*.verat.net

Jabber: bc@default.co.yu
Sajt: default.co.yu/~bc

+1 Profil

Re: [Fikcija] Big(!) email sistem

^{25.08.2002. u 23:29 - pre 263 meseci}

Okej,

ja ću da opišem qmail-based varijantu. Znači, to mu dođe pod 1). Čak možda ukoliko se želi extremna centralizacija može se uzeti i qmail-ldap patch. Operativni sistemi mogu biti različiti. Evo uzmimo na primer BSD ( OpenBSD3.x+softdeps ) po leaf-ovima i Linux2.4 ( Rock1.6.x-stable+RFS ) na mail hub-u.

Hardware može/mogu u najgoroj varijanti da bude/budu P1 ( >200MHz ) za leaf-ove ( kasnije objašnjeno ) i jedan pomalo jači P3 ( 1 GHz ili dual sa po 2x550MHz ) sa veoma brzim diskom za centralni server, hub. Disk storage u ovom slučaju je veoma važan faktor. On mora biti veoma brz zbog načina skladištenja poruka kod qmail-a. Bilo koja varijanta SCSI dolazi u obzir, a 10000 rpm je podrazumevano. Ukoliko postoji velika briga za nedodirljivost korisnika čak se može /var/qmail/queue umnožavati preko RAID kontrolera na X mesta ( paranoia is your best friend ).
Leaf nodes i mail hub moraju biti povezani najmanje sa 100BaseT, dummy hub je uključiv ako i samo ako je dedicated za tu grupu hostova, bez uplinkova. To znači podrazumeva po 2 mrežne kartice u svakom računaru. Ispravne route su podrazumevane.
Količina memorije, u slučaju da se koriste stari pentiumi, bi trebala da bude maximalna, koliko god ploča to može da primi. Mail hub bi trebao da ima >=256 MB memorije.

"It's okay, I'm just admiring to the shape of your skull!" -- Dr. Gonzo

Odgovor na temu

MoHicAn

Član broj: 43
Poruke: 1893
*.yubc.net

Profil

Re: [Fikcija] Big(!) email sistem

^{26.08.2002. u 04:11 - pre 263 meseci}

Moram priznati da mi je malo nejasan taj koncept mail hub-a sa leaf-ovima i evo zasto.

Sta se time dobija ? smanjis opterecenje ulaza mailova tako sto ga rasporedis na vise hostova ali opet sve to se srucava mail hub-u e sad mozda to ide brze koristeci onaj qmail-ov alat zaboravih mu ime za smtproute ali opet da li je to vredno muke posto realno gledano ako host ima kapaciteta da od sebe posalje sve te poruke koje su leafovi primili onda ima valjda i da primi posto je to isto smtp protokol i opet naglasavam da mislim da maildir2maildir nije tolko brzi od doticnog.

Odgovor na temu

B o j a n
eCTRL
EU

Član broj: 1178
Poruke: 2925
*.verat.net

Jabber: bc@default.co.yu
Sajt: default.co.yu/~bc

+1 Profil

Re: [Fikcija] Big(!) email sistem

^{29.08.2002. u 20:14 - pre 263 meseci}

Poruke svakako moraju biti lokalno cuvane, format naravno -- ./Maildir/. Osim ako se zele izdaci za jos jedan host sa dedicated linkom prema hub-u. Ova druga varijanta ima jos par mana, pored cene, a to je upek potencijalna pretnja od prekida linka ( ljudski faktor ), ili eventualnog zaboda bilo koje od ta dva hosta ( marfijevi zakoni katastrofe ).

Jedan lokalni SCSI disk( mount point za /var/ ) na mail-hub hostu bi resio sve te problemcice.

DNS rekordi.
MX rekordi bi trebali da pointuju na mail-leaf satelite, kako vec da ih nazovemo. I to od najjaceg leaf-a pa do najslabijeg;
a.mx.profi-email.net - fastest.profi-email.net
b.mx.profi-email.net - faster.profi.email.net
c.mx.profi-email.net - fast.profi-email.net
d.mx.profi-email.net - slow-can.profi-email.net
... respektivno.

Ili mozda u bind-style tablici.
mx 5 fastest.profi-email.net
mx 5 faster.profi.email.net
mx 10 fast.profi-email.net
mx 15 slow-can.profi-email.net

I naravno, postaviti jedan smtp.profi-net ( RR ) rekord na sve gore-par-redova-nabrojane hostove, radi tasnparentnosti za end korisnike.
Broj hostova koji participiraju kao leaf-ovi je potpuno proizvoljan i sve zavisi od procesorske snage leaf-ova uzetih u obzir.

Jos nesto bitno reci, a sto ima veze sa dns-ovanjem ;) je da tcpserver koji se koristi kao wrapper za qmail-stmpd treba da se koristi sa -H parametrom sa kojim se izbegava dodatno opterecivanje sa dns look-up request-om. U nekom vrlo aktivnom radu to znaci, veoma, veoma mnogo.

"It's okay, I'm just admiring to the shape of your skull!" -- Dr. Gonzo

Odgovor na temu