[es] - Linux mail cluster - koji hardware?

Dundjerski Nemanja
Srbija

Član broj: 13846
Poruke: 167
*.eunet.yu.

Profil

^{05.01.2008. u 23:09 - pre 198 meseci}

Kakav biste hardware koristili za mail sistem koji bi morao da obradi ~100.000 mejlova dnevno. Sastavljen PC (posto danas postoje 64-bit CPU sa vise jezgara) ili neki brendirani (IBM, HP...)? Koji SCSI i RAID kontroler? Koliko masina u klasteru, i koji software za klastering, HA i HP?

Unices are great!

Odgovor na temu

Chipa
AttilaCorp
Subotica

Član broj: 164183
Poruke: 52
212.200.215.*

Profil

Re: Linux mail cluster - koji hardware?

^{06.01.2008. u 01:41 - pre 198 meseci}

100K mailova dnevno moze da obradi i najprosecnija desktop masina (to ti je grubo jedan mail u sekundi), tako da ti za toliko ne treba klaster (ja licno imam jedan bajati X2 3800+ koji salje 200-300K mailova dnevno). Preporuka je neka pristojna core2 masina (low end xeon) ili ako mozes da nadjes povoljno neki opteron. Zali boze pare na SCSI diskove, stavi pristojan pci-E RAID SAS kontroler (najbolje 3ware 9650SE ili LSI 8x08) i par SATA diskova u koje imas poverenja (makar su diskovi svakako potrosna roba). Ako smognes sredstva, naravno da je najbolje uzeti 'proverena' serverska resenja - najskuplji je uvek onaj poslednji procenat do 100% uptime-a, pogotovo ako masina udaljena. Ako ti i zatreba klastering, tu oko pola miliona do milion mailova, mail je najjednostavniji - ne treba nikakav poseban HA/HP softver, samo uzmes fileserver koji drzi sve mail-ove i dodajes nodove koji mount-uju mail queue-ove i vozi Misko.

Licni RSS agregator vesti po temama - http://www.stavredi.com

Odgovor na temu

Miroslav Strugarevic

Član broj: 5038
Poruke: 2689

+68 Profil

Re: Linux mail cluster - koji hardware?

^{06.01.2008. u 17:27 - pre 198 meseci}

Možda je najbolje napraviti neki Load Balancing cluster koji će se sastojati od dva redudantna LVS rutera + 2 ili više mail servera. Ja bih najpre išao na varijantu RedHat Cluster (Piranha) zbog solidnog alata za podešavanje i podrške od strane RedHat-a. Možeš koristiti i CentOS bez podrške naravno mnogo jeftinije nekih 700e je samo Cluster Suite. Druga solucija je Heartbeat + ldirector koji je za nijansu teži za podešavanje ali je takođe kvalitetan možda čak i bolji od RedHat-a, ali je dokumentacija krš. Trebaće ti storage ili barem neki Linux NAS koji će da radi kao "storage".

p.s. Ako je taj mail server mission critical onda je najbolje (odnos cena/kvalitet) da uzmeš HP ProLiant servere kao i neki manji HP EVA storage. Da te ne boli glava od kineza :)

Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..

+655 Profil

Re: Linux mail cluster - koji hardware?

^{06.01.2008. u 18:10 - pre 198 meseci}

Prvo, ako ti je u pitanju samo load, onda se ne brini puno - cluster ti stvarno ne treba. Uzmi neki entry-level HP ProLiant ML, ili neki Sun ili HP rack server (kako ga vec pakujes), cisto da se ne brines, napravi RAID diskova (na HP-u integrisani RAID, na Sun-u softverski), dodaj traku i ne beri brigu. 100K mailova je nista.

Ako ti je bitna pouzdanost, onda nam objasni kakav je mail server u pitanju: imas POP, IMAP ili samo SMTP? Kako radis autentifikaciju (na samom serveru ili centralizovano)? Koliko ti je link redundantan i imas li potrebe za 100% uptime-om? Pravi cluster je relativno skup, trebace ti par servera + storage + softver (moze i besplatan, ali ima posla), plus ako je u pitanju SMTP nema nikakve poente ako nemas dva linka i svoj BGP ASN. Skup hobi. Da li ti je mozda ipak dovoljno da ti ISP ponudi da kod njega stoji MX 20 record, kao sto vecina rado hoce?

Ako imas para i redundantan link, javi tacno sta ti treba i koja pouzdanost, pa ces dobiti i konkretan savet... Miroslav je fino poceo.

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Odgovor na temu

Dundjerski Nemanja
Srbija

Član broj: 13846
Poruke: 167
*.eunet.yu.

Profil

Re: Linux mail cluster - koji hardware?

^{06.01.2008. u 20:57 - pre 198 meseci}

Svestan sam da 100K mejlova nije nikakav problem kod opterecenja, ali me interesuje visoka dostupnost sistema. U pitanju jeste mission critical mail sistem omanjeg ISP-a koji mora biti pouzdan i dostupan, mora podrzavati virtuelne domene i korisnike. Autentifikacija bi se radila u centralnoj MySQL bazi za sve daemon-e (smtp, pop3, imap, web).

Miroslave, kada kazes LVS ruter mislis na Linux Virtual Server nod? Da li bi mogao detaljnije da opises resenje? Nikola posto je u pitanju ISP, verujem da imaju redundantni link, a sta je BGP ASN?

Da li treba da mislim na jos neke stvari? Pada mi na pamet tacno vreme za mail sistem - NTP clock sync, zatim syslogd (koliko utice na performanse s` obzirom da upisuje podatke na disk, kako optimizovati - preko asinhronog upisivanja?), kako rotirati logove (dnevno, 30 dana, kompresija), logove i bazu podataka na posebnu masinu/diskove, iskljucenje nepotrebnih servisa, noatime za particije (performanse)... Sigurnost? Zabrana ping-a. Chroot?

Softverski deo (postfix, courier, mysql, sasl, content checking, i ostalo...) bih odradio. Zahvaljujem se na odgovorima, prilicno mi znace posto nemam iskustva u segmentu hardvera za ovakve sisteme, kao ni sistemima za visoku dostupnost, ali sam vrlo rad da naucim ;-)

Unices are great!

Odgovor na temu

Miroslav Strugarevic

Član broj: 5038
Poruke: 2689

+68 Profil

Re: Linux mail cluster - koji hardware?

^{06.01.2008. u 21:50 - pre 198 meseci}

Da mislio sam na Linux Virtual Server. LVS router ne mora da bude redudantan ali ako već hoćeš da ti servisi imaju što veći uptime onda je bolje razmisliti o redudantnim LVS routerima koji se vrlo lagano mogu podesiti preko Heartbeat-a ili Red Hat Cluster Suita. Jedan LVS router bi radio dok bi drugi bio u stand by modu, tj. čekao bi da u slučaju kvara prvog routera on preuzme rutiranje saobraćaja na nodove u cluster-u. Minimalan broj nodova je 2 ili više. Što više nodova to je više mail-ova moguće procesirati.

Ako se desi da jedan nod "ispadne" iz clustera ostala dva će na primer raditi posao koji su pre toga radila tri noda baz ikakvog zastoja tako da krajnji korisnik neće ništa osetiti osim možda sporiji rad ali to je u ekstremno retkim slučajevima kada su dva noda "malo" za taj posao. Cluster sistemi OBAVENO moraju da imaju sinhornizovane satove tako da je u tom slučaju NTPD obavezan alat. Od servisa koristi ono što želiš, jedina preporuka je Dovecot umesto Courier-IMAP. Još nešto, možda je mnogo bolja varijanta imati centralizovanu bazu korisnika u LDAP-u (naravno sa uključenim replikacijama) a ne u MySQL-u. Što se tiče rotiranja i brisanja logova i sličnih stvari to je na ISP-u da odluči. Jedino treba paziti na neke zakonom određene stvari koje se moraju poštovati ako takve uopšte postoje :)

Ja bih u ovom slučaju koristio SLES 10 SP1 ako se odlučiš za Heartbeat ili RHEL 5.1 (CentOS) ako se odlučiš za Red Hat Cluster Suite. Što se tiče "storage" to može da radi običan PC ali moraš imati kvalitetne diskove i kontrolere, obavezan RAID-1 i naravno neki cluster fail sistem koji ćeš koristiti. Najbolji sigurno jeste GFS ali je porilično skup za ISP-a pogotovu omanjeg tako da je možda CentOS najbolji izbog. Možeš koristiti i OCFS2 mada ne znam koliko se on koristi u ovakvim uslovima. Pri odabiru hardware-a obavezno pogledaj na web stranicama Red Hat-a ili Novell-a da li je HW koji hoćeš da pazariš podržan od strane tih Linux vendora.

Toliko. Nadam se da nisam zbunio. Za više informacija moraće/š (ISP) da odreši kesu :-) Pozdrav i srećno.

Odgovor na temu

Dundjerski Nemanja
Srbija

Član broj: 13846
Poruke: 167
*.eunet.yu.

Profil

Re: Linux mail cluster - koji hardware?

^{06.01.2008. u 22:12 - pre 198 meseci}

Bio si jasan, hvala.

Iako shvatam da je Red Hat bitan u produkcionim sistemima, ipak bih se odlucio za Debian zbog iskustva, a koliko vidim na HP-ovom sajtu serveri koje ste mi predlozili rade i na Debian-u.

Unices are great!

Odgovor na temu

Chipa
AttilaCorp
Subotica

Član broj: 164183
Poruke: 52
212.200.215.*

Profil

Re: Linux mail cluster - koji hardware?

^{06.01.2008. u 23:48 - pre 198 meseci}

Da znamo ciljni budzet ili zeljeni uptime bilo bi lakse, ima ISP-ova i 'ISP'-ova :) Ako si pod debianom i klaster ti treba samo za redundanciju, pogledaj DRBD, prakticna stvar a prilicno se lako kaci na heartbeat... Mrezni/softverski deo je dalekodaleko kompleksniji od ovog hardverskog, ali bez konkretne topologije opet nema pomoci. Alternativno, u poor man's varijanti klasterovanja pogledaj CLUSTERIP modul iptables-a, on zahteva najmanje prckanja i najblize je 'obicnim' instalacijama (makar nije teska artiljerija kao gorepomenuta resenja).

Licni RSS agregator vesti po temama - http://www.stavredi.com

Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..

+655 Profil

Re: Linux mail cluster - koji hardware?

^{07.01.2008. u 14:44 - pre 198 meseci}

OK, da prefolmulisem : da li ti je dolazni link redundantan? Ima li taj ISP dva natprovajdera i dva odvojena linka, plus svoje IP adrese dobijene od RIPE-a (u Evropi je? ) plus redundantan ruter ili dva rutera? Imas li dva linka ka korisnicima?

Dva SMTP servera, to valjda kapiras, ne moraju uopste biti u klasteru da bi delili posao, mozes samo da radis round-robin, SMTP nije problem, ali ti, po nekoj mojoj logici trebaju dva linka ako vec radis na redundanci, inace nema puno poente u dva SMTP-a.

Sto se tice dva IMAP/POP servera, najveci problem i najveci hardverski izdatak ce ti biti storage. Moraces da nabavis neki dedicated storage, sto je obavezan deo svih cluster resenja velikih proizvodjaca. Naravno, mozes i da pravis neko jevtinije resenje gde jedan server glumi storage preko iSCSI-ja, pa da dobijes redundancu sa dva takva servera (SAN storage devices su potpuno redudantni, 2 napajanja, 2 kompjutera, 2-4 FC linka.... ), i da onda nad time dizes cluster servere. Moze da se izvede, nije problem, ali imaces posla. Smisli se i za fIle sistem, ako imas storage, mozda ti je RH dobro resenje i zbog toga...

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Odgovor na temu

Dundjerski Nemanja
Srbija

Član broj: 13846
Poruke: 167
*.eunet.yu.

Profil

Re: Linux mail cluster - koji hardware?

^{09.01.2008. u 12:03 - pre 198 meseci}

Hvala na odgovorima. Da znate samo da ja jos uvek nisam dobio ovaj posao, ali postoji verovatnoca pa zato i sagledam ove mogucnosti, a i zanimljiv je topic.

Ako bih isao na jeftiniju varijantu:

1. Dve SMTP/POP3/IMAP Linux masine (round robin DNS)
2. Jedna Linux masina koja bi sluzila kao storage za mailbox-ove i queue i user accounts (MySQL baza)

Podatke sa storage-a bih izvozio putem NFS mount points na ove dve masine. Kakave su tu performanse i uopste sta ako dva korisnika jednom korisniku salju mail u isto vreme, kako se u praksi ponasa NFS locking? Da li to ima uopste veze kod MailDir formata?

Druga skuplja varijanta, bila bi redundantnost svih servisa i masina (verovatno link jedino ne bi bio redundantan), kroz VLS i HeartBeat.

Edit: typo

_{[Ovu poruku je menjao Dundjerski Nemanja dana 09.01.2008. u 16:18 GMT+1]}

Unices are great!

Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..

+655 Profil

Re: Linux mail cluster - koji hardware?

^{09.01.2008. u 14:18 - pre 198 meseci}

Prvo, da li si svestan da tim setupom nikako ne poboljsavas redudancu? Imaces dva servera, tako da ako jedan padne - drugi preuzima, to stoji, ali opet oba zavise od jednog storage servera. Ako on padne - onda ti oba ova podjednako ne rade :).

A sto se tice NFS-a, a da ti ipak probas iSCSI ? :) Em to moze posle da se koristi i kao pravi storage, em nudi block-level pristup, em.... Ma milina jedna u odnosu na NFS. Plus, ne boli te glava za locking, ako odaberes dobar file sistem.

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Odgovor na temu

Miroslav Strugarevic

Član broj: 5038
Poruke: 2689

+68 Profil

Re: Linux mail cluster - koji hardware?

^{09.01.2008. u 14:31 - pre 198 meseci}

Nemoj koristiti DNS Round-Robin ako ne moraš. Pročitaj ovo pa će ti biti jasno zbog čega ti to govorim. Pogledaj detaljnije kako se podešava iSCSI i pogledaj kakva je podrška za GFS na Debian-u. Moraš koristiti Cluster File System ako nećeš da se desi najgore, a to je da ti se oštete fajlovi.

Odgovor na temu