Tag Archives for ceph

ceph blinkenlights

zu dem beitrag mit dem proxmox/ceph cluster gibts noch ein schickes video:

und das im dunkeln anzusehen… hach… das kann jeden nerd dazu bringen, ewigkeiten davor zu stehen und einfach nur stur auf das geblinke zu starren. so wie bei einem lagerfeuer.

20180613213710 by sd
shorturl: https://sd.vc/4fk
tags: , , , ,
Leave a comment

ceph recovery io

hab ichs schonmal gesagt? ich liebe ceph. und bei solchen datenraten beim recovery … boah…

(nein, das ist nicht von meinem “spiel cluster” auf intel NUC basis mit usb3 platten 😉 )

20180420090402 by sd
shorturl: https://sd.vc/4fj
tags: , , ,
Leave a comment

proxmox/ceph cluster in miniatur

ich lehne mich jetzt mal aus dem fenster uns behaupte, dass ich eines der “kleinsten” proxmox/ceph cluster habe, die je so gebaut wurden. klein im sinne von physischen abmessungen. die hardware ausstattung ist zwar nicht so der high performance kram, aber fuer die groesse recht ansehnlich.

3x intel NUC mit 9x 2,5 zoll usb 3.0 platten und ein synology slim nas. da eckdaten:

10 CPU cores
70 GB ram
6 TB ceph storage (brutto)
4 TB nfs storage (synology)

fuer das, was man so zuhause rumexperimentieren muss, langt mir das (fuers erste) 😀

das ganze sieht dann so aus: (erste ausbaustufe)

der hdd platz im ceph war mir bald zu klein, so dass ich noch drei weitere platten dran gehaengt hab:

da aber die platten nun dicht an dicht gepackt waren, musste ich mir was einfallen lassen, da die einfach zu warm wurden. dazu hab ich baumarkt ein paar alu profile gekauft, zersaegt und mit sekundenkleber zusammengebastelt.

was dann am ende so aussieht:

so ist dann etwas luft zwischen den platten und das alu kann vielleicht ein bischen waerme ableiten. wenns nicht reicht, kann ich noch ein oder zwei luefter dahinter haengen.

20180417215118 by sd
shorturl: https://sd.vc/4fi
tags: , , , ,
Leave a comment

storage next level

seit einiger zeit bastel ich mit ceph rum. das macht echt spass! und ich werde vermutlich noch das ein oder andere darueber hier posten.

damits “voran geht”, habe ich bei ebay diese schicken serverchen geschossen:

ein echtes schnaeppchen aus england. in jedem der beiden gehaeuse sind zwei motherboards verbaut. also zwei autarke server in einem gehaeuse. jeweils bestueckt mit xeon L5630, 48GB RAM und voll mit WD velociraptor 300GB. macht insgesamt 48 festplatten und 192 GB RAM…. damit laesst sich erstmal arbeiten 😉

fehlen noch 10 GBE netzwerkkarten… und … tja … der austausch der (drehenden) platten gegen (groessere) ssd’s wird halt ein vermoegen kosten. 😐

20171020080513 by sd
shorturl: https://sd.vc/4eq
tags: ,
2 comments

ceph basic monitoring

damits ueberhaupt mal irgendwie gemonitored wird, habe ich die ceph-nagios-plugins von github installiert.

damit die nagios plugins als user nagios ausgefuehrt werden duerfen, erstellt man einen extra keyring:

ceph auth get-or-create client.nagios mon 'allow r' > /etc/ceph/ceph.client.nagios.keyring

die check_ceph_* plugins kommen in meinem falle (weil opsview statt plain nagios) nach /usr/local/nagios/libexec/
die einzelnen commands muessen dem opsview agent bekannt gemacht werden, in dem man (exemplarisch) folgendes in die datei /usr/local/nagios/etc/nrpe_local/override.cfg schreibt:

command[check_ceph_health]=/usr/local/nagios/libexec/check_ceph_health $ARG1$

ansonsten kommts zu diesem fehler:

NRPE: Command ‘check_ceph_health’ not defined

und damit der user nagios auch darauf zugreifen darf, muss der keyring mit berechtigungen und entsprechendem besitzer versehen werden.

chmod 660 /etc/ceph/ceph.client.nagios.keyring
chown ceph.ceph /etc/ceph/ceph.client.nagios.keyring

den user nagios noch in die gruppe ceph aufnehmen:

usermod -a -G ceph nagios

eine besonderheit noch, da ich ceph von der proxmox installation verwende. die ceph.conf unterhalb von /etc/pve darf nur vom user root und der gruppe www-data gelesen werden. daher nehme ich den user nagios noch in die www-data gruppe auf.

usermod -a -G www-data nagios

ansonsten kommts zu so einem fehler:

Error initializing cluster client: PermissionDeniedError(‘error calling conf_read_file’,)

und damits greift, noch einmal den opsvie agent neu starten.

/etc/init.d/opsview-agent restart

und funktioniert… hier die beispiel benachrichtigungen:

20171020071139 by sd
shorturl: https://sd.vc/4en
tags: , ,
Leave a comment

neues drei-node storage cluster

endlich mal fett storage fuer die eigenen server….

nee.. mal im ernst. ich hab mich die letzte zeit ein wenig mit ceph beschaeftigt und habe auch ein funktionierendes setup mit mehreren nodes hingestellt. wenn ich mal mehr zeit habe, schreibe ich hier sicherlich nochmal ein wenig darueber.
aber ceph… ich muss schon sagen… “da geht mir voll einer ab dabei”. ich liebe diese technik.

20170918151125 by sd
shorturl: https://sd.vc/4e8
tags: , , ,
Leave a comment