{"id":7654,"date":"2018-10-10T20:37:48","date_gmt":"2018-10-10T18:37:48","guid":{"rendered":"https:\/\/ww.sd.vc\/wp\/?p=7654"},"modified":"2018-10-26T19:44:17","modified_gmt":"2018-10-26T17:44:17","slug":"proxmox-eine-partition-als-osd-nutzen","status":"publish","type":"post","link":"https:\/\/ww.sd.vc\/wp\/2018\/10\/10\/proxmox-eine-partition-als-osd-nutzen\/","title":{"rendered":"proxmox: eine partition als osd nutzen"},"content":{"rendered":"

gleich vorneweg: nicht offiziell von proxmox unterstuetzt, aber (fuer mich) funktionieren tuts. \ud83d\ude09<\/p>\n

fuer meine aktuelle “spielwiesen-evaluierung”<\/a> habe ich als boot platte eine 500 GB ssd gekauft. da das betriebsystem und swap nur wenige gigabytes benoetigen, moechte den restlichen platz als OSD fuer ceph verwenden. proxmox unterstuetzt von haus aus nur kompletten festplatten als OSD. mit ein paar tricks kann man das aber trotzdem eintueten. dafuer muessen ein paar vorraussetzungen eingehalten und die folgenden schritte ausgefuehrt werden. <\/p>\n

1. als grundlage habe ich ein debian stretch installiert. dabei waehlt man am besten den modus “expert install” aus, da man nur in diesem den typ der partition table der festplatte setzen kann. der installer macht standardmaessig eine MBR patrition table, aber wir brauchen zwingend eine des typs GPT!<\/p>\n

2. das debian system samt proxmox und ceph installieren (siehe proxmox wiki) <\/p>\n

3. danach muss die OSD partition wie folgt angelegt und praepariert werden:<\/p>\n

als erstes setzen wir ein paar variablen… der partition typecode “is designating a Ceph data disk<\/a>”<\/p>\n

\r\nPTYPE_UUID=4fbd7e29-9d25-41b8-afd0-062c0ceff05d\r\n<\/pre>\n
die festplatte, die verwendet werden soll:<\/p>\n
\r\ndisk=\/dev\/sda\r\n<\/pre>\n
die nuemmer der partition ist die naechste freie nummer:<\/p>\n
\r\npart=4\r\n<\/pre>\n
und eine zufaellige UUID wird benoetigt, um die neue OSD zu identifizieren:
\n(wenns nicht funktioniert, vorher noch das paket “uuid-runtime” installieren)<\/p>\n
\r\nOSD_UUID=`uuidgen -r`\r\n<\/pre>\n
wenn all diese variablen gesetzt sind, kann mit dem sgdisk kommando die neue partition angelegt werden:<\/p>\n
\r\nsgdisk --largest-new=$part --change-name=\"${part}:ceph\" --partition-guid=${part}:$OSD_UUID --typecode=${part}:$PTYPE_UUID $disk\r\n<\/pre>\n
der output koennte so aussehen:<\/p>\n
\r\nSetting name!\r\npartNum is 3\r\nREALLY setting name!\r\nWarning: The kernel is still using the old partition table.\r\nThe new table will be used at the next reboot or after you\r\nrun partprobe(8) or kpartx(8)\r\nThe operation has completed successfully.\r\n<\/pre>\n
um die proxmox boardmittel nutzen zu koennen, muss man ein bischen in einem perl script rumpfuschen… und zwar das: \/usr\/share\/perl5\/PVE\/API2\/Ceph.pm
\nvorher bitte eine sicherungskopie anlegen, damit man die originale datei im anschluss wiederherstellen kann. (funktioniert mit pve 5.2)
\nsuche in der datei nach diesem string:<\/p>\n
\r\n$devname =~ s|\/dev\/||;\r\n<\/pre>\n
…und kommentiere diese und die folgenden zeilen bis zu dieser aus:<\/p>\n
\r\nmy $devpath = $diskinfo->{devpath};\r\n<\/pre>\n
dann fuege diese zeile darunter ein:<\/p>\n
\r\nmy $devpath = $devname;\r\n<\/pre>\n
jetzt suche nach <\/p>\n
\r\nmy $cmd = ['ceph-disk', 'prepare', '--zap-disk',\r\n<\/pre>\n
…und entferne am ende das argument “–zap-disk”, so dass die zeile so aussieht:<\/p>\n
\r\nmy $cmd = ['ceph-disk', 'prepare', \r\n<\/pre>\n
dann kann man endlich die OSD erstellen:<\/p>\n
\r\npveceph createosd \/dev\/sda4 --bluestore=0\r\n<\/pre>\n
(wenn die fehlermeldung “not a valid block device” kommt, ist noch ein reboot notwendig, damit der kernel die oben abgeaenderte partition table frisst.)<\/p>\n
ich habe hier bluestore auf 0 gesetzt, da es bei mir nicht funktioniert hatte. (ich bin mir garnicht sicher, ob man bluestore ueberhaupt mit einer partition verwenden kann… vermutlich eher nicht.) so wird der herkoemmliche typ “filestore genommen und die partition mit xfs formatiert.
\nder output koennte so aussehen:<\/p>\n
\r\ncreate OSD on \/dev\/sda4 (xfs)\r\nmeta-data=\/dev\/sda4              isize=2048   agcount=4, agsize=29150209 blks\r\n         =                       sectsz=4096  attr=2, projid32bit=1\r\n         =                       crc=1        finobt=1, sparse=0, rmapbt=0, reflink=0\r\ndata     =                       bsize=4096   blocks=116600833, imaxpct=25\r\n         =                       sunit=0      swidth=0 blks\r\nnaming   =version 2              bsize=4096   ascii-ci=0 ftype=1\r\nlog      =internal log           bsize=4096   blocks=56934, version=2\r\n         =                       sectsz=4096  sunit=1 blks, lazy-count=1\r\nrealtime =none                   extsz=4096   blocks=0, rtextents=0\r\n<\/pre>\n
und zum schluss noch die OSD aktivieren, wodurch die partition gemountet und der zugehoerige OSD daemon gestartet wird<\/p>\n
\r\nceph-disk activate \/dev\/sda4\r\n<\/pre>\n
und schon ist die partiton unter proxmox als OSD verfuegbar. in der proxmox oberflaeche wird die ganze festplatte als OSD angezeigt, was mich aber nicht weiter stoert \ud83d\ude09<\/p>\n","protected":false},"excerpt":{"rendered":"
gleich vorneweg: nicht offiziell von proxmox unterstuetzt, aber (fuer mich) funktionieren tuts. \ud83d\ude09 fuer meine aktuelle “spielwiesen-evaluierung” habe ich als boot platte eine 500 GB…<\/p>\n","protected":false},"author":855,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[203,134,18,195,28],"class_list":["post-7654","post","type-post","status-publish","format-standard","hentry","category-uncategorized","tag-ceph","tag-debian","tag-linux","tag-proxmox","tag-software","wpcat-1-id"],"_links":{"self":[{"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/posts\/7654","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/users\/855"}],"replies":[{"embeddable":true,"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/comments?post=7654"}],"version-history":[{"count":1,"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/posts\/7654\/revisions"}],"predecessor-version":[{"id":7664,"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/posts\/7654\/revisions\/7664"}],"wp:attachment":[{"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/media?parent=7654"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/categories?post=7654"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ww.sd.vc\/wp\/wp-json\/wp\/v2\/tags?post=7654"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}