{"id":90,"date":"2010-04-05T09:10:22","date_gmt":"2010-04-05T08:10:22","guid":{"rendered":"http:\/\/blog.imagmbh.de\/?p=90"},"modified":"2019-01-13T23:12:25","modified_gmt":"2019-01-13T22:12:25","slug":"evaluation-xenserver-5-5-0","status":"publish","type":"post","link":"https:\/\/blog.imagmbh.de\/index.php\/evaluation-xenserver-5-5-0\/","title":{"rendered":"Evaluation XenServer 5.5"},"content":{"rendered":"

Wir setzen ja seit Mitte 2005 Xen im Produktivbetrieb f\u00fcr paravirtualisierte Linux-G\u00e4ste ein. F\u00fcr Windows-Systeme haben wir bisher VMWare eingesetzt. Hier nun die Ergebnisse unseres Tests f\u00fcr XenServer 5.5.<\/p>\n

Die Hardware und Voraussetzung:<\/h2>\n

Zur Verf\u00fcgung steht eine Maschine mit 2 Stata-Platten a 1,5TB und einem Intel i7-Prozessor (8Kerne) sowie 24GB RAM welche bei Hetzner im Rechenzentrum steht. Die Sata-Platten sollen als Software-Raid arbeiten. Angeregt durch einen Artikel in der c’t 06\/2010 sollte das System vorbereitet sein f\u00fcr die Dom\u00e4nenmigration \u00fcber das Netzwerk. Genutzt werden sollte also ein „distributed block-device“, also DRBD. In der Netzwerkanbindung hat die Maschine 4 IP-Adressen aus 2 verschiedenen Subnetzen. Eine Besonderheit, die Xen zu schaffen machte (s.u.).  Ferner soll die Maschine mittels OpenVPN angebunden werden.<\/p>\n

Die Maschine steht in einem Rechenzentrum, so dass lokale CDs nur mit Problemen eingelegt werden k\u00f6nnen. Also musste die Installation ohne lokales CD-Laufwerk auskommen.<\/p>\n

Installationsvorbereitung<\/p>\n

Zuerst wurde die ISO-Boot-CD des XenServers auf auf einem Webserver in Dateiform bereitgestellt. Wir konnten also per HTTP auf die Dateien im Image zugreifen, nicht auf die ISO-Datei selbst.<\/p>\n

Dann wurde auf dem System ein CentOS in einer Minimalversion installiert und in dieses gestartet.<\/p>\n

Installation<\/h2>\n

Auf dem installierten Minimalsystem werden zuerst die Xen-Boot-Dateien installiert:<\/p>\n

cd \/boot\r\nwget http:\/\/xxx.xxx.xxx.xxx\/PfadZumImageinhalt\/boot\/vmlinuz\r\nwget http:\/\/xxx.xxx.xxx.xxx\/PfadZumImageinhalt\/boot\/xen.gz\r\nwget http:\/\/xxx.xxx.xxx.xxx\/PfadZumImageinhalt\/install.img<\/pre>\n
Dann ist nat\u00fcrlich das Grub-Bootmenu unter<\/p>\n
\/boot\/grub\/menu.lst<\/pre>\n
anpassen zu:<\/p>\n
timeout 5\r\ndefault 1\r\n\r\ntitle CentOS Linux (2.6.18-164.11.1.el5)\r\nroot (hd0,1)\r\nkernel \/boot\/vmlinuz-2.6.18-164.11.1.el5 ro root=\/dev\/md2 vga=0x317\r\ninitrd \/boot\/initrd-2.6.18-164.11.1.el5.img\r\n\r\ntitle Install Xenserver\r\nroot (hd0,1)\r\nkernel \/boot\/xen.gz dom0_mem=752M acpi=off nosmp noapic noirqbalance\r\nmodule \/boot\/vmlinuz answerfile=http:\/\/IP-ADRESSE_DES_WEBSPACE\/answer.xml install\r\nmodule \/boot\/install.img<\/pre>\n
und der Rechner neu zu starten.<\/p>\n
Die erw\u00e4hnte Answer-Datei sieht wie folgt aus:<\/p>\n
<installation mode=\"fresh\" srtype=\"lvm\"><\/pre>\n
 <bootloader>grub<\/bootloader><\/pre>\n
 <primary-disk gueststorage=\"yes\">sda<\/primary-disk><\/pre>\n
 <keymap>de<\/keymap><\/pre>\n
 <hostname>xen<\/hostname><\/pre>\n
 <root-password>ROOT-PASSWORT<\/root-password><\/pre>\n
 <source type =\"url\">http:\/\/IP-ADRESSE_des_ausgepackten_ISO-Image<\/source><\/pre>\n
 <!-- No Post install scripts configured --><\/pre>\n
 <admin-interface name=\"eth0\" proto=\"static\"><\/pre>\n
 <ip>EIGENE_IP-ADRESSE<\/ip><\/pre>\n
 <subnet-mask>EIGENE_SUBNETZ-MASKE<\/subnet-mask><\/pre>\n
 <gateway>EIGENES-GATEWAY<\/gateway><\/pre>\n
 <\/admin-interface><\/pre>\n
 <nameserver>NAMESERVER<\/nameserver><\/pre>\n
 <timezone>Europe\/Berlin<\/timezone><\/pre>\n
 <time-config-method>ntp<\/time-config-method><\/pre>\n
 <ntp-servers>ntp<\/ntp-servers><\/pre>\n
 <ntpservers>NTP-SERVER<\/ntpservers><\/pre>\n
<\/installation><\/pre>\n
Die oben durchgef\u00fchrte Installation des CentOS-Minimalsystems hat drei Software-Raid-1-Systeme angelegt, deren Signaturen nun noch im System rumgeistern. Diese sind zu l\u00f6schen:<\/p>\n
mdadm -S \/dev\/md0\r\nmdadm -S \/dev\/md1\r\nmdadm -S \/dev\/md2\r\nmdadm --zero-superblock \/dev\/sdb1\r\nmdadm --zero-superblock \/dev\/sdb2\r\nmdadm --zero-superblock \/dev\/sdb3<\/pre>\n
Nach dem Artikel http:\/\/wiki.hetzner.de\/index.php\/Xenserver_5.5:_Automatische_Installation,_sw_raid1,_lokale_ISO_library<\/a> wird nun weiter installiert. Hier die Ausz\u00fcge. F\u00fcr die einzelnen Funktionen bitte im Originalartikel nachlesen.<\/p>\n
dd if=\/dev\/sda of=\/dev\/sdb bs=512 count=1\r\necho -e \"\\nt\\n1\\nfd\\nt\\n3\\nfd\\nw\\nx\" | fdisk \/dev\/sdb\r\n[ -e \/dev\/md0 ] || mknod \/dev\/md0 b 9 0\r\n[ -e \/dev\/md1 ] || mknod \/dev\/md1 b 9 1\r\nmdadm --create \/dev\/md0 --level=1 --raid-devices=2 missing \/dev\/sdb1\r\nmdadm --create \/dev\/md1 --level=1 --raid-devices=2 missing \/dev\/sdb3\r\npvcreate -ff \/dev\/md1\r\nvolume_group=`vgscan | grep VG | awk -F \\\" '{print $2}'`\r\nvgextend $volume_group \/dev\/md1\r\npvmove \/dev\/sda3 \/dev\/md1\r\nvgreduce $volume_group \/dev\/sda3\r\nmkfs.ext3 \/dev\/md0\r\ncd \/ && mount \/dev\/md0 \/mnt && rsync -a --progress --exclude=\/sys --exclude=\/proc --exclude=\/dev\/shm --exclude=\/dev\/pts \/ \/mnt\r\nmkdir \/mnt\/sys\r\nmkdir \/mnt\/proc\r\nsed -r -i 's,LABEL=root-\\w+ ,\/dev\/md0 ,g' \/mnt\/etc\/fstab\r\nmkdir \/root\/initrd && cd \/root\/initrd\r\nzcat \/boot\/initrd-`uname -r`.img | cpio -i && \\\r\ncp \/lib\/modules\/`uname -r`\/kernel\/drivers\/md\/raid1.ko lib\r\nq=\"echo Waiting for driver initialization.\"\r\nsed -r -i \"s,^${q}$,\\n\\necho Loading raid1.ko module\\ninsmod \/lib\/raid1.ko\\n${q}\\n,g\" init\r\nq=\"resume \/var\/swap\/swap.001\"\r\nsed -r -i \"s,^${q}$,${q}\\necho Running raidautorun\\nraidautorun \/dev\/md0\\nraidautorun \/dev\/md1,g\" init\r\nr=`grep mkroot \/root\/initrd\/init`\r\nsed -r -i \"s|^${r}$|${r\/sda1\/md0}|g\" init\r\nfind . -print | cpio -o -c | gzip -c > \/mnt\/boot\/initrd-`uname -r`.img\r\nsed -r -i 's,LABEL=root-\\w+ ,\/dev\/md0 ,g' \/mnt\/etc\/fstab\r\nsed -r -i 's,LABEL=root-\\w+ ,\/dev\/md0 ,g' \/etc\/fstab\r\n\r\nsed -r -i 's,root=LABEL=root-\\w+ ,root=\/dev\/md0 ,g' \/mnt\/boot\/grub\/grub.conf\r\nsed -r -i 's,root=LABEL=root-\\w+ ,root=\/dev\/md0 ,g' \/boot\/grub\/grub.conf\r\ngrub-install \/dev\/sdb<\/pre>\n
Es muss noch einmal in ein Rettungssystem (ein System welches per PXE bootet und indem man auf die Platten zugreifen kann) gestartet werden und dort die Partitionstabelle modifiziert werden sowie die Xen-Hauptpartition ins Software-Raid<\/p>\n
\/dev\/md0<\/pre>\n
eingebunden werden.<\/p>\n
echo -e \"\\nt\\n1\\nfd\\nt\\n3\\nfd\\nw\\nx\" | fdisk \/dev\/sda\r\nmdadm -a \/dev\/md0 \/dev\/sda1<\/pre>\n
Nach einem erneuten Neustart befinden wir uns wieder im Xen-System und erzeugen dort das Software-Raid f\u00fcr den sp\u00e4teren Image-Bereich, der die VMs aufnehmen soll:<\/p>\n
mdadm -a \/dev\/md1 \/dev\/sda3<\/pre>\n
 DRBD-Einbindung<\/strong><\/h2>\n
F\u00fcr das DRBD-System werden sowohl Programme (Userland-Tools) als auch ein passendes Kernel-Modul ben\u00f6tigt. Hierbei sollten diese in der Versionsnummer 100%ig \u00fcbereinstimmen. Selbst Unterschiede in der Minor-Nummer k\u00f6nnten zur Instabilit\u00e4t oder zu Fehlverhalten f\u00fchren – wie wir leider feststellen mussten.<\/p>\n
Im o.g. c’t-Artikel steht f\u00fcr DRBD 8.3.5 ein fertiges Kernelmodul bereit. Dieses lud zwar ohne Probleme in unseren Kernel, f\u00fchrte jedoch auch zu Instabilit\u00e4ten. Wir haben mit dem DDK von Citrix ein eigenes Modul f\u00fcr DRBD 8.3.5 gebaut und dies hatte merkw\u00fcrdigerweise eine andere Gr\u00f6\u00dfe als das c’t-Modul. Daraufhin haben wir gleich die aktuelle DRBD-Version (8.3.7) genommen und hiervon ein passendes Kernelmodul gebaut.<\/p>\n
Die DDK-Maschine ist eine VM unter Xen. Hier ergibt sich also ein klassisches Henne-Ei-Problem. Gl\u00fccklicherweise konnten wir „auf die Schnelle“ auf eine zweite Xen-Maschine zugreifen und das DDK dort installieren.<\/p>\n
Nun die Userland-Tools auf der Xen-Dom0-Maschine \u00fcbersetzen:<\/p>\n
    \n
  •  Vorbereitungen\n
    yum -y install gcc\r\nyum -y install make\r\nyum -y install flex<\/pre>\n<\/li>\n
  •  Installation\n
    cd \/usr\/src\r\nwget http:\/\/oss.linbit.com\/drbd\/8.3\/drbd-8.3.7.tar.gz\r\ntar -xpzf drbd-8.3.7.tar.gz\r\ncd drbd-8.3.7\/\r\n.\/configure --prefix=\/\r\nmake\r\nmake install<\/pre>\n<\/li>\n<\/ul>\n
    Und auf der DDK-VM das Kernel-Modul \u00fcbersetzen:<\/p>\n
    cd \/usr\/src\r\nwget http:\/\/oss.linbit.com\/drbd\/8.3\/drbd-8.3.7.tar.gz\r\ntar -xpzf drbd-8.3.7.tar.gz\r\ncd drbd-8.3.7\/\r\n.\/configure\r\nmake\r\ncd drbd\r\nmake KDIR=\/usr\/src\/kernels\/2.6.18-128.1.6.el5.xs5.5.0.505.1024xen-i686<\/pre>\n
    In XenCenter wird nun der von Xen schon bei der Installation belegte Speicherplatz f\u00fcr die VMs freigegeben, damit dieser f\u00fcr DRBD genutzt werden kann.<\/p>\n
    Dann wird in der Dom0 DRBD konfiguriert \u00fcber die Datei \/etc\/drbd.conf:<\/p>\n
    global {\r\n    usage-count yes;\r\n}\r\n\r\ncommon {\r\n  protocol C;\r\n  net {\r\n    allow-two-primaries;\r\n    shared-secret \"UnserGeheimnis\";\r\n    after-sb-0pri discard-zero-changes;\r\n    after-sb-1pri consensus;\r\n    after-sb-2pri disconnect;\r\n  }\r\n  startup {\r\n    #become-primary-on both;\r\n  }\r\n  syncer { rate 10M; }\r\n}\r\n\r\nresource main {\r\n\r\n  protocol C;\r\n\r\n  handlers {\r\n    split-brain \"\/usr\/lib\/drbd\/notify-split-brain.sh\";\r\n  }\r\n\r\n  device \/dev\/drbd1;\r\n  disk \/dev\/md2;\r\n  meta-disk internal;\r\n  on xen {\r\n    address unsereAdresse:7788;\r\n  }\r\n\r\n  on xenback {\r\n    address dummyadresse:7788;\r\n  }\r\n}<\/pre>\n
    und die DRBD-Volumes erzeugt:<\/p>\n
    drbdadm create-md main\r\ndrbdadm attach main\r\ndrbdadm -- --overwrite-data-of-peer primary main<\/pre>\n
    Das neue DRBD-Device „main“ konnte dan Xen im XenCenter als Speicherplatz zur Verf\u00fcgung gestellt werden.<\/p>\n
    Besonderheiten:<\/strong><\/h2>\n
    Da wir die zweite DRBD-Maschine nicht bereitgestellt haben, befand sich das System nach jedem Neustart im undefinierten Zustand. Daher musste jeweils<\/p>\n
    drbdadm attach main\r\ndrbdadm -- --overwrite-data-of-peer primary main<\/pre>\n
    ausgef\u00fchrt werden.<\/p>\n
    Netzwerkkonfiguration und OpenVPN<\/strong><\/h2>\n
    Die Einstellungen zur  Netzwerkkonfiguration und OpenVPN folgen dann im n\u00e4chsten Eintrag.
    \n