MythTV.dk

Dansk MythTV forum og hjemsted for den danske oversættelse af MythTV

You are not logged in.

#1 19-02-2010 18:19:37

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Jeg kan passende lægge ud med mit setup smile

Mit setup er lidt specielt, eftersom min backend kører som en virtuel maskine der har adgang til tunerne vha. PCI passthrough. Min frontend, som står i stuen, er 100% lydløs, da den hverken har harddisk, CPU køler eller strømforsyningsblæser. Frontenden booter via netværket med PXE og mounter rod-filsystem (/) samt videoer/musik (/data) via NFS-drev fra serveren. Frontend kan afspille 1080p videoer uden problemer vha. Nvidias VDPAU acceleration. Desværre er eneste TV kilde analog kabel TV samt de "gratis" DVB-T kanaler, ingen DVB-C desværre.

Server hardware:
Core 2 Quad 2.4GHz, 8GB RAM og 4 x 750GB HD i software RAID5. Chipsæt på bundkortet har Intel VT-d understøttelse for at tillade hardware-understøttet PCI passthrough.
Tunere: Hauppauge PVR-500 dual analog tuner, Hauppauge HVR-1300 analog/DVB-T tuner, "Kina" Intel USB DVB-T tuner fra ebay (til ~63kr). Pt. er det dog kun PVR-500 kortet som er opsat.

Virtuel backend hardware:
Til den virtuelle backend er der afsat to CPU kerner, 2GB RAM og 15GB virtuel (virtio) harddisk.

Server software:
Arch Linux med KVM (Kernel Virtual Machine) til virtualisering. Skal opgraderes til CentOS når CentOS 6.0 udkommer, da alle services efterhånden er blevet flyttet ind i virtuelle maskiner, hvilket gør det fordelsagtigt at have et enterprise styresystem direkte på hardwaren, hvis eneste formål er at håndtere virtuelle maskiner.

Virtuel backend software:
Stort set en helt umodificeret installation af MythBuntu 9.10 med ugentlig autobuild fra trunk. Mythbuntu gemmer optagelser på et NFS-drev mounted fra serveren, for at opnå maksimal fleksibilitet mht. ledig HD plads på serveren.

Frontend hardware:
Passivt kølet Zotac Ion bundkort med Atom 1.6GHz CPU, 4GB RAM og passiv Pico 90w strømforsyning. Pga. Ion-chipsættet kan den uden problemer afspille HD 1080p videoer. Ingen fjernbetjening, alt styres via et Kina mediacenter tastatur fra Biltema(!) med integreret trackball - tastaturet er identisk med et Trust KB-2950, men dét fra Biltema har dansk layout tongue Det lille bundkort er sat i et alt for stort Silverstone LC04 mediacenter kabinet, som blev indkøbt til en tidligere frontend, men som matcher forstærkeren i stuen pga. ~43cm bredde.

Frontend software:
Arch Linux hvor kernen hentes via PXE ved boot og mounter rod-filsystemet (/) fra et NFS-drev på serveren. Kører pt. MythTV trunk som kompileres vha. et Arch Linux ABS script.

Det var vist det...skriv hvis du er interesseret i yderligere detaljer omkring opsætningen smile

Last edited by Kenni (20-02-2010 20:31:49)

Offline

#2 08-03-2010 12:37:37

peque
Member
From: Møn
Registered: 08-03-2010
Posts: 73
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Hey Kenni.

Kunne du tænke dig at komme med uddybende infor /dokumentation på hvordan du har sat dit diskless system op.
Jeg prøvede det engang for mange år siden, men der var ikke de store guides mm omkring opsætningsdmulighederne!

Derfor er jeg da interesseret i at høre hvordan du har fået dette til at fungere - da jeg med glæde gerne ville hive de diske ud af mine maskine og så ellers bruge den løsning.

Så jeg er interesseret i hele setup muligheden specielt omkring hvordan og hvorledes du gemmer de enkelte images på mainserverne og adskiller dem mm!
Så skriv endelig al den ingfo ned du kan i hovedet! :-)

/Per


/\/o place like 127.0.0.1

ArchLinux Rules

Offline

#3 09-03-2010 00:53:19

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

peque wrote:

Kunne du tænke dig at komme med uddybende infor /dokumentation på hvordan du har sat dit diskless system op.

Ja, da, nu er det nogle år siden at jeg satte det op, men jeg tror godt at jeg kan lede dig på rette vej, især hvis du kører Arch Linux, som din signatur kunne antyde wink Der er en Arch Linux wiki-side som vist nok beskriver det meste i detaljer, http://wiki.archlinux.org/index.php/Dis … t_NFS_root , men hvis jeg skal beskrive overordnet hvad du skal igennem, så du måske får et bedre overblik over projektet, så er det vist følgende du skal igennem:

1. Få din DHCP-server til at udsende PXE-info
Det første du skal gøre er, at få din DHCP-server på dit netværk til at inkludere information om din PXE-server, når den svarer på DHCP-requests. Dette skulle være ret ligetil hvis du benytter en router med noget 3. parts open source firmware, ala DD-WRT, OpenWRT, pfsense eller hvad de alle sammen hedder. Jeg benytter selv pfsense og under DHCP serverens opsætningen har jeg sat hak i "Enable network booting" og skrevet IP-adressen for min (TFTP-)server og konfigurationsfilen den skal boote fra serveren (pxelinux.0 i mit tilfælde). Hvis du benytter DD-WRT (eller en anden router med DNSMasq), så kan du tilføje f.eks. "dhcp-boot=pxelinux.0,navn_på_server,192.168.1.10" under "additional DNSMasq settings".

Hvis du ikke har en router med fleksibel software, så skal du deaktivere DHCP-serveren i din router og selv opsætte en DHCP-server (typisk på samme server som TFTP-serveren - som typisk vil være din backend).

2. Aktiver PXE boot i din frontends BIOS
Når DHCP-serveren er på plads, så kan du aktivere PXE-boot i BIOSen på din frontend (er næsten altid deaktiveret som standard). Når du booter frontenden, skulle den nu gerne hente IP-adressen på TFTP-serveren via DHCP og forsøge at downloade det angivne boot-image (pxelinux.0) via TFTP. Dette fejler selvfølgelig, da du ikke har nogen TFTP-server opsat endnu.

3. Lav en ren installation af Arch Linux i et underbibliotek på din backend vha. pacman
Når du almindeligvis kalder pacman uden argumenter, antager pacman at din rod er "/". Du kan manuelt angive et --root argument til pacman og så få pacman til at installere en fuld Arch Linux installation i f.eks. /data/pxe/frontend1/ på din backend. Wiki-siden omhandlende diskless network boot (som der linkes til ovenfor), beskriver også hvordan dette gøres.

4. Opsæt TFTP server
Måske http://wiki.archlinux.org/index.php/Tftpd_server ? Navnet tftp-hpa siger mig i hvert fald noget big_smile

Under konfigurationen, skal du opsætte din pxelinux.0/default til at pege på kernen som du installerede sammen med Arch Linux under punkt 3.

5. Boot af frontend - Fase 1
Såfremt at DHCP og TFTP-serveren er sat korrekt op, burde du nu kunne få en boot-menu via PXE på din frontend, hvor du kan vælge at boote din nye frontend. Da der endnu ikke er opsat en NFS-server, vil den dog ikke kunne boote, da rod-filsystemet (/) ikke vil være tilgængeligt under boot.

6. Opsæt NFS server til deling af rod-filsystem
Nu mangler du vist kun at opsætte en NFS-server som deler rod-filsystemet for frontenden på serveren (/data/pxe/frontend1/ i eksemplet tidligere).

7. Færdig?
Hvis jeg ikke har glemt noget, så burde du kunne boote frontenden nu.

Når du har fået det hele til at spille, så hvis du ikke gider at skulle igennem PXE-menuen ved hver boot af frontend, så kan du oprette konfigurationsfiler parallelt til pxelinux.0/default og navngive dem med MAC-adressen på den frontend som konfigurationen skal gælde for. På den måde kan du få din første frontend til automatisk at boote f.eks. "frontend1", mens ukendte MAC-adresser skal præsenteres for PXE-menuen (hvor man f.eks. kan tilbyde memtest86 eller netværksinstallation af Arch/Ubuntu/[indsæt-favorit-distribution-her].

Det var systemet overordnet, skriv hvis du har yderligere spørgsmål.

Mvh.
Kenni

Offline

#4 09-03-2010 06:27:46

peque
Member
From: Møn
Registered: 08-03-2010
Posts: 73
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Kanon - Det var også min opfattelse af hvad forløbet skulle være.
MEN ved du om der er forskel på at køre min masterbackend på 64bits system, imens alle mine frontends skal køre 32bits system - så mere om der er forskel idet man installerer sine frontends via pacman ????
Der kunne være nogle problemer der - men det må jeg rode lidt med !

Takker

Last edited by peque (09-03-2010 06:28:32)


/\/o place like 127.0.0.1

ArchLinux Rules

Offline

#5 09-03-2010 12:24:14

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

peque wrote:

MEN ved du om der er forskel på at køre min masterbackend på 64bits system, imens alle mine frontends skal køre 32bits system - så mere om der er forskel idet man installerer sine frontends via pacman ????

Du kan sagtens køre med 64 bit backend og 32 bit frontends.

Af nysgerrighed, hvorfor vil du køre 32 bit på dine frontends? Jeg kørte før i tiden også 32bit på frontends pga. diverse flash/java/xxxxx problemer, men det er lang tid siden at jeg skiftede til 64 bit på mine frontends - det kører bare.

Anyway, hvis du vil lave en 32-bit installation under din 64 bit Arch, så skal du vist bare midlertidigt rette dit mirror i /etc/pacman.d/mirrorlist, hvor du udskifter x86_64 med i686...det er lang tid siden at jeg gjorde det selv, men jeg mener bare at det var dét man gjorde. Bare husk at rette det tilbage efter endt 32-bit installation (!!!) big_smile

Du kan vist også bruge noget herfra:
http://wiki.archlinux.org/index.php/Ins … _in_Arch64

Mvh.
Kenni

Offline

#6 09-03-2010 12:42:59

peque
Member
From: Møn
Registered: 08-03-2010
Posts: 73
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Hey kenni!

jeg fandt svaret på siden!
Af ren ØV - mine frontends (ASUS EEE B202) kører desværre kun atom CPU og man kan ikke installere et 64bits system på disse.
Man kan dog senere skifte disse - Men det er vist lidt senere i showet - ren økonomi!

Nu er jeg så spændt om den kan køre hele skidtet som jeg gerne vil og ikke mindst koble zoneminder sammen med min g4S alarm!


/\/o place like 127.0.0.1

ArchLinux Rules

Offline

#7 09-03-2010 13:20:44

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

peque wrote:

Af ren ØV - mine frontends (ASUS EEE B202) kører desværre kun atom CPU og man kan ikke installere et 64bits system på disse.

Okay...så lærte jeg også noget i dag, jeg troede at eneste forskel på Atom N270 og N330 var single vs. dual core, men jeg har 64 bit understøttelse i min N330:

[root@mc ~]# cat /proc/cpuinfo |grep -e "model name" -e " lm "

model name      : Intel(R) Atom(TM) CPU  330   @ 1.60GHz

flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good aperfmperf pni dtes64 monitor ds_cpl tm2 ssse3 cx16 xtpr pdcm movbe lahf_lm

Mvh.
Kenni

Offline

#8 09-03-2010 17:01:37

peque
Member
From: Møn
Registered: 08-03-2010
Posts: 73
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Jeg kunne faktisk godt tænke mig at se din default fil engang.
Da jeg bliver ved med at få en fejl om at mit bootimage ikke findes ???

For lige hurtigt at beskrive mit setup:
Så har jeg en MBE kørende og en SBE(Zoneminder) - som også skal levere bootimaget til maskinerne på *9 adressen.
Mit router er en hjemmebygget Soekris - som kører DHCP også.
Så mit er lige en smule anderledes eftersom DHCP og TFTP ikke skal køre på samme maskine

Last edited by peque (09-03-2010 17:06:15)


/\/o place like 127.0.0.1

ArchLinux Rules

Offline

#9 09-03-2010 19:22:30

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

peque wrote:

Jeg kunne faktisk godt tænke mig at se din default fil engang.
Da jeg bliver ved med at få en fejl om at mit bootimage ikke findes ???

Min er ikke helt optimal, da jeg af en eller anden grund aldrig fik ændret TFTP-root fra /var/tftpboot/ til min data-partition, /data/.

Dvs. jeg har root for min frontend liggende i /data/mc_ion/ mens jeg manuelt kopierer kernel26.img samt vmlinuz fra /data/mc_ion/boot/ til /var/tftpboot/images/mc_ion/

Med dét i baghovedet, så benytter jeg følgende linjer i pxeconfig.cfg/default:

label mediacenter
menu label Mediacenter - ION baseret
kernel images/mc_ion/vmlinuz26
append initrd=images/mc_ion/kernel26.img rootfstype=nfs root=/dev/nfs nfsroot=10.10.10.50:/data/mc_ion,v3,rsize=16384,wsize=16384 ip=dhcp disablemodules=mac80211,cfg80211,ath9k,ath

Du har måske brugt en absolut sti fremfor en sti relativ til tftpboot?

peque wrote:

Mit router er en hjemmebygget Soekris - som kører DHCP også.
Så mit er lige en smule anderledes eftersom DHCP og TFTP ikke skal køre på samme maskine

Naa, så meget anderledes er det nok ikke, jeg kører faktisk også med en Soekris - en net5501, som står for DHCP, jeg har heller aldrig prøvet at have DHCP og PXE på samme maskine.

Offline

#10 13-03-2010 12:50:21

peque
Member
From: Møn
Registered: 08-03-2010
Posts: 73
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Lige et sidste spørgsmål - har du leget med det at maskinerne lukker netværket ned af nedlukning - og derefter stopper / Fryser.

Har du umiddelbart en løsning på det


/\/o place like 127.0.0.1

ArchLinux Rules

Offline

#11 13-03-2010 14:28:03

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

peque wrote:

Lige et sidste spørgsmål - har du leget med det at maskinerne lukker netværket ned af nedlukning - og derefter stopper / Fryser.

Ja, jeg har rodet med det førhen, men ikke i mit nuværende setup. Jeg rettede i netværks-scriptet og udkommenterede hele stop-afsnittet, så det ikke lukkede netkortet ned. Altså var det et hack, men det virkede.

Du kan formentlig lave det smartede ved at teste hvilken runlevel du er i, i starten af stop-afsnittet og så få den til at springe afsnittet over, såfremt at du er i runlevel 0 (halt) eller 6 (reboot). Jeg har ikke lige testet det, men jeg vil antage at runlevel bliver skiftet inden "/etc/rc.d/network stop" bliver kørt under nedlukning/genstart.

Offline

#12 15-08-2010 08:49:44

araldit
Member
From: Gråsten
Registered: 25-04-2010
Posts: 13

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Jeg vil selv igang med et lignende setup, men har nogle spørgsmål som I som kyndige måske lige ved:

1. Når man booter sin frontend via et PXE bootimage, kan man så opdatere frontenden ved at logge ind på den og køre opdateringen, eller skal man lave opdateringerne på maskinen hvor det "fysiske" image ligger?
2. Hvordan har du delt dine virtuelle maskiner op? Er der en seperat maskine til mysql, idet den også bruges af andre (apache, mail etc)?
3. Ligger dine PXE boot sessioner i den virtuelle maskine backenden kører fra, eller ligger de direkte på kvm host?
4. Har du dedikeret en Harddisk til backenden for at få bedst throughput når du skal streame og optage på en gang, eller benytter du NFS shares imellem dine virtuelle maskiner?

Som du/i nok kan høre er jeg kun i min spæde start for at få sat tingene op smartest muligt, men håber bagefter at kunne få fordelen ved mindre strømforbrug og lettere vedligeholdelse.

På forhånd tak

Ole

Offline

#13 15-08-2010 09:44:22

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Hej Ole

(Jeg har ændret en del ting siden jeg oprettede denne tråd, så jeg tager udgangspunkt i mit nuværende setup).

araldit wrote:

1. Når man booter sin frontend via et PXE bootimage, kan man så opdatere frontenden ved at logge ind på den og køre opdateringen, eller skal man lave opdateringerne på maskinen hvor det "fysiske" image ligger?

Det kommer an på om du kan få din TFTP-server til at læse kernen direkte fra /boot biblioteket. Jeg har kernerne til boot liggende under /var/tftp/xxxx på min TFTP server, mens selve rodfilsystemet ligger et andet sted. Dvs. at jeg kan godt opdatere klienten direkte fra klienten, men jeg skal så lige kopiere kernel26 og vmlinuz til /var/tftp/xxxx før den booter den opdaterede kernel.

2. Hvordan har du delt dine virtuelle maskiner op? Er der en seperat maskine til mysql, idet den også bruges af andre (apache, mail etc)?

Nej, overordnet set benytter jeg en funktionsmæssig opdeling, hvis man kan sige det sådan...tingene skal ikke afhænge af hinanden, jeg vil gerne kunne flytte én service (backend, mail, FTP, osv.) rundt, uden at andre services bliver påvirket af det. Min backend er en alm. Mythbuntu inkl. egen MySQL.

3. Ligger dine PXE boot sessioner i den virtuelle maskine backenden kører fra, eller ligger de direkte på kvm host?

PXE server i sin egen virtuelle maskine, men alt NFS-deling (storage til backend, PXE-images, FTP, osv) sker direkte fra KVM host. Eneste services som kører på KVM host er KVM+SSH+NFS. Hvis en virtuel maskine har brug for storage, så får den et NFS-share fra KVM-host'en.

4. Har du dedikeret en Harddisk til backenden for at få bedst throughput når du skal streame og optage på en gang, eller benytter du NFS shares imellem dine virtuelle maskiner?

Ingen dedikerede harddiske, alt ligger på et RAID5 array bestående af 3 x 2TB Samsung harddiske fra deres 5400-5900rpm strømbesparende serie. Jeg har aldrig oplevet problemer med throughput, på trods af at serveren ofte kører 5-8 virtuelle maskiner, inkl. Windows.

Som du/i nok kan høre er jeg kun i min spæde start for at få sat tingene op smartest muligt, men håber bagefter at kunne få fordelen ved mindre strømforbrug og lettere vedligeholdelse.

Jeg har udskiftet alt hardware siden jeg skrev denne tråd, med det ene formål at få strømforbruget ned. Og det hjalp gevaldig. Den valgte hardware og strømforbruget kan ses her. Det skal dog nævnes at jeg har opgivet at få PCI/PCIe USB-kort passthrough til at virke, og hvis det ikke virker med CentOS 6.0 med én af mine 3 PCI/PCIe USB kort, så skifter jeg formentlig fra KVM til Xen.

Offline

#14 15-08-2010 11:45:05

araldit
Member
From: Gråsten
Registered: 25-04-2010
Posts: 13

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Hej Kenni.

Fantastisk opsætning. Det lyder til det nærmest bliver en kopi af din opsætning jeg gir mig i kast med. Jeg vi så også have min router lagt over virtuelt med pfsense, men det skulle heller ikke være noget problem.

Hvad er din erfaring iøvrigt med at få Tunere i luften med PCI Passthrugh? Jeg har en HVR-4000 som jeg håber at kunne få til at fungere. Mener jeg læste en tråd af dine, hvor du skriver noget om problemer med en hvr-1300. Hvis ikke det kan lade sig gøre med hvr-4000 er det så USB baserede tunere du vil anbefale istedet?

Ole

Offline

#15 15-08-2010 11:57:01

peque
Member
From: Møn
Registered: 08-03-2010
Posts: 73
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Hey Ole.
Jeg kører med 3stk. HVR4000 i mit setup - som jeg kører på almindelige maskiner. Men uden at køre i virtuelle maskiner.
Til gengæld har jeg en 4 12V maskiner som frontends istedet for - Men kan sagtens se fordelen i at køre virtuelle maskiner.

Men HVR4000 virker fint - ellers må du spørge - har ikke leget med deres virtuelle passthrough men generelt kører de nu bare!


/\/o place like 127.0.0.1

ArchLinux Rules

Offline

#16 18-08-2010 20:43:53

araldit
Member
From: Gråsten
Registered: 25-04-2010
Posts: 13

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Kenni,

Jeg har faktisk fået mig en Gigabyte GA-EQ45M-S2 bundkort, som du brugte tidligere sammen med en Pentium D med vt-x. Fik du nogensinde PCI Passthrough til at virke med det? Jeg har forsøgt at få min HVR-4000 igennem, men den fortæller mig:
Failed to assign irq for "02:00.0": Input/output error
Perhaps you are assigning a device that shares an IRQ with another device?

Dette sker selvom hverken GSI 20 eller irq 20 bliver brugt til andet. Hvad har du af erfaring med tunere i et sådan virtualiseret system?

Ole

Offline

#17 19-08-2010 15:38:49

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

araldit wrote:

Jeg har faktisk fået mig en Gigabyte GA-EQ45M-S2 bundkort, som du brugte tidligere sammen med en Pentium D med vt-x. Fik du nogensinde PCI Passthrough til at virke med det? Jeg har forsøgt at få min HVR-4000 igennem, men ...

Hej Ole

Som udgangspunkt skal du ikke regne med at det vil virke med et Hauppauge 4000 og KVM. Som KVM-projektet ser ud pt. så er alt andet end nogle få udvalgte netkort utestet. Måske virker det, måske virker det ikke. Da jeg forsøgte at få mit Hauppauge 1500 kort til at virke, mailede jeg en del sammen med to af KVM udviklerne, i et forsøg på at debugge problemerne - det endte med et par patches i kvm-git, men da udviklerne ikke havde den store interesse i at debugge et tilfældigt TV-kort, og jeg samtidig ikke gad at bruge mere tid på det, droppede jeg det.

Jeg har siden da forsøgt at få KVM til at lave passthrough af USB (altså rigtig passthrough, ikke emuleret USB) af 2 stk PCI "noname" 4-ports USB kort, onboard USB controlleren på mit tidligere Gigabyte GA-EQ45M-S2, onboard USB controlleren på mit nuværende DQ57TM og senest et Asrock USB 3.0 PCI-E kort. INGEN af dem har jeg fået til at spille perfekt med en USB tuner. I det bedste tilfælde fik jeg et billede igennem fra en USB Intel DVB-T tuner, men med artifakter hvert 2-3. sekund.

Mit Hauppauge 500 kort med to analoge tunere kører som det eneste kort problemfrit med KVM og PCI passthrough og har gjort det i meget lang tid.

Som det ser ud nu, så hvis KVM ikke snart begynder at fokusere på bedre passthrough support, eller hvis QEMU ikke snart bliver færdig med USB 2.0 emulation, så skifter jeg tilbage til Xen...hvor paravirtuel passthrough har virket i mange år og hvor VT-d passthrough også skulle virke en del bedre end i KVM.

Offline

#18 02-01-2014 16:33:29

mikulator
Member
Registered: 11-10-2010
Posts: 174

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Hej Kenny,

Jeg leger med virtuelisering og har derfor set lidt på dit op-sæt.

Mit bygger på XEN (lige nu) da det var i dette PCI pass through lykkedes for mig.

Nu skal jeg have løst 2 andre forhold
1) disk
2) netværk

Jeg vil flytte diskene fra min nuværende server over i min virtuelle host. Dernæst overvejede jeg at lade min mythbuntu gæst tilgå en ny gæst med NFS - er dette hvad du gør?

Dette var for at lave en clone af mythbuntu til test når der skulle lægges mythtv opdateringer på - noget som jeg gør med stort besvær i dag. Faktisk afholdt mig fra at opgradere fra .24.

Mit HW er
Intel Xeon E3-1265 LV2
ASRock H77 Pro4/MVP
8 GB Ram

Offline

#19 02-01-2014 23:57:05

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Hej Mikkel

Der er desværre ikke ret meget af min oprindelige systembeskrivelse som er aktuel mere, jeg ændrede stort set alting i juli 2011. Min backend er ikke virtuel mere, jeg kører ikke PXE-boot og benytter ikke iSCSI smile Se evt. min opdaterede systembeskrivelse i bunden af denne besked.

Nu skal jeg have løst 2 andre forhold
1) disk
2) netværk

Jeg vil flytte diskene fra min nuværende server over i min virtuelle host.

Lige præcis disktilgang fra den virtuelle MythTV backend var den udfordring som gav mig allermest hovedpine og én af de primære årsager til at jeg fik nok af det virtuelle setup. Jeg havde ét stort RAID-array som skulle fungere som storage for mine "ikke-MythTV" data + et par virtuelle maskiner + MythTV optagelser + iSCSI diske for frontends. Da jeg gerne ville opnå maksimal fleksibilitet og ikke fastlåse f.eks. 2 TB til MythTV gennem en virtuel disk, delte jeg i stedet et bibliotek på host-systemet med NFS, som jeg så mountede i den virtuelle maskine som /data. Dermed skulle jeg ikke øremærke en given datamængde til MythTV. Over tid oplevede jeg performanceproblemer med MythTVs adgang til NFS-drevet, som jeg ikke var i stand til at løse vha. optimering af NFSv3/v4, hvilket fik mig til at flytte virtuelle maskiner til SSD, så det nu kun var data som lå på RAID-arrayet. Da jeg fortsat oplevede periodiske performanceproblemer, konverterede jeg til RAID10 og droppede den virtuelle backend, MythTV-data over NFS samt iSCSI frontends. Hvis jeg havde delt diskene op og dedikeret dem til de forskellige services ville jeg godt kunne have løst performanceproblemet, men så ville jeg miste fleksibiliteten ved at have én stor storagepool til data.

Dernæst overvejede jeg at lade min mythbuntu gæst tilgå en ny gæst med NFS - er dette hvad du gør?

Dette var for at lave en clone af mythbuntu til test når der skulle lægges mythtv opdateringer på - noget som jeg gør med stort besvær i dag. Faktisk afholdt mig fra at opgradere fra .24.

Jeg er lidt i tvivl om hvad du mener med at tilgå en ny gæst med NFS - jeg lavede blot et snapshot af den virtuelle maskine inden at jeg installerede opdateringer, hvorefter jeg så kunne rulle tilbage til dette, hvis en opdatering fejlede.
Kun min backend havde adgang til optagelser og film, frontends havde ikke filadgang til disse data.

------

Opdateret systembeskrivelse:
Da RHEL 6 udkom, gik jeg all-in på at redesigne mit system fra bunden med det formål at forsimple det, undgå overhead og gøre det mere driftstabilt. Jeg syntes at det var sjovt at rode med Arch/KVM/VirtIO/Xen/PXE/iSCSI/LVM/NFS osv. da jeg havde tiden til det, men at køre så specielt/kompliceret setup er tidskrævende. Når der er noget som går galt, specielt i forbindelse med driverproblemer med passthrough-hardware eller I/O performance-problemer på den virtuelle backend, så er det møgbesværligt at fejlfinde. Dette fik mig efter et par år til at droppe at køre backenden virtuelt.

Det setup jeg kører med nu kan nærmest ikke blive mere simpelt. En ren Scientific Linux 6 med daglige sikkerhedsopdateringer. Ingen 3. parts repositories, kun få udvalgte pakker installeret manuelt. MythTVs kildekode er checket ud med git og kompileres og installeres med configure, make og make install. Alt hvad der vedrører MythTV bliver dermed installeret i /usr/local/, adskilt fra filer installeret via pakkesystemet. Start/stop af mythbackend sker vha. "mythbackend" og "killall mythbackend". Hvis jeg får behov for at "rulle en opdatering tilbage" (har ikke været nødvendigt endnu de seneste 2,5 år med MythTV v0.25->0.26->0.27 på Scientific Linux 6.0->6.1->6.2->6.3->6.4) så er det blot at lave checkout af den ønskede MythTV-version med git, køre make samt make install og så evt. genskabe databasen med mythconverg_restore. Hvis det ikke var fordi at jeg jævnligt genstarter serveren for at få indlæst de seneste sikkerhedsrettelser til kernen, så havde den kørt 24/7 de seneste 2,5 år. Jeg oplever ALDRIG crashes af nogen art for mythbackend - det ville jeg opdage ret hurtigt, da jeg ikke engang har en funktion som genstarter backenden ved nedbrud.

Det skal nævnes at opsætningen er blevet en minimal smule mere kompleks med MythTV 0.27, da denne version kræver QT 4.8, mens RHEL6/Scientific Linux 6 kun leveres med QT 4.6. Igen af hensyn til driftsstabiliteten har jeg valgt at undlade at opdatere SL6's medfølgende QT til 4.8 og har i stedet kompileret og installeret en ekstra QT i /usr/local, som MythTV har for sig selv, uden at påvirke resten af systemet. Når RHEL7/Scientific Linux 7 kommer om et par måneder er QT 4.8.5 inkluderet, så dette ikke længere er nødvendigt (indtil MythTV engang bliver afhængig af QT 5.x).

Frontends kører fortsat Mythbuntu LTS, men på 60GB SSDs fremfor PXE/iSCSI.

Offline

#20 03-01-2014 00:42:14

mikulator
Member
Registered: 11-10-2010
Posts: 174

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Med gæst tænkte jeg en vm med nfs.

Jeg kører ikke raid på mine optagelser - BE og dennes database er det vigtigste for mig. Jeg har meget lidt tid til at vedligeholde og lege med myth men vil gerne være mere med på det seneste.

Mit håb er at det virker bedre end i dag og at jeg kan opdatere oftere end 1 gang på 2 år:)

Offline

#21 03-01-2014 00:55:30

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Ahh, nej, det ville jeg aldrig gøre...så vil du få meget overhead. Jeg kørte NFS direkte på host-systemet (ikke i en VM). Dvs:
HDD -> RAID -> Filsystem på host (ext4) -> NFS

Benytter du en dedikeret logical volume til dine VMs eller er det images ovenpå dit host filsystem? Fordi hvis det er sidstnævnte, så ender din storage-stack med at være ret voldsom:
HDD -> Filsystem på host (ext4?) -> VM imagefil ovenpå filsystem -> filsystem (ext4) i imagefil for VM -> NFS

Hvis du alligevel vil dedikere HDD-plads direkte til din VM, hvorfor kigger du så overhovedet på at benytte NFS?

Offline

#22 03-01-2014 01:13:11

mikulator
Member
Registered: 11-10-2010
Posts: 174

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Jeg er ikke ret meget inde i dette, men min myth vm ligger på host - raid 0 ssd og ext4.

Optagelserne ville jeg ligge helt for sig således en hvilken som helst mythtv vm kunne se dem ... dette var ideen ved at benytte nfs. Jeg vil ikke dedikere hdd til en enkelt vm og derfor er dit forslag også bedre.

LV har jeg ikke helt forstået men læser stadig om det.

Offline

#23 03-01-2014 01:45:33

Kenni
Administrator
From: trunk/mythtv/i18n
Registered: 17-02-2010
Posts: 639
Website

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Det var ikke fordi at jeg ville anbefale dig at benytte LVM, jeg prøver bare at forstå hvad det er du forsøger at opnå med NFS smile Hvis du alligevel vil give en VM xxx GB data til en VM som skal køre et NFS-drev, hvorfor tildeler du så ikke bare de xxx GB data direkte til din MythTV VM backend?

Fordelen ved LVM i performance-sammenhæng er, at du allokerer plads direkte på din HDD til et virtuelt image, fremfor at allokere pladsen i en fil ovenpå din hosts filsystem, hvormed du undgår at have to filsystemer ovenpå hinanden. Anyway, det er i småtingsafdelingen at tale om LVM performance sammenlignet med NFS.

Offline

#24 03-01-2014 09:04:37

mikulator
Member
Registered: 11-10-2010
Posts: 174

Re: Virtuel MythBuntu backend og 100% lydløs 1080p frontend

Jeg kan godt følge argumentet for ikke at ligge NFS i en VM og den ide har jeg også droppet... du har dog åbnet mine øjne for at jeg måske skal se nærmere på hele data lagringen.

Baggrunden for at benytte NFS var udelukkende at kunne have en 100% mythtv VM (overvejede også at flytte databasen ud) således kunne jeg clone mythtv, foretage en evt. opdatering og fejlede den lukkede jeg bare ned og startede clonen. Tidligere lavede jeg disk-images af OS HHD på en ekstern disk, men det tager en del tid. Dertil ville jeg have andre VM'ere til andre opgaverda systemet kører 24/7, men er langt fra belastet/udnyttet.

Således er jeg helt åben overfor alternativer  smile

Offline

Board footer

Powered by FluxBB