From: "Jesper Louis Andersen" <none@jlouis--mongers.org.lh.bsd-dk.dk> Date: Sat, 27 Dec 2003 23:07:42 +0100 To: bsd-dk@bsd-dk.dk Subject: Re: Linux reliability test - nogle kommentarer?
Quoting Henrik Boegh (henrik.list@boegh.net):
> På http://shor.ter.dk/514682593
> Sidste gang der var nogen der mumlede om sådan en test var der nogle
> her på listen der havde nogle kommentarer så derfor tænke jeg om der i
> var nogle der havde nogle til denne?
Jeg har taget mig sammen og har laest den. Jeg mener umiddelbart at
Linux er en stabil platform til rigtigt mange ting. Det faktum at jeg
har set linuxboxe koere i rigtig lang tid uden problemer under
produktion burde vaere argument nok.
Men jeg synes at testen er tynd:
* Power3 og Power4 maskiner er nok ikke lige noget vi alle kan faa
fingre i. Det giver sikkert en fordel rent hardwaremaessigt, men
det goer det ogsaa svaert at lave konkurrerende tests. Vigtigst kan
du ikke sammenligne Windows(TM) maskiner med dem, og ej heller en
paen del BSD-distributioner. Det er begraenset hvor god udnyttelse
der er af de CPU'er i $std_open_source_compilere (read: GCC).
* ''success rate'' lyder flot, men hvordan er de kommet frem til det
tal?
* 90 dages test skriver de. Men jeg kan ikke finde data for 90 dage.
Jeg kan kun finde data for 30 og 60 dage og saa bliver det suspekt.
I afsnittet ''Methodology'' goer de rede for hvorfor, men jeg maa
aabentbart ikke se de foerste 30 dage?
* De tester en type maskine i 30 dage og en anden i 60. Det viser
efter min mening meget lidt.
* Det er godt at de benytter en test jeg kan komme til selv og giver
gode links til denne test.
* Der mangler totalt det statistiske grundlag for deres maalinger.
graferne ser meget paene ud, men jeg ved faktisk ikke hvordan de
er lavet. Er det et smooth'et average der er beregnet, og i saa
fald hvor stor er dampening faktoren?
* Der mangler et kvalitativt kvalitetsmaal for hvad success af testen
er. En ting er at jeg kan banke en masse ting paa en kerne og faa dem
til at blive udfoert, men hvad hvis libresolv gaar sig en tur under-
vejs, saa jeg praktisk talt er afskaaret fra internettet. Jeg ved
godt at de eksplicit skriver at dette ikke er deres fokus, men de
mangler helt klart maalet. Uden det ved vi ikke hvad det er vi tester.
* I koelvandet af ovenstaaende er testen subjektiv. Det er synd.
* hvad er en ''critical system failure?''
* Jeg synes konklusionen mangler en fundering i de tal og det data
der er praesenteret. Hvordan naar de frem til det? Rent statistisk
burde man nok have betragtet 15-45 dages vinduet, gaettet paa hvad
outcome de sidste 15 dage er og saa se om det holdt stik. Det er
vist bare umuligt med de tal vi her har faaet stukket i hovedet.
-- j.
This archive was generated by hypermail 2b30 : Wed 15 Nov 2006 - 18:24:34 CET