Nem mindegy. Mármint az, hogy a címben feltett kérdésre mi a válasz. Mert lehet valami jó, ha annak tűnik, de nem biztos, hogy az. Ahogyan ha valami rossznak tűnik, attól még... Szóval ami rossznak tűnik, az rossz is. És ezek miatt nem az a kihívás a tesztelésben, hogy megtaláljuk a hibákat, hanem az, hogy ha nincsenek hibák, akkor ebben biztosak lehessünk. (Szerencsére ez ritkán fordul elő.)
Amiről ez eszembe jutott, az egy pár évvel ezelőtti tesztelés volt. Egy webes alkalmazás terheléses tesztjében segédkeztünk egy fejlesztő csapatnak. Funkcionálisan teszteltük a szoftvert, tényleg jó válaszokat adott (egy idő után), már csak azt kellett kimérni, hogy nagy terheléseknél is elég gyorsan adja-e a válaszokat.
A teszt tesztelése során előbb kis terhelésnél néztük a válaszidőket, tulajdonképpen összeraktuk, kvázi teszteltük a tesztelést, hogy jól mérünk-e; utána pedig a névleges terhelésnél néztük meg, hogy megfelelően gyorsan válaszol-e a rendszer.
És láttuk, hogy ez jó.
Azaz majdnem. Ami zavart egy kicsit (az ilyenekre mindig nagyon oda kell figyelni), hogy ugyan 1TPS és 2 TPS terhelés esetén még elég kicsi volt az átlagos válaszidő, de már 10TPS környékén nagyobb, és igaz az is, hogy még 100TPS-nél is kisebb volt a válaszidő, mint a maximális megengedett de, de, de …
100TPS-nél kisebb volt a válaszidő, mint 10TPS-nél.
És szerintem ez nem volt jó.
De persze kit érdekel délután négykor, hogy hogyan hullámzik a válaszidő ha elegendően jó? A fejlesztő látja, hogy jó szoftvert ír, jön a válasz takkra, ahogy kell, foglalkozzunk a behűtött sörrel.
Momentán, engem érdekelt. Négy óra után ott maradtam (volt kulcsom) és nekiálltam mérni. Apró lépésekben, és a következő ábrát kaptam (csak a jelleg érdekes):
Az átlag válaszidő természetesen nulláról indul (nincs kérdés, arra baromi gyorsan van válasz), majd növekszik, és meglepő módon egy idő után elkezd csökkenni, és a maximális megkövetelt terhelés esetén már elég kicsi, és csak sokára kezd el nőni, és száll el a végtelenbe.
Hogy mi is történt itt, azt egy hét múlva elárulom. Azok között, akik addig a helyes választ kitalálják és megkommentezik egy eredeti AltaVista Revolution könyvet sorsolok ki (igazi relikvia), amit majd az Angol utcai irodánkban adunk át.