Ennek a mérésnek a korlátai
!Ez nem ugyanaz a módszer, mint a /ft8-shootout/ cikkben. Az egy kontrollált, WAV-fájlokon végzett teszt volt, fájlonként eltérő hívójelekkel. Ez egy élő összehasonlítás, ugyanazon az antennán és hangbemeneten: valósághűbb, kevésbé kontrollált.
!A JTDX bekapcsolt segítő funkcióval fut (Hint=true, Aggressive=5, NDepth=3): a mai munkamenetben soraink 56%-a viseli a segítő jelölést. Ez nem vak dekódolás.
!A keresési mélységek nem egyenlők. A Decodium adaptív menetekben fut 2, 3 és 4 mélységben; a JTDX és a WSJT-X NDepth=3-on marad; az MSHV konfigurációját nem sikerült ellenőrizni. Mindegyik úgy marad, ahogy a kezelője beállította, nem azonos beállítások mellett.
!A kizárólagos sorok jelzésértékűek, nem bizonyítékok. Egy csak egy program által látott sor küldőjét a többi időrésben is keressük: a mai kontrollált mintában az esetek 97%-ában megtalálható. A szellemdekódolások becslése minimum marad, nem maximum.
!Az MSHV körülbelül 1 dB-lel magasabban olvas a többinél (medián eltérés +1 dB több mint 3500, a WSJT-X-szel közös üzeneten): a «gyenge» üzenetek aránya nála nem közvetlenül összehasonlítható.
!Egy vevő, egy sáv, egy munkamenet. A terjedés közös a négy program között, így a különbségek a dekódolóból erednek — de a minta egyetlen munkamenet marad, nem egy több napos sorozat.
!A Decodium itt az 1.0.623-as verzió, amely ugyanazon a napon jelent meg, mint ez a mérés, a dekóder utáni szűrők javításaival: a korábbi munkamenetekkel való összehasonlítás nem egységes.
!Nyitott, megoldatlan kérdés: ugyanaz a küldő két szomszédos időrésben jelenik meg a Decodium sorainak 0,5%-ában, a többinél 0–0,1%-kal szemben — ugyanaz a szűrőjavítások előtt és után, tehát nem friss regresszió, de továbbra sem világos, hogy valódi állomások szerepelnek-e mindkét szekvenciában, vagy a mély keresés által összerakott sorokról van szó.
!A Decodium előnye nem állandó — a sáv állapotától függ. A mai munkamenetben +6,2 üzenet/másodperc/időrésről (nyitott sáv, 12:15 UTC) +0,2-re csökkent (zárt sáv, 14:45 UTC), a tizenegy időrés átlaga +2,8. Az összehasonlításnak csak azonos időpontban van értelme: egy déli és egy késő délutáni időrés nem ugyanazt méri.
!A 10/9-i 17:22 és 21:59 UTC közötti időrések felfújtak. Ebben az időszakban a Decodium egy kísérleti koherens menettel futott, amelyet az összehasonlítás után véglegesen kikapcsoltak: kikapcsolása után a Decodium/JTDX arány 1,49-ről 1,17-re esett, a Decodium kizárólagos sorai (olyan küldő, akit soha egyetlen más program sem hallott) pedig 378-ról és 312-ről 0-ra és 42-re estek két kontroll-időrésben. Ezek nem hamis mérési adatok — a Decodium valóban kiadta ezeket a sorokat —, de nem a mai vagy a holnapi dekódert képviselik.