V praxi existuje mnoho úloh, kdy je nesnadné určit, do jaké třídy vektor příznaků patří a je zde velká pravděpodobnost chybného rozhodnutí. Kritérium minimální chyby, známé též jako Bayesův klasifikátor, je metoda, která se snaží nastavit klasifikátor tak, aby ztráty způsobené chybným rozhodnutím byly minimální.

Kritérium minimální chyby využívá k popisu úlohy pravděpodobnostního zápisu. Potom hodnotu pokládáme za náhodnou proměnnou. Pokud bychom znali pouze hodnoty apriorních pravděpodobností P(_i), zařazovali bychom všechny obrazy do té třídy _r, která má nejvyšší apriorní pravděpodobnost P(_r). To by však bylo chybné. Pravděpodobnost této chyby můžeme vyjádřit jako 1 - P(_r).