Rozhodovací pravidlo, podle kterého klasifikátor přiřazuje obraz do klasifikační třídy, můžeme obecně definovat jako skalární funkci vektorového argumentu
Chceme-li zohlednit i tzv. nastavení klasifikátoru, pak:
Nastavení klasifikátoru se provádí trénováním neboli učením. Rozlišujeme učení s učitelem, kdy klasifikátoru předkládáme obrazy, u nichž známe jejich příslušnost k třídě, a učení bez učitele, kdy správné zařazení do klasifikačních tříd neznáme.