En général la première confrérie qui se crée dans une ville prend la couleur blanche, par imitation de la tenue du clergé et rattachement au symbole de la pureté. Lorsqu’il se crée une seconde confrérie, elle est généralement noire, pour se distinguer – s’opposer – à la précédente.
Puis les confréries suivantes prennent le rouge, le bleu, le gris, sans ordre précis. Il peut, aussi, y avoir en un même lieu plusieurs confréries d’une couleur identique. Très rapidement va se prendre l’habitude de nommer les membres de la confrérie par le nom de la couleur de leur tenue, on parlera alors des « pénitents blancs », des « pénitents noirs » et même des « blancs » ou des « noirs », tout simplement.
À tel point que l’on risque d’oublier que les confréries ont un nom officiel plus en rapport avec la divinité qu’avec les Saints du calendrier (sauf en Corse). À titre d’exemple, on citera les confréries du « Saint-Esprit », « Saint Sépulcre », « Saint Suaire », « Très Précieux Sang de Notre Seigneur Jésus-Christ », de la « Sainte Croix », de la « Vierge de Miséricorde ».