Le narrateur, anonyme, rapporte les propos d'un personnage odieux, un certain Koller, qui lui expose, à chacune de leurs rencontres, sa morale élitiste et cynique et des pans de sa philosophie. Vivant grâce à une confortable pension, il prépare un ouvrage de physiognomonie dont le fin mot lui a été révélé par la rencontre de quatre habitués d'un restaurant bon marché.