Da wirst du auch nichts finden. ffmpeg ist nur darauf ausgelegt einen validen Bitstrom zu erzeugen, Qualitätsoptimierungen sind in den Encoder dort überhaupt nicht eingeflossen.
Dazu musst du die libtheora direkt verwenden, dort sieht die Bildqualität schon bedeutend besser aus, auch wenn dort auch noch einige Optimierungen fehlen. An h264 wirst du formatbedingt nicht heran kommen, aber das dürfte dir ja selbst klar sein.