Es kommt halt darauf an, was man mit den Supercomputern anstellen will. Kann die Aufgabe gut zerpflückt werden, sodass wenig Kommunikatin nötig ist, tuts eben ein Cluster Rechner aus einfachen, billigen aber recht Leistungsfähigen Knoten, im Extremfall werden daraus dann Distributed Computing Projekte (bei denen eine Inet Verbindung reicht).
Kann die Aufgabe nicht so stark zerteilt werden, reichen die Cluster nicht und man benötigt intelligentere Konzepte und bessere Rechnerverbindungen. Dies kann gelöst werden indem man beispielsweise wie im Red Storm Rechner den Opteron CPUs leistungsfähige Kommunikationsprozessoren zur Seite stellt oder eben dafür speziell entwickelte Prozessoren mit Peripherie wie bei NEC SX-8 Systemen.
Also kurz zusammengefasst: heute eignen sich für viele Dinge Xeon/Opteron Cluster ausreichend gut und sind dabei billiger als richtig dicke Eisen vom Typ Power 5/SX-8/...
Es gibt aber dennoch Aufgaben, die ein Cluster nicht effizient bearbeien kann, dann wirds eben richtig teuer.
Vom Rechenzentrum an der Uni Stuttgart weiß ich, dass der SX-8 Rechner zum Beispiel für Strömungssimulationen deutlich besser geeignet sein soll als die Opteron und Xeon Cluster.