Je höher die Assoziativität, umso aufwändiger wird die Cache Logik. Allerdings sinken damit auch die Cache Misses. Der Speicher selbst wird dadurch zwar nicht schneller, potenziell eher langsamer, aber aufgrund der höheren Cache Hit Rate muss die Pipeline weniger oft auf Daten warten und kann damit im Endeffekt schneller arbeiten. Zum Thema Cache einfach mal Wikipedia anwerfen, da stehen noch detailliertere Informationen zum Aufbau von Cache.