Préchauffez votre four à 180°C.
Dans un bol, fouettez (dans le bol d'un robot) le beurre mou, le sucre et les œufs jusqu'à ce que le mélange blanchisse et devienne mousseux.
Ajoutez la vanille et le yaourt et continuez de battre, puis incorporez la farine et la levure, et mélangez jusqu'à ce que la pâte soit bien lisse et en soulevant bien la pâte pour l'aérer.
Ajoutez 1 pêche et 1 nectarine coupées en tranches et mélangez délicatement.
Versez la pâte dans votre moule chemisé de papier cuisson. Garnissez le dessus de tranches de la dernière pêche et des amandes effilées.
Enfournez pendant 50 minutes ou jusqu’à ce que le gâteau soit doré et que la lame d’un couteau plantée dans la pâte ressorte propre.
Laissez refroidir sur une grille avant de servir.