Préchauffez votre four à 180°.
Dans un bol, fouettez le beurre, le sucre et les œufs jusqu'à ce que le mélange blanchisse et devienne mousseux.
Ajoutez la vanille et le yaourt et continuez de battre, puis incorporez la farine et la levure, et mélangez jusqu'à ce que la pâte soit bien lisse.
Ajoutez 1 pêche et 1 nectarine coupées en tranches et mélangez délicatement.
Versez la pâte dans votre moule chemisé de papier cuisson. Garnissez le dessus de tranches de la dernière pêche et des amandes effilées.
Enfournez pendant 50 minutes ou jusqu’à ce que le gâteau soit doré et que la lame d’un couteau plantée dans la pâte ressorte propre.
Laissez refroidir sur une grille avant de servir.