Iffeldorf ist erstmals Anfang bzw. Mitte des 12. Jahrhunderts urkundlich genannt in den Traditionen der Klöster St. Ulrich und Afra in Augsburg sowie im Chronicon Benedictorum. In verschiedenen Urkunden erscheint der Ortsname in den Formen Uphelendorf und Uffilindorf. Die Bezeichnung deutet darauf hin, dass die Siedlung durch Angehörige der Sippe Uffo gegründet wurde.

Die Herren von Iffeldorf, die zur Gefolgschaft der Grafen von Andechs gehörten, setzten sich um 1200 in den Grafen von Eschenlohe fort. Sie hatten Besitzungen um Iffeldorf, besaßen die Burg Lichteneck bei Aidling sowie die Gebiete um Murnau und Eschenlohe bis Garmisch.

Iffeldorf war eine Hofmark im Besitz der Mochfreien von Iffeldorf und späteren Grafen von Eschenlohe und fiel Ende des 12. Jahrhunderts an die Herren von Seefeld-Peißenberg.

1385 wurde zum ersten Mal das Geschlecht der Höhenkirchner in Iffeldorf urkundlich erwähnt, ein Geschlecht, das auch die Hofmark Königsdorf besitzt. Ihr Schloss befand sich auf dem Grund der heutigen Schule.

1653 wurde die Hofmark an das Kloster Wessobrunn veräußert.

1698 verheerte ein Brand den Ort. Dabei wurde auch die Pfarrkirche ein Opfer der Flammen.

Als 1803 mit der Säkularisation die Auflösung der geistlichen Reichsstände verfügt wurde, fiel auch die Hofmark der Enteignung zum Opfer und gelangte unter die Oberhoheit des Staates.