Non è possibile determinare esattamente il momento in cui Baumeister iniziò ad coltivare un interesse particolare per l'arte extraeuropea. È comunque probabile che sia entrato in contatto con l'arte africana a partire dal 1924, quando conobbe a Parigi gli artisti francesi Le Corbusier, Amedée Ozenfant e Fernand Léger. Le riviste d'arte francesi, come Cahier d'Art e Documents, pubblicavano con frequenza riproduzioni d'arte africana.

Baumeister aveva un grande interesse per le sculture preistoriche di piccole dimensioni provenienti dalla zona del Mediterraneo e per gli ushabti egizi. La sua collezione vanta inoltre fossili, vasellame preistorico ed asce di pietra. Nel periodo in cui Baumeister insegnò alla Scuola Municipale di Arti Applicate (Städelschule) di Francoforte, colse l'opportunità per assistere alle conferenze dello storico dell'arte svizzero Hans Mühlestein.

Baumeister era appassionato anche di arte dell'Antico Egitto. Considerava questa arte, come li stesso la definì, pittura immediata, essendo composta da forme elementari in quanto elementi dell'espressione. La sua collezione comprende alcuni ushabti in legno e due figure bronzee di Osiride.

Baumeister possedeva alcune opere d'arte dell'America precolombiana, provenienti dall'America Centrale e dalle culture dell'antico Perù, molte delle quali di una fase precedente all'impero inca. La mimica di alcune figure presenta un simbolismo tanto marcato che rende comprensibile l'interesse di Baumeister per questa cultura, il quale collezionava anche tessuti dell'antico Perù.