Baumeister s'est aussi beaucoup intéressé aux petites sculptures de l'espace méditerranéen de la première Antiquité ainsi qu'aux petits ushebtis égyptiens. Il y a aussi dans sa collection des fossiles, des vases préhistoriques, des silex. Alors que Baumeister est professeur à l'École municipale des arts appliqués de Francfort, il saisit l'opportunité d'écouter les conférences de l'historien suisse de la culture Hans Mühlestein. Ce dernier tient des séminaires sur la préhistoire ou la protohistoire de l'humanité et admire l'art de Baumeister. C'est à cette époque-là que Baumeister commence à collectionner des outils de pierre du paléolithique moyen et supérieur (de 1500 à 7000 ans) de différentes origines.
Il patine une série de moulages dans des tons de pierre et de terre comme par exemple des gravures de mammouths et de petites sculptures du Vogelherd qui comptent parmi les plus anciennes découvertes en matière d'art préhistorique. Pour Baumeister, les origines de l'art remontent au début de l'âge de la pierre. Il étudie les techniques picturales de la peinture rupestre et pariétale pour découvrir qu'elles n'utilisaient pas de liant. Le peintre s'intéresse à l'ornementation ainsi qu'aux figures tracées ou gravées dans les cultures plus récentes. Il s'en inspire en partie dans ses propres œvres comme par exemple la Composition de traits avec violet ou l'Idéogramme figuratif, toutes deux de 1945.
Sur le modèle de l'ethnologue Leo Frobenius à Francfort, fondateur des archives africaines, qui se consacre surtout à une collection d'objets ethnologiques et archéologiques, Baumeister constitue également une collection de ce type. L'art de Baumeister s'inspire des reproductions qu'il trouve dans les livres sur l'art rupestre préhistorique, par ex. de la grotte de Valltorta dans l'est de l'Espagne. Ses œuvres sont aussi marquées par l'art rupestre du Fezzan en Lybie, qu'avait photographié Frobenius en 1932. Le 2 août 1934, Baumeister écrit dans son Journal :
Je veux de plus en plus abandonner la composition bien équilibrée des tableaux-murs et des tableaux-machines au profit d'une expression directe par le biais des hiéroglyphes (homme) dans le sens du coureur, le signe. Ma sympathie pour les instruments de pierre et également pour les reproductions de la nature d'ordre organique ou anorganique, tout comme mon penchant pour les signes cunéiformes et les hiéroglyphes sont sans doute proches des idéogrammes...
Il y a une relation entre les Idéogrammes, les Formes fluides et les Formes en suspens d'une part, et les bifaces polis de sa collection d'autre part.