Baumeister también tenía gran interés por las esculturas de pequeño formato de la primera Antigüedad procedentes del Mediterráneo y por las ushebtis egipcias. En su colección se encuentran además fósiles, vasijas prehistóricas y hachas de piedra. Durante el tiempo en que fue profesor en la Escuela Municipal de Artes Aplicadas (Städelschule) de Fráncfort aprovechó la oportunidad para asistir a las conferencias del historiador del arte suizo Hans Mühlestein.
Este impartía seminarios sobre la protohistoria y la prehistoria de la humanidad y era a su vez gran admirador del arte de Willi Baumeister. En esa época Baumeister empezó a coleccionar cada vez más herramientas de piedra del paleolítico medio y superior (de 1.500 a 7.000 años de antigüedad aproximadamente) de diversa de procedencia.
Aplicó pátina a una serie de vaciados en tonos de piedra y de tierra, tales como grabados de mamuts y otras estatuillas del Vogelherd, que se cuentan entre los hallazgos más antiguos de arte prehistórico. En opinión de Baumeister, los orígenes del arte se remontaban a la edad de piedra temprana. Investigó las técnicas pictóricas de la pintura rupestre de la edad de piedra y descubrió que no se utilizaban materiales aglomerantes. Al pintor le interesaba la ornamentación y las figuras grabadas o trazadas de las culturas más recientes. En ellas se inspiró en parte en sus propios trabajos, como por ejemplo en Composición de rayas sobre lila o en Ideograma figurativo, ambos de 1945.
Alentado por el etnólogo de Fráncfort Leo Frobenius, fundador del Archivo de África, que se consagraba principalmente a la colección de objetos etnológicos y arqueológicos, Baumeister inició también una colección de este tipo. El arte de Baumeister se inspiró en reproducciones que encontró en libros de arte rupestre prehistórico, como el procedente del Barranco de la Valltorta en el este de España. Las pinturas rupestres de Fezzan, en Libia, que Frobenius había fotografiado en 1932, también tuvieron efectos en su arte. El 2 de agosto de 1934 Baumeister escribió en su diario:
Quiero ir abandonando la composición equilibrada de los cuadros de máquinas y los cuadros murales en favor de la expresión directa a través de los jeroglíficos (el hombre), en el sentido del corredor, el símbolo. Mi simpatía por las herramientas de piedra y por las reproducciones de la naturaleza de tipo orgánico e inorgánico, igual que mi inclinación hacia los caracteres cuneiformes y los jeroglíficos se hallan sin duda muy próximas a los ideogramas ...
Existe una relación entre los ideogramas, las formas en vuelo y en suspenso y los picos pulidos de la colección.