Геологический музей имени М.А. Ермекова находится на втором этаже второго учебного корпуса. Музей — ровесник университета: со дня основания института при кафедре геологии по крупицам собирали минералы и горные породы с месторождений не только Казахстана, но и всего бывшего Советского Союза.
В коллекции есть образцы с месторождений нефти, редких и цветных металлов, нерудного сырья России, Азербайджана, Армении, Туркмении, Украины и других республик.
Как собиралась коллекция
Большой вклад в создание, оформление и пополнение коллекции внесли заведующий кафедрой профессор М.Т. Самсонов, профессор Б.Д. Билялов и преподаватель Л.П. Рябущенко. Л.П. Рябущенко неоднократно выезжала в геологический музей Геологического института Академии наук СССР в Москве и в Ильменский минералогический заповедник на Урале (г. Миасс Челябинской области), где отбирались образцы всех классов минералов и наиболее представительные горные породы, образовавшиеся в недрах и на поверхности Земли. Поэтому в фонде музея есть уникальные образцы минералов и горных пород.

Экспозиция
Из восьми двусторонних витрин музея в трёх полностью и в части четвёртой представлены минералы, систематизированные по классам. В остальной части четвёртой и в пятой витрине — магматические, осадочные и метаморфические горные породы, разделённые по происхождению. В шестой и седьмой витринах собраны полезные ископаемые по промышленному применению: чёрные, цветные и легирующие металлы, керамическое сырьё, строительные материалы и горючие ископаемые.
Музей сегодня
Коллекцию пополняют выпускники кафедры — образцами с месторождений, на которых они работают, — и студенты, привозящие образцы с производственной практики.
Музей используется при изучении геологических дисциплин студентами геологических, геофизических, горных и строительных специальностей. Его посещают школьники Караганды, Темиртау и других городов-спутников, а также выпускники школ во время профориентационных встреч.