Геологический музей им. М.А.Ермекова находится во 2 учебном корпусе, на втором этаже. Геологический музей является ровесником университета и со дня образования Карагандинского политехнического института при кафедре геологии по крупицам собирались минералы и горные породы с месторождений не только Казахстана, но и всего бывшего Советского Союза.
В коллекции геологического музея имеются образцы с месторождений нефти, редких и цветных металлов, нерудного сырья России, Азербайджана, Армении, Туркмении, Украины и др.
Большой вклад в создание, оформление и пополнение коллекционного фонда внес заведующий кафедрой проф. Самсонов М.Т., проф. Билялов Б.Д., преподаватель Рябущенко Л.П. Так, Рябущенко была неоднократно командирована в геологический музей Геологического института академии наук СССР (г.Москвы) и Уральский минералогический заповедник (г.Миас Челябинской области), где отбирались образцы представителей всех классов минералов, а также наиболее представительные горные породы, образованные в недрах и на поверхности Земли, поэтому в коллекционном фонде музея имеются уникальные образцы минералов и горных пород.
Из восьми витрин музея с двухсторонним обзором образцов в трех полностью и частью в четвертой представлены минералы систематизированные по классам. Частью в четвертой и в пятой витрине полностью выставлены представители магматических, осадочных и метаморфических пород, т.е. разделены по происхождению. В витринах шесть и семь размещены полезные ископаемые по промышленному использованию: черные, цветные и легирующие металлы, керамическое сырье, строительные материалы и горючие ископаемые.
В настоящее время коллекционный фонд музея пополняется выпускниками кафедры с месторождений, на которых они работают и студентами с объектов прохождения производственных практик.
Геологический музей кафедры используется при изучении геологических дисциплин студентами геологической, геофизической, горной и строительных специальностей. Кроме этого музей посещается школьниками г. Караганды, Темиртау и других городов-спутников, а также привлекается во время проведения профориентационной работы среди выпускников средних школ.