平顶山市历史上无独立的行政区域，是20世纪50年代建立的工业新城，现辖地域是随着经济发展和区划调整而逐步形成。平顶山为古应国，应国以鹰为图腾，“应”“鹰”通假，故平顶山又称鹰城。平顶山市古为豫州地。殷商时期，为应、桀部落。西周为武王宗室应侯封地。春秋战国时期，分属韩、魏、晋、郑、楚。秦统一后，平顶山境域属颍川郡、三川郡和南阳郡。汉改三川郡为河南郡，北部仍属颍川郡。晋析颍川郡置襄城郡，平顶山属河南郡、襄城郡、南阳郡。南北朝时，先后分属鲁阳郡、襄城郡、南安郡、汝北郡、汝南郡、顺阳郡、汉广郡。隋朝分属襄城郡和颍川郡。唐代先后分属汝州郡、许州郡、襄城郡。宋元起止明清分属汝州、许州和裕州。1912年属河洛道、汝阳道，后分属豫南道、豫东道、豫西道。

中华人民共和国成立后，平顶山地区分属洛阳专区、许昌专区。1953年，平顶山煤田开始勘探开发。1954年成立平顶山煤矿筹备处；1956年1月成立中共平顶山矿区委员会。同年3月，成立许昌专员公署平顶山办事处。1957年3月经国务院批准，设立平顶山市，为省辖。1964年3月平顶山市改为平顶山特区，实行双重领导，以煤炭部领导为主，河南省领导为辅。1968年3月恢复平顶山市，同年3月，经河南省革命委员会、河南省军区党委批准，成立平顶山市革命委员会。1981年11月，成立平顶山市人民政府，同时撤销市革命委员会。至2021年年底未变。