濟源市歷史悠久，上古時代這里就是夏朝故都，夏代第六代君王少康遷都原，即今濟源市區(qū)西北部火車站一帶。商代濟源一帶有向國、召國。西周、東周時期，濟源一帶有原、樊、向、蘇、單等諸侯國。春秋戰(zhàn)國 濟源一帶先屬鄭國，后屬晉國，再后屬韓、魏。 秦代（前221－前206） 濟源境內設軹縣。一說屬三川郡，一說屬河內郡。 漢代（前206－220） 濟源境內設軹縣、波縣（今裴城一帶）、沁水縣（今王寨一帶） 。三國時代（220－280）濟源境內設有軹縣、沁水縣，屬魏國河內郡。 西晉（281－316）時濟源境內有軹、沁水二縣，屬河內郡。 東晉（317－420）時期，濟源屬前秦。 北魏后分為東魏和西魏。濟源東部屬東魏，境內有軹、沁水二縣。西部屬西魏，境內設有邵郡。轄萇平縣。 北周（558－580）和北齊（551－577）時期，沁水縣并入軹縣，改萇平縣為王屋縣。 隋開皇十六年（公元596 年） ，析軹縣北置濟源縣，大業(yè)三年屬河內郡。從此有了濟源縣。唐代（618－907） 濟源一帶政區(qū)變化較大，屢建屢廢。唐末，濟源境內有濟源、王屋、河清三縣。其中濟源屬孟州，王屋、河清屬河南府。 北宋時期，濟源境內有濟源、王屋、河清三縣，屬孟州。 金時期，濟源屬金國（1115－1235），設濟源、王屋二縣。屬孟州。 元代，王屋縣并入濟源縣，屬懷慶路孟州。明清濟源縣屬懷慶府。1913年屬豫北道，1914年屬河北道。1927年直屬河南省。1932年屬河南省行政督察第四區(qū)。至1949年。

1942年7月，豫北道濟源縣抗日民主政府成立；1943年春，王屋縣抗日民主政府成立；1946年，抗戰(zhàn)勝利后，抗日民主政府更名為濟源縣民主政府；1947 年7月，撤銷王屋縣，將王屋縣的一、三區(qū)劃歸濟源。

1949年8月屬平原省，1952年平原省撤銷，屬新鄉(xiāng)專區(qū)，1970年，屬新鄉(xiāng)地區(qū)。 1975年5月，中共河南省委批準設立濟源工區(qū)辦事處，工區(qū)下轄虎嶺區(qū)（縣級） 、濟源縣。 1977 年5 月，中共河南省委決定撤銷濟源工區(qū)辦事處，濟源縣重歸新鄉(xiāng)地區(qū)領導。 1986年3月，新鄉(xiāng)地區(qū)撤銷，濟源劃歸焦作市領導。 1988年6月，濟源撤縣建市，實行計劃單列，以原濟源縣的行政區(qū)域為縣級濟源市的行政區(qū)域，仍歸焦作代管。1997年經(jīng)國務院批準不再由焦作市代管，由河南省政府直轄（副地級市）。2005年升格為省轄市（按正地級市所有行政管理機構配置）。