唐宪宗元和元年(806)，湜考中进士，历陆浑县尉、工部郎中、东都判官等职。他与李翱都是韩愈的学生，与韩处于师友之间。李翱发展了韩文平易的一面；皇甫湜则发展了韩文奇崛的一面。皇甫湜在阐述韩愈反对因袭、主张独创的理论时说：“夫意新则异于常，异于常则怪矣；词高则出于众，出于众则奇矣。”。三年，参加由皇帝亲自主持的贤良方正直言极谏科考试，与牛僧孺、李宗闵直陈时政得失，无所避忌，受考官赏识，被出为陆浑(今河南嵩县)县尉。此案还连累了湜的舅父翰林学士王涯，亦被贬为虢州司马。次年，湜迁殿中侍御史内供奉职。此间，湜与韩愈、李贺等人过从甚密。八年，湜回睦州故里。
元和十二年(817)，皇甫湜被山南东道节度使李愬召为幕僚，赴襄阳任职，次年五月罢镇。至十五年，他困顿江陵府公安县。其间，韩愈被贬潮州，柳宗元贬死任所。师友的坎坷遭遇，使他一度徬徨、苦闷，感到悲哀和愤慨。唐穆宗长庆元年(821)，湜被斥逐到吉州(今江西吉安)，与主张改革的张弘靖、张儇、杨敬之甚相投机。
唐敬宗宝历二年(826)，应山南东道节度使李逢吉之召，为幕僚，至襄阳视事。直至唐文宗
大和二年(828)十月罢镇，回到洛阳，常与白居易往来相访。六年至七年，湜任工部郎中。八年，因酒后失言，数忤同列，求分司东都，至洛阳。因未升迁，官俸微薄，十分窘迫，入冬后竟至于“门无辙迹，庖突无烟”。东都留守裴度卑辞厚礼，召湜为留守府从事。次年，裴度重修福先寺，欲请白居易作碑文。湜闻讯大怒，说：“近舍湜而远取居易，请从此辞!”裴度谢请之。“湜即请斗酒，饮酣，援笔立就”，计3254个字，裴度重酬之。此后，他写了最后一篇文章《谕业》，总结了文学创作的基本原理和经验，便归故里。死后葬县南30里。有《皇甫先生文集》传世。今传有《皇甫持正文集》六卷，文三十多篇。