生于唐玄宗开元十七年（729），唐玄宗天宝十四年（755）乙未科状元及第。累官至宰相后贬为福建观察使。其父常无为是三原县丞。常衮登第后由太子正字授补阙起居郎，永泰元年（765）授中书舍人。广德元年（763）以右补阙充翰林学士，不久任考功员外郎。期间宦官鱼朝恩恃宠专权，群臣竞献珠宝邀宠，常衮上书曰：所贡宝物，源出于民，是敛怨以媚上也，请皆还之。代宗赞许，加封常衮为集贤院学士。大历九年（774）升礼部侍郎。连续三年主科考。处事谨慎、墨守成规。大历十二年（777）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振，在其奖掖下，唐德宗贞元年间潘湖榜眼欧阳詹、徐村状元徐晦等一代又一代士子“腾于江淮，达于京师”。卒于唐德宗贞元元年（785）享年五十五岁，追赠为尚书左仆射。
常衮性清高孤傲，不妄交游。为政苛细崇尚节俭，反对腐败。有文集十卷、诏集六十卷行世。《全唐诗》存其诗九首。