这个成语出自《后汉书·祭（zhài）遵传》。
　　东汉初年，颍阳有个名叫祭遵的人，从小就喜欢读书。虽然他出身名门富豪，却从不讲究吃穿，一直过着俭朴的生活。
　　公元24年，刘秀带兵攻打颍阳一带，祭遵投奔刘秀（即后来的汉光武帝）。刘秀进攻河北时，委任祭尊为“军市令”，专门负责军营法令。祭遵为官清正，对自己要求非常严格，处处以公事为重，执法也是非常严明，从不徇私情。一次，有个专门侍候刘秀的小郎在外面犯了法，祭遵查明真相，依法将他处以死刑。刘秀知道后很不高兴，下令把祭遵抓了起来，欲降罪于他。主簿陈副劝谏说：“您平时要求部队严守号令，现在祭遵执法严明，不徇私情，言行一致，这不正是您所希望的吗？也只有这样的人，在军中才会有威望啊！”刘秀听了，觉得很有道理，便放了祭遵，从此对他更加器重，并拜为“刺奸将军”。后来祭遵屡建军功，不断得到提升，被封为颍阳侯。刘秀常对将领们说：“你们都要防备着祭遵啊，我的小郎他都敢杀，对其他人也一定不会讲私情了。”
　　祭遵一生尽职尽责，克勤克俭，一心为公，死后身上连一件值钱的衣服也没有，家中更无一点私财。南北朝时期，宋朝的范晔在其编著的《后汉书》中，对他的这种精神也多有褒奖之词。传文中赞扬他说：“遵为人廉约小心，克己奉公。”
　　“克己奉公”颂扬那些严格要求自己，一心为公的人。