在康熙五十年（公元1711年），江苏乡试发生了作弊案，副主考赵晋内外勾结串通，大肆舞弊，发榜时，苏州士子大哗。康熙皇帝命令张伯行、噶礼同户部尚书张鹏翮、安徽巡抚梁世勋会审此案。由于牵涉到噶礼受贿银五十万两，案子错综复杂，审理一个多月竟然没有任何结果。张伯行愤而上奏弹劾噶礼。噶礼就买通官吏，得到张伯行弹劾奏稿。然后又捏造事实反过来诬告张伯行。主审官畏惧噶礼的权势，逢迎巴结，案情无法审结。康熙无奈中只得下令：张伯行与噶礼解任，再命主审官审理。扬州百姓听到消息之后罢市抗议，哭声震动了扬州城。第二天，扬州百姓涌到会馆，因为平时就知道张伯行清廉不贪，肯定不会接受礼物，便用水果蔬菜相送。张伯行依然婉言拒绝，百姓们哭道：“公在任，止饮江南一杯水；今将去，无却子民一点心！（不要推脱百姓的一点心意）”万不得已，张伯行才收下一把青菜。受审结束回来听候结果的路上又路过扬州，百姓们为防张伯行有什么不测，竟有数万人聚集江岸护送。到最后，案子结果下来，竟然是噶礼免议，张伯行革职治罪。康熙皇帝痛斥大臣们是非颠倒，然后亲降圣旨：张伯行留任，噶礼革职。消息传出，江苏官民争相庆祝，纷纷写下红幅贴在门旁：“天子圣明，还我天下第一清官。”更有上万人进京到了畅春园，跪谢皇恩，上疏表示愿每人都减一岁，以便让圣上活到万万岁。福建百姓也奔走相告，在供奉的张伯行像前焚香祈祷。可见张伯行受人民爱戴之深。

康熙五十四年（公元1715年），有人以“狂妄自矜”的莫须有的罪名弹劾张伯行，但康熙还是认为他无罪可治，留任南书房行走（一种和皇帝关系很密切的官职），后任户部右侍郎。康熙六十一年（公元1722年），张伯行奉旨赴千叟宴，康熙皇帝称赞他是“真能以百姓为心者”。

雍正皇帝即位后，对张伯行也很敬重，军国大事都征求他的建议。雍正元年（公元1723年）九月，升张伯行为礼部尚书，两年后，一代清官张伯行不幸病逝，享年七十五岁。皇帝赐谥“清恪”，意思是为官清廉，恪勤职守，很准确地概括了张伯行的一生。

张伯行的最大特点是勤于供职，造福百姓，对金钱毫不染指。他疾恶如仇，从不与贪官污吏为伍，而且敢于抵制上司的横征暴敛，浑身上下洋溢着一股浩然正气。张伯行所书的《禁止馈送檄》檄文虽短，却字字句句掷地有声，铿锵有力。张伯行为官二十余年，从不带家眷上任，也从不接受别人的馈赠。从某种程度上讲，他的言行集中体现了我国古代清官的传统美德和优秀思想。正所谓无欲则刚，这正是他几遭弹劾，终屹立不倒的原因之一，也是时至今日，他的高风亮节仍令人感动和钦敬的根本所在。