康熙二十三年（公元1684年），皇帝不满九卿“会推”人选，亲自点名汤斌出任江苏巡抚。汤斌临行时，康熙对他说：“做官应以正风俗为先。江苏习俗崇尚奢侈，应该努力教化引导，这不是一朝一夕可以做成的事，一定要慢慢地进行，使他们改变原来的观念。”并赐鞍马一匹、衣料十块、银五百两，又赐亲笔字三幅，说：“现在该远离京城了，打开它，便如同见到我的面一样。”汤斌前往江苏赴任，一如从前，布衣牛车，仅一老夫相随。汤斌主仆途遇一位知县，乘坐着华丽车马，仆从相随，威风凛凛。知县家奴见汤斌牛车在前，怒斥汤斌主仆避让。汤斌不与其计较，则以从一品巡抚牛车避让正七品知县马车，此举古今罕见。汤斌中途住店，又遇到这位知县，不想知县竟然得寸进尺逼汤斌让房，汤斌依然宽忍让之。后知县闻知汤斌乃新任江苏巡抚，惭愧万分，无地自容。康熙闻知此事，御赐汤斌宝马以奖之。
江苏地处长江、淮河下游、黄海之滨，因而水患频繁。汤斌下车伊始正遇灾年，百姓陷于水深火热之中，哀鸿遍野惨不忍睹。前任巡抚余国柱任职期间，大肆搜刮民脂民膏，属下官员为保乌纱或少受皮肉之苦，也不得不常送红包贿赂余国柱。汤斌到任后，立即放赈救灾，与民同甘共苦，并特地找来司道开诚布公地说：“我不要你们的钱，你们不准要知府的钱，知府不准要州县的钱，州县不准要百姓的钱。我不容一粒耗子屎，坏了一锅粥！”自总督以下，都不得受所属一钱。京朝官奉使经过的，不敢有所搜索，所部肃然。在江苏，汤斌体察民情，处处顾念百姓利益，洁己率属，破积习，减税赋，移风俗，济灾民，仅半年时间就受到江苏人民极深的爱戴。
汤斌在苏州做江苏巡抚，为官一任，造福一方，不仅为政清廉，而且居家也清贫。全家每日则以府衙后院中的野菜充饥，每餐只有一块豆腐，因而民众尊称其为“豆腐汤巡抚”。汤斌时年已三十多岁的长子汤溥由老家前来探望父亲，见父亲清苦如此，于是上街买来一只鸡为父亲调补。汤斌非但没有因儿子的孝顺而加以赞扬，反而怒罚儿子长跪谢罪，亲教其应如何体谅万民疾苦，说“哪有读书人不能咬得菜根而可以成大事的”，后撵回老家。他夫人也没有华贵衣服，冬天旧衣上常“棉絮飞出”。
汤斌在苏州的官场中，还调教出了一个有名的廉吏郭琇。郭琇是从一个贪官脱胎换骨变为一个清官的。曾经因为贪污纳贿，郭琇名声扫地。汤斌上任后，要治这样的罪、罢那样的官，郭琇求见汤斌，愿意痛改前非。返回县衙后，郭琇立即命人挑水冲洗厅堂及内室，表示去污更新。同时公开对老百姓说：“前任县官郭琇已死，现在是新的郭琇了。”从此，果然清正廉洁，尽心治理。汤斌对郭琇知错就改很是欣赏，他发告示嘉奖郭琇“洗屋做清官”的事迹，并以全省第一名的考核资格向朝廷推荐郭琇当上了御史。
汤斌外号“豆腐汤”，意思是这个巡抚只吃得起价格便宜的豆腐，买不起肉。其实，他不仅是一个自己不愿多吃肉的朴素生活者，也是一个不肯多动用朝廷和民间税金的清官。他敢于在康熙皇帝南巡苏州时，不像其他地方的许多官员那样，专门动用了人力物力去修路扩路开“御道”。理由是如此一来，要拆除大批民房，老百姓负担太重。他不感兴趣于所谓的建树“政绩”，康熙获知，嘉许他是真正的“爱民如子”。汤斌在苏州做了两年江苏巡抚，吏治真正，民俗清嘉。康熙二十五年（公元1686年），皇上为太子选择辅导大臣，朝臣中有人推荐汤斌。康熙下诏说：“自古帝王教育太子，一定要挑选谨严、恭敬的大臣，统领僚属，以专门辅佐协助太子。汤斌在任翰林院时，一向行为谨慎，这是我深知的。选任巡抚以后，廉洁律己以率领属下，并实心办事，的确应该提拔，用来感化在位者。”于是授汤斌为礼部尚书，管詹事府事。汤斌赴京时，因当时苏州出版业发达，“吴中价廉”，只买了一部《二十一史》带走。苏州百姓哭泣挽留，停市三天，满街巷烧香跪拜为他送行。可见，汤斌遗爱百姓，百姓更热爱汤斌。苏州百姓后来在胥门接官厅建“民不能忘”石牌坊，以纪念曾在苏州为官一任、廉政亲民的汤斌。
皇太子胤礽生性残忍、感情淡薄，其对臣民百姓稍有不从便任意殴打，其侍从更是仗势欺人肆意敲诈勒索，因而激起朝廷上下公愤。汤斌虽有修养、学富五车，但太子胤礽我行我素，根本不听其教诲。汤斌刚正不阿，不趋权贵。当时明珠为大学士，在朝中当权，考核官员时，外官纷纷向明珠送礼，却没有汤斌的属员。又因修河道之争，汤斌仗义执言，触怒了大学士明珠，因而遭到明珠及其党羽的陷害，并诬告汤斌对太子教育无方。余国柱传言说，皇上要将汤斌降隶八旗户籍，传言越传越广，听到的人无不落泪，住在京师的江苏人，联络大众，击鼓为汤斌鸣冤。康熙宠信明珠，但见汤斌得民心如此，为避免事态扩大，赦汤斌无罪，迁其为工部尚书。而绅民为保护汤斌而聚众抗旨，触犯了皇家大忌，因此，康熙心中不快，自此对汤斌耿耿于怀。康熙二十六年（公元1687年），汤斌因得不到康熙的信任，抑郁患疾去世。噩耗传至京师，京城士绅父老妇孺闻知无不感伤，哭泣如丧考妣，涕泣至郊迎者多达万余人，皆白衣素冠，古今未见。汤斌生活清苦，他的故居板门竹篱，简陋异常，去世时家里仅剩下八两俸银，因而家人无资为其安葬，幸而得好友资助，乃能成殡。汤斌清贫至此，堪为廉洁之楷模。
雍正十年（公元1732年），历史证明汤斌无罪，雍正下诏为汤斌平反昭雪；乾隆元年（公元1736年），乾隆登基的第一件事即下诏追赠汤斌为“太仆”，谥曰“文正”。这是封建社会最高的谥号，整个清朝得到这个谥号的只有八个人。道光三年（公元1823年）赐汤斌从祀孔子庙。后学林则徐、胡林翼、曾国藩、左宗棠等皆以汤斌为楷模，推崇备至。