民间口口相传的清官，综合了能吏（勤政能干的好官）、循吏（奉公守法的好官）、廉吏（清正廉洁的好官）诸多角色。论为官者的品质，史学家班固评“自汉兴，言治民吏，以霸为首”，称赞他“以外宽内明得吏民心，户口岁增，治为天下第一”。汉宣帝也赞扬他是“贤人君子”、“国家栋梁”。黄霸一生持政宽和，施行德教，奉职守法，以廉为本，体察民情，他的事迹至今仍为百姓所传颂。

汉朝时入仕的途径，主要是察举和征召，这是针对名世者。无名之士要做官只有才与财两途：一是上书求官，如朱买臣、东方朔等，上书以售己才；二是纳赀，捐献钱财给国家以获得官职，说白了就是买官。汉武帝后期穷兵黩武，国库空虚，大肆卖官鬻爵，黄霸出身豪强，颇富资财，且“少学律令，喜为吏”，于是也花钱捐官步入仕途。买官，在黄霸为不得已，在世人看来也不高尚。起初，上司就因他走的是“财路”，看不起他，只把一些既琐碎又容易担责的工作给他干，但黄霸兢兢业业，很快赢得了廉洁称职的好名声。后来，汉宣帝任黄霸为颍川太守，这个官他做了两任前后八年，正是在颍川任上，黄霸成就了清官名声。

汉武帝统治末年，国库逐渐枯竭，为了维持朝廷的运转，遂加重了老百姓的徭役赋税，人民负担繁重，苦不堪言，社会动荡不安。为了维护社会稳定，汉武帝就任用酷吏，加重刑罚来惩治“犯法”者。到了汉武帝的继任者汉昭帝统治时期，大臣们钩心斗角日益加剧，各级官员用法愈来愈严，越来越重，老百姓一不小心，就会触法犯禁，遭受惩罚。当时各级官吏都把用法严酷当作能干的表现。然而黄霸不为官场流俗所动，关心百姓疾苦，体谅百姓的难处，以用法宽和而知名于当世。汉宣帝即位后，因为他自己曾经在民间生活过一段时间，深知民间疾苦，知道老百姓对酷吏深恶痛绝，于是逐步调整以前的统治政策。颍川郡原是秦代设置的郡，管辖20个县，地域辽阔，人口众多，也属一个富庶之地。当时有好几个县的居民聚集围攻县府，情况紧急，郡太守逃往京城向汉宣帝求救，要求派武将镇压“刁民”。丞相向汉宣帝推荐黄霸去平叛，且不用一兵一卒。汉宣帝知道黄霸清廉刚正，但没听说过他会平叛。于是丞相呈上黄霸一份奏章，说百姓造反非“刁民”刁钻难治，而是官吏无能理法不顺；官吏若教化为先，事先把法令告诉百姓，为官者作出表率，身体力行，“刁民”绝对不会造反。汉宣帝认为有理，于是委任黄霸为颍川太守。

黄霸不坐轿，不骑马，不鸣锣开道，而是骑着骡子仅带一个管家微服去上任。进入颍川地界，一路上看到逃荒要饭的百姓一拨又一拨，他就和这些百姓聊起来，问他们为何要背井离乡？逃荒者告诉他，因为他们的土地被豪强恶霸掠夺去了，无田可种，不逃荒就得饿死。黄霸说，为何不去县衙告状？逃荒者哭诉：进衙门告状，未开口先挨打，谁还敢去啊！黄霸明白了，便劝他们回颍川，新任太守会替他们申冤做主。当然，逃荒者不相信一个过路人的话，继续往邻县逃奔。在路上，也有让黄霸心动眼亮的地方。到了岭武村，满山树木葱郁青翠，牛羊在田间山边吃草，家家炊烟冉冉，一派农村清平乐园景象。他在岭武村歇脚喝茶时得知原来这里不属颍川郡管辖。黄霸登山远眺：同一块土地上，竟有不同村庄，一边逃荒要饭，满目凄凉；一边安居乐业，牛欢马叫。强烈的对比使他明白，不是颍川“刁民”难弄，而是豪强恶霸作祟。于是他向汉宣帝写了一份奏章，火速发往京城，恳请皇上恩准在颍川开仓放粮，把颍川郡几万流民安置好，这样皇上的新政新法令就能在颍川实行，颍川的“刁民”也就治理好了。汉宣帝答应了这个合情合理的要求。所以，黄霸到颍川第一件事就是出安民告示，教化百姓，学习法令，并还派人到邻县和官道上贴告示，呼吁流民回乡，凡回家开荒种田者发放粮食，发放种子，免税免劳役。为了赢得百姓的信任，他带头脱掉官服官靴，下地拉犁耕地。他的做法一传十，十传百，百传千，外出逃荒的流民纷纷回来了。为了让流亡的农民安心，不再外逃，他责令各县县令安置逃荒者，违者重罚革职，他还亲自到各县暗访，检查督促。黄霸说：“流亡农民不想造反，也不想背井离乡去逃荒，各县应该明白，这些逃荒流亡农民既是劳动力，又是社会不稳定的因素，把这些流亡农民安置好了，也是你们尽心尽职的政绩了。”