自离了梁山泊，杨志行了数日，来到东京。安顿下来后，他托人用金银财物买上告下，想要官复原职。把财物都用尽了，才得到申请的文书，被引去见高太尉。高俅看了从前的文书后大怒，一笔批倒文书，将杨志赶出殿帅府。
杨志心中烦闷，回至客店，思量片刻，想投他处安身。无奈盘缠用尽，只好拿了祖上传下来的宝刀，上街叫卖。
京师一个有名的泼皮，唤做没毛大虫牛二，专在街上横行霸道，开封府也治他不下，因此满城人对之躲避不及。
这日，牛二见杨志卖刀，便想抢了那宝刀，杨志哪容他撒野，一时性起，将他杀了。杨志去开封府自首，众人因他除了一害，皆替他说情，最后被定为：一时斗殴，误伤人命。把他关了两个月，在他脸上刺了金印，发配到了北京大名府留守司充军。
这北京大名府留守司，极有权势，军民皆管。那留守唤作梁中书，是当朝太师蔡京的女婿。梁中书原认得杨志，一见之下，忙问缘由。杨志便将实情一一禀告。梁中书听了大喜，当厅就开了枷，要留他在身边使用。
自此，杨志早晚在梁中书府中殷勤听候差遣。梁中书看在眼里，有心要提拔他，想升他做军中副牌，又怕众人不服，因而下令，要军中大小诸将于第二天来教场比武。当晚，梁中书唤杨志到厅前，赐给他一副衣甲。
次日天明，梁中书带领杨志，往教场而来。到了教场，梁中书在演武厅前下马，到厅上交椅上坐下。左右两边，齐整地排着两行官员。前后周围，列着百员将校。正将台上，站着两个都监：一个叫李天王李成，一个叫闻大刀闻达，二人皆勇猛无比。
梁中书传令，叫副牌军周谨上前听令。周谨得了将令，提枪上马，将手中枪使了几路，众人喝采。
梁中书又唤杨志来，道：“杨志，如今盗贼猖狂，国家正是用人之际，你敢与周谨比试武艺否？如若赢了他，你便替他的职务。”杨志道：“恩相差遣，不敢有违。”
杨志随即披挂上马，与周谨先比枪。周谨怒道：“你这个贼配军，敢和我比枪！”
二人正欲交锋时，只听兵马都监闻达喝道：“且住！”来到厅上禀告梁中书：“刀枪无眼，轻则残疾，重则丧命，于军不利。不如将两根枪的枪头取下，用毡片包裹，蘸了石灰，都穿上皂衫，谁身上白点多，谁就算输。”梁中书道：“言之有理。”随即传令下去。
两人准备就绪，来就阵前。周谨跃马挺枪，直取杨志，杨志也拍战马，来战周谨。两人在阵前你来我往，搅成一团，斗了四五十回合。看周谨时，身上好似打翻了豆腐，斑斑点点。再看杨志，只有左肩下一点白。
梁中书大喜，命杨志替周谨的职位。兵马都监李成来到厅前，禀道：“周谨枪法生疏，但擅长弓马，若轻易罢其职，恐众人不服，以致军心涣散。再让他二人比试箭法如何？”梁中书点头称是，再次传令，叫二人比箭。
杨志说道：“你先射我三箭，我再还你三箭。”周谨听了，恨不得把杨志一箭射个透。杨志本是军官出身，完全不把他放在眼里。
当下，杨志拍马往南去，周谨纵马追来，左手拿弓，右手搭箭，拉满了弓往杨志后心飕地一箭。杨志听得背后弓弦响，霍地一闪，那箭射了个空。周谨见一箭未中，心中慌乱，急取第二支箭，往杨志后心又是一箭。杨志听得箭声，也不躲闪，等那箭飞来时，用弓梢只一拨，就将那支箭拨下草地里去了。周谨见又没射中，心里越慌，再取第三支箭，使尽平生气力，往杨志后心射来。杨志转身，伸手将那箭接住了，纵马来到演武厅前，掷下周谨的箭。
梁中书大喜，传令叫杨志也射周谨三箭。周谨拍马往南走，杨志纵马赶去。杨志先把弓虚扯一下，周谨听到，转身用防箭牌来迎，却接了个空。周谨寻思：“看来那厮只会使枪，不会射箭。等他第二箭再虚射时，我便喝住他，便算我赢了。”杨志却寻思：“若射中他后心窝，必伤了他性命。他与我无冤无仇，只射他不致命处罢了。”
只见，弓开如满月，箭去似流星。说时迟，那时快，一箭射中周谨左肩。周谨措手不及，翻身落马。众军卒赶紧扶起周谨。梁中书见了大喜，当下拟了文书，让杨志替周谨职位。
杨志兴高采烈地下了马，正待拜谢时，有人叫道：“且慢，我和你比试比试！”杨志一看，那人身高七尺以上，面圆耳大，威风凛凛，相貌堂堂，走至厅前禀道：“小将不才，愿与杨志比试武艺，若输给他，便让他替了小将之职，至死不怨。”梁中书看时，却是大名府留守司正牌军索超，人称急先锋，因他性子急，打起仗来争先厮杀。
李成听了，也到厅前来禀道：“这杨志如此好武艺，正好与索正牌比试，看孰优孰劣。”梁中书寻思：“我一心要抬举杨志，众将却不服，也罢，待他胜了索超，他们就无话可说了。”随即命杨志与索超比试武艺。
两人来到教场中心。索超忿怒，抡起手中大斧，拍马来战杨志。杨志逞威，提起手中神枪，来迎索超。二将相交，各使尽平生本事。一来一往，一去一回，杀气遮天。
二人半了五十余回，胜负难分。梁中书看得呆了，众军也喝采不已。阵上军士互相望望，皆道：“我们从军多年，征战无数，却不曾见过如此精彩的厮杀！”李成、闻达不住叫好。
闻达担心两人中难免有人受伤，慌忙吩咐旗牌官拿着令字旗，分开他二人。李成、闻达走至梁中书前，禀道：“他二人武艺相当，皆可重用。”梁中书大喜，传令将二人都升做管军提辖使。
自此，梁中书十分爱惜杨志，早晚不离。