张辽再去山上，将事回报关公。关公说：“虽然如此，请丞相暂且退军，容我进城去看过二位嫂嫂，告诉她们这件事，然后再投降。”张辽又回去告知曹操，曹操相信云长乃忠义之士，于是传令退军三十里。关公进入下邳城，见城中百姓都安好，心中放心不少。又来到府中见二位嫂嫂，将前事一一禀告。甘、糜两位夫人让关公自己做主，只是怕以后曹操不让他去寻皇叔。关公说：“嫂嫂放心，关某自有主张。”随即辞别二位，带了几十个军兵来见曹操。曹操亲自出辕门迎接。关公下马便叩拜曹操，曹操慌忙扶起他，说：“我一向仰慕云长是忠义之人，现在得你到我门下，我平生的愿望都得到满足了。”关羽又重申了投降之前的三件事，曹操当面一一答应。在谈到第三件事时，关公强调说：“关某如果得知皇叔的下落，一定会赴汤蹈火，前去跟从。到时恐怕来不及与丞相拜别，希望丞相能够见谅。”曹操感叹说：“玄德如果还在，一定让你离开；只怕他已经死在乱军之中。你暂且放心，容我去打听消息。”
第二天，曹操班师回许昌，关公收拾车马，请二位嫂嫂上车，亲自在一旁护送。半路在驿馆歇息时，曹操安排关公与二位夫人共处一室，想让关公违乱君臣之礼。但关公只是点了蜡烛，站立在门外直到天亮，毫无疲倦之色。曹操见关公如此守礼，心中愈加敬服。到了许昌之后，曹操拨出一府给关公居住。关公将府第分为前后两院，后院拨军兵十人把守，自己住在前院。曹操引荐关公朝见汉献帝，献帝命他为偏将军。关公谢恩归宅。
第二日，曹操大摆宴席，请众谋臣武士入座，以贵宾之礼对待关公，请他坐在上座；又备好绫锦、金银器皿送给他。关公将这些东西送给二位嫂嫂收藏。自从关公到了许昌，曹操三日一小宴，五日一大宴请他吃喝，又送上十个美女，令其服侍关公。关公将她们送进后院，让她们去服侍二嫂，自己也三天一次，在后院的门外躬身施礼问安，二位夫人则打听皇叔的下落。谈话结束，二夫人说一声：“叔叔自便。”关公这才敢退下返回。曹操听说了这些事后，又是叹服不已。
一天，曹操看见关公身上的绿锦战袍已经破旧，命人估量了他的身段，取上好的锦缎做了一件战袍送给他，关公收下战袍，却只将它们穿在里面，外面仍旧穿上旧袍。曹操看了，笑着说：“云长为何如此节俭？”关公说：“并非因为节俭。旧袍是刘皇叔赐给我的，我穿着它就好像看见兄长一般，不能因为有了丞相所赐的新袍，就忘了兄长所赐的旧袍，所以仍然穿它在身上。”曹操感叹：“云长真是义士啊！”然而口中虽然称赞，心里实则不舒服。
又一天，关公正在府中，忽然侍从前来报告：“后院两位夫人哭倒在地上，不知为了什么事，请将军快快赶去。”关公整理好衣服奔去后院，站在门外，问二嫂为何哭得那样悲伤。甘夫人说：“我夜间梦见皇叔身体陷进了土坑之中，醒来与糜夫人说起，想必皇叔已经在九泉之下了！这才一起痛哭。”关公安慰道：“梦中的事情怎能当真呢？这只是嫂嫂们太思念兄长的缘故。请二位不要忧愁。”
正在说话间，曹操命人来请关公赴宴。关公拜别二嫂去见曹操。曹操看见关公面有泪容，便问他缘由。关公回答说：“二位嫂嫂因思念皇叔痛哭，我也不禁心中悲伤。”曹操笑着安慰他，频频劝他喝酒。关公喝醉，手捋着长髯说：“生不能为国家效力，还背离自己的兄长，我枉自为人啊。”曹操听见，故意岔开话题，问：“云长对自己的长髯有数吗？”关公回答：“大约几百根。每年秋天会掉四五根，所以冬天常用皂纱囊将它们包裹，以免断掉。”于是，曹操用纱锦做成囊，送与关公护髯。第二天早晨上朝之时，献帝看见关公胸前垂着一个纱锦囊，好奇地问他。关公说：“臣的胡子太长了，丞相赐我锦囊裹好它们。”献帝叫关羽在大殿上解下锦囊，披拂长髯。长髯超过肚腹。献帝称赞说：“真是一美髯公啊！”自此，人们都叫云长为“美髯公”。
又一日，曹操宴请关公。酒宴结束，曹操送关公出府之时，看见关公的马瘦弱，问道：“你的马为何如此瘦弱？”关公回答说：“我身体太重，马承载费力，因此常常很瘦弱。”曹操随即命令左右：“备一匹马来。”过了一会儿，一匹马牵到。那马身如火炭，状貌相当雄伟。曹操指着马说：“云长认得这匹马吗？”关公吃惊地说：“这难道就是吕布的那匹赤兔马？”曹操说：“正是。”于是将鞍辔交到关公手中。关公再三地拜谢。曹操有些不高兴地说：“我几次送你美女、金帛，你从没有下拜过，如今我送你一匹马，你高兴得多次下拜：为什么看轻人而重畜牲呢？”关公回答道：“我知道这匹马日行千里，现在有幸得到它，如果知道了我兄长的下落，我只要一天就可以奔去见他了。”曹操一听愣住了，心中十分后悔。关公辞去后，曹操问张辽说：“我待云长这么好，他却常怀离我而去之心，这是为什么？”张辽说：“让我去问问他。”第二天，张辽去见关公，对关公说：“我推荐你在丞相门下，不比在刘皇叔那里差吧？”关公说：“我深感丞相的厚意。只是我虽然身在此处，心里却念着皇叔，不曾忘记。”张辽说：“兄长说这些可就不对了。玄德对兄长未必比得上曹丞相，为什么总想着离去呢？处世不分轻重，可不是大丈夫所为啊。”关公说：“我虽然知道曹公对我十分厚重，只是我受刘皇叔大恩，发过誓要同生共死，不能违背。我一定不会在这里久留。不过，我必会先报效了曹公，然后离开。”张辽问：“倘若玄德已经不在人世，你跟从谁呢？”关公坚定地说：“我愿跟随皇叔于地下。”张辽听了这番话，知道关公终究不会留下，也不多劝，告辞回去见曹操，将关公的话具实告知。曹操叹息着说：“为主公效力不忘根本，云长真正是天下义士。”一旁的荀彧说：“关公说立了功才离开，如果不让他立功，他自然不能离去。”曹操认为说得对。