袁耀得到战报，虽然大怒却也无可奈何，杨弘在旁劝说道：“主公不必忧心，素闻吕布与刘备貌合神离，不如遣人以利诱之！使吕布偷袭下邳，必然成功！刘备必不攻自破！”
袁耀大喜，即时写书信发付小沛。
下邳这里刘备出兵离去后，各种琐事，张飞都交给陈登管理；至于军机大事则是自己斟酌，倒也多日不曾沾酒。
但是时间长久了，便按捺不住肚子里的馋虫了，于是他借商谈军机为名，将徐州各官员都召集到了下邳来，只是并没有真的探讨军务，反而命人摆上了许多好酒好菜。
众人疑惑之间，张飞开言道：“我兄临去时，嘱咐我少饮酒，就是怕我酒后误事，今日众位难道齐聚此处，权且尽兴一醉，明日起也都各自戒酒，帮我守城。今日却都要满饮！”
陈登笑道：“将军馋虫又作怪了吧？”
张飞瞪他一眼：“难道你就不馋？”
言罢，张飞起身与众人推杯把盏。到了曹豹面前，曹豹推辞道：“我从天戒，不饮酒。”
张飞愣了一下，接着笑道：“厮杀汉如何不饮酒？我要你吃一盏。”
曹豹见张飞模样惧怕，只得饮了一杯。张飞虽然是亲自向众人敬酒，自己用的却一只巨杯，连饮了几十杯，不觉已经大醉，却依旧又起身与众人把盏。不多时酒又至曹豹这里，曹豹再度推辞道：“确实不能饮了。”
张飞怒喝道：“你恰才吃了，如今为何推却？”
曹豹再三不饮，张飞酒性生起，便发怒道：“你违我将令该打一百！来人，拿下此人！”
陈登见状，立即阻止道：“将军息怒，不记得主公临去时，分付你什么了吗？”
张飞此时已经大醉，怒道：“元龙，你是文官，只管文官事，休来管我武将军法！”
曹豹见无奈，只得告求道：“翼德公，看我女婿之面，且恕我罢。”
张飞奇怪道：“你女婿？他是谁？”
曹豹有些得意道：“吕布！”
张飞听了大怒道：“我本不欲打你，你却把吕布来唬我，我偏要打你！我打你，便是打吕布！”
诸人实在劝不住。张飞拿了鞭子，亲自将曹豹鞭至五十，打得曹豹是皮开肉绽，众人看不过，一起帮着苦苦告饶张飞才罢休。
席散之后，曹豹回去，想起陶谦在日，自己即便有错也没有被责罚过，何况今日是无端受辱，不由深恨张飞，心中更是越想越气，当即亲自写书一封，令心腹送往小沛吕布处。
吕布此时正因曹操叫刘备谋杀自己之事而苦恼，忽然士兵报说袁耀来信，吕布开信读道：“先父举兵诣阙，未能屠裂董卓。将军诛卓，为先父报耻，功一也。昔金元休南至封丘，为曹操所败。将军伐之，令耀复明目于遐迩，功二也。耀生年以来，不闻天下有刘备，备乃举兵与耀对战。凭将军威灵，若能破备，则功三也。将军有三大功于耀，耀虽不敏，奉以死生。将军连年攻战，军粮苦少，今送米二十万斛。非唯此止，当骆驿复致。凡所短长亦唯命！”
吕布得书大喜，便召集众将，将袁耀信件传给众将看，陈宫道：“听闻刘备与关羽率军与纪灵于盱眙大战，战况不利，而且袁耀粮草在扬州尽为万年公主所烧，怎么可能有粮草送给我们？”
吕布讶异了一下，然后问道：“公台的意思，袁耀是计？”
“计肯定是计？”陈宫道，“不过对我们有好处！”
张辽道：“听闻下邳是张飞守把，恐怕不易攻取！”
陈宫笑笑道：“一介匹夫而已，不难图之！”
吕布正要说什么，忽然有小兵前来：“主公，下邳曹豹大人有书信前来！”
陈宫眼睛一亮：“机会来了！”
吕布看着自己岳父曹豹的书信大喜道：“天助我也！”
陈宫趁机道：“小沛原非久居之地。今徐州既有可乘之隙，失此不取，悔之晚矣。”
吕布点头：“全军准备出战！”随即披挂上马，领五百骑先行；使陈宫引大军继进，高顺亦随后进发。
小沛离下邳只有不过四五十里，过了骆马湖，很快就到了。吕布率军到城下时，才刚刚四更天，月色澄清，城上守兵更不知觉。
吕布到城门边叫道：“刘使君有机密使人至。”
城上早有曹豹军报知曹豹，曹豹上城看见是吕布，即刻便令军士开了门。
吕布一声暗号，众军一起涌入城中，顿时喊声大举。
张飞正醉卧府中，左右急忙摇醒，报说：“不好了张将军，吕布赚开城门，杀将进来了！”
“什么！”张飞大怒，急忙要披挂铠甲，却因为酒劲上涌，根本穿不好，他一怒之下，索性也不穿了，直接绰了丈八蛇矛，才出府门上得马时，吕布五百军马已到，正与张飞相迎，便朝着这里而来。
张飞此时酒犹未醒，与吕布交手了几个回合，根本不能力战。吕布也知道张飞的武勇，也不敢太过相逼，十八骑燕将，保护着张飞，杀出了东门，只是刘备的家眷都在府中，都不及护顾了。
倒是曹豹本人见张飞只有不过十数人护从，又欺负他大醉，于是带着百十人赶来，要报备鞭打之仇。
张飞也看见了曹豹，自然是大怒，拍马来迎。战了三合，曹豹料敌不过拨马败走，张飞赶到河边，一矛正刺中曹豹后心，曹豹惨呼一声，连人带马，死于河中。
张飞虽然此刻酒稍微醒了些，但知道大势已去，已经无力回天了，便在城外招呼士卒，出城之人都跟随张飞望盱眙而去。
吕布则是入城安抚居民，命令令军士一百人守把刘备宅门，诸人不许擅入。
大雨滂沱之中，张飞引着数十骑，来到盱眙刘备军中，见到刘备，噗通一声跪地不起，刘备见张飞狼狈不堪，心中顿时一惊，急忙问道：“三弟不是在守御徐州吗？为什么到了这里来？”
张飞哽咽不已：“曹豹与吕布里应外合，将下邳夺去了！”
闻听此言，底下众将人人失色。
刘备叹道：“得何足喜，失何足忧！”
关羽问道：“嫂嫂安在？”
张飞道：“皆陷于城中矣。”
刘备默然无语，关羽顿足埋怨道：“你当初要守城时说的什么？兄长分付你什么？今日城池又失了，嫂嫂又陷了，如何是好！”
张飞闻言，惶恐无地，拔剑便要自刎谢罪，刘备早已向前抱住，夺剑丢到地上：“益德好生糊涂！我三人桃园结义，不求同生，但愿同死。现在虽失了城池家小，安忍教兄弟中道而亡？况城池本非我有；家眷虽被陷，吕布必不谋害，尚可设计救之。贤弟一时之误，何至遽欲捐生耶！”
说罢刘备放声而哭起来，关羽张飞也是感泣不已：“兄长说得对，留待有用之身，誓报此血海深仇！”
忽然士兵来报：“启禀主公，急报，吕布命令高顺带兵朝着我们这里而来！”
张飞听了，顿时大怒：“来得正好，兄长，待小弟整兵出马，前去斩了这高顺！”
“不可，我军在此已经与纪灵军相持多日，粮草已经告罄，倘若高顺与纪灵两相夹攻，我等死于此地矣！不如趁着阴雨撤兵，弃盱眙而走，东取广陵，再为基本！”
刘备拦住了张飞，沉声说道。
张飞无奈，只得压下心头怒火，与关羽一起整兵准备撤退去了。
高顺大军到来时，刘备军已经离去，只剩下了一座空营，正巧纪灵也带兵来到，高顺便道：“令主公邀吕将军夹攻刘备，吕将军已经依照约定为之，望阁下也能遵守承诺，将约定赠与吕将军的粮草拿出来吧！”
纪灵装作不知道道：“在下并不知有这事，将军且回军，容某见主公计之。”
高顺心里咯噔一下，这事纪灵怎么可能不知道，但是他又不可能真的抢纪灵的粮草吧？只好好言之后，撤军回下邳去了，纪灵则是继续指挥大军，追击刘备去了。
刘备引兵东取广陵，却被纪灵劫寨，折兵大半，糜竺将自己家资变卖用以军用，并让自己妹妹糜贞给刘备为妾，刘备感激之余，向附近百姓百姓购得军粮才没有全军都逃跑。
因为刘备是第一个用钱换粮草的诸侯，要知道其他的诸侯征粮无异于是明抢的，因此很快刘备的仁义之名传播开来，反而有更多的士兵前来投奔，多得都成了吕布的心腹之患。
高顺回见吕布，将纪灵的话如实相告，吕布不禁有些迟疑，这时陈宫来了，递给吕布一封书信道：“吕将军，刚刚收到的袁耀的书信！”
“念！”
“高顺虽来，而刘备未除；且待捉了刘备，那时方以所许之物相送。”
吕布听了，怒骂不已道：“黄口孺子，如此无信，我正好欲起兵伐之！”
陈宫立即劝道：“不可，此子据寿春，兵多粮广，不可轻敌。近闻刘备在南徐广播仁义之名，队伍反而日益壮大，不如请刘备还屯小沛，使为我羽翼。他日令其为先锋，那时先取袁耀，后取袁绍，高府君则不必再忧心冀州与淮南这两处了！”
吕布想想也对：“好，就照公台所说，令人赍书迎刘备回来！”
数日之后，刘备便收到了吕布书信，不禁喜上眉梢，关羽张飞倒是心中不快，恨声道：“吕布乃无义之人，不可信他。”
刘备道：“彼既以好情待我，我奈何疑之！”
于是命令整顿军队，克日启程便来到了下邳城外。
吕布早得到了消息，生恐刘备疑惑，先令人送还家眷。甘夫人见刘备，具说吕布令兵把定宅门，禁诸人不得入，又常使侍妾送物，未尝有缺。刘备让糜贞来见甘夫人，又对关、张道：“如何？我早知吕布必不会害我家眷也，现在我等入城去谢吕布好心收留吧！”
“哼，要去你们去，我不去！先奉两位嫂嫂到小沛去了！”张飞言罢，当真带人离去了。
刘备见状，对关羽道：“云长，益德一生气起来，就会喝酒，一喝酒就会鞭打士卒，你也跟着去，士兵们已经够辛苦了，可不要再被益德打死了几个！”
关羽有些不放心：“兄长，万一吕布有歹心呢？”
刘备笑了：“他还不至于这么傻！”
关羽想想也是，便也前往小沛去了，刘备入城来见吕布，吕布已经摆好了宴席，亲自向刘备请罪：“玄德不要多心，我非欲夺城，只因令弟张飞在此恃酒杀人，我恐有失事，故来守之耳。”
刘备心知这一定是陈宫教给吕布的说辞，面上沉沉似水：“将军做得对，刘备欲让将军久矣。”
吕布命人取来印绶，假意仍让给刘备，却是将之攥得紧紧，刘备看在眼里，只是再三推辞，宴席也没有参加，便借机离去小沛住扎了。