张良对刘邦的现状也感到担忧，赶紧来劝：“秦王不是个东西，作恶多端，不得民心，所以才会被你打倒。现在你已经消灭了暴秦，应该低调行事，厉行节俭。现在你刚进到咸阳，就开始想着作乐了，你还像个正经人吗？”张良随即又发明了一句谚语：“良药苦口利于病，忠言逆耳利于行，希望你能把樊哙的话听进去。”
张良和樊哙不一样，他讲的话很有逻辑很有深度，一下就把刘邦给喊醒了。刘邦向来尊重张良的意见，当即下令把秦朝的各类库房、财物都封存好，分毫不取，然后率军撤出咸阳，驻扎在灞上（今西安市东边的白鹿原）。
到达灞上后，刘邦召集关中的名士、豪杰开会，向他们宣布：“老秦太残暴了，大家受苦了。现在我和大家约定，不管是谁，都要遵守这三条法律。杀人者死，伤人者要论罪，盗窃也要入刑。除此之外，秦朝原先的法律统统废除，各级官吏仍然按照原先职责开工。就这样，散会！”这就是成语约法三章的由来。
刘邦的约法三章虽然简单粗暴，但却赢得了大家的支持，接下来刘邦又开展了大量的宣传工作，把约法三章传遍了关中每个角落。关中的老百姓都很开心，觉得这个领导还挺够意思的，纷纷送酒送肉想要犒劳刘邦的军队。好人做到底，刘邦一再推辞乡亲们的好意，还说：“乡亲们费心了，我们的军粮还够吃，不牢大家破费了。”
听了刘邦这番话，老百姓心里暖暖的，都希望刘邦留下来统领关中，原先秦朝的官吏也相安无事，对刘邦都非常尊敬。刘邦这下明白了一个道理，打天下民心很重要，有时候仁义比武力更好使。在古代当领导能有这种觉悟是相当难得的事情，这也是刘邦对于项羽的优势。