那时项羽正在率领楚军去北上援赵抗秦，陈平便投奔到项羽帐下，之后他参加了巨鹿之战，入关灭秦等重要军事行动。项羽率兵返回彭城时，陈平也跟随到了彭城。由于陈平才华过人，深得项羽赏识，到达彭城后，项羽给了他一个卿爵的分封。项羽北上攻齐时，让陈平留在彭城待命。

此次，陈平受命攻打殷王司马卬后，便率部马不停蹄的奔往殷地。

殷王司马卬本身就不服刘邦，见刘邦已带大队人马东去，自己也好暂且喘息一下。谁知陈平又率军攻来，既然如此，叛汉降楚就行了。等陈平带领人马到达城外时，司马卬依旧开城欢迎。司马卬知道，楚军也不会在此多留，项羽派陈平来，无非是怕他和刘邦结为联盟一起东进。

陈平见司马卬已归顺，自然不想在殷地过多的停留，他一面派人向项羽报告，一面率部队返回彭城。

项羽得到消息后大喜，加封陈平为都尉，并赏黄金四百两。

正在东进的汉王刘邦听到司马卬又叛汉归楚的消息，气愤不已，马上派兵再去攻打。这回攻打司马卬，再也不会给他什么面子了。刘邦命令：“攻下城后，把那个没有信誉的司马卬捉来见我。”

这次司马卬又败了，他再也享受不到继续留任的待遇了，而被汉军捆绑着押到刘邦面前。刘邦现在心情正好着呢，不想杀人，让把他带下去听候发落。

殷王司马卬的反复无常，不但惹恼了刘邦，也气坏了项羽。项羽听到他又投降汉军的消息后，大骂司马卬，恨不得立即杀了他。同时项羽也把怨气、怒气发泄在陈平等将领的身上，指责他们办事不力，没有稳住司马卬，反倒给刘邦扩大联盟和占领地盘留下了机会。

有坏消息传来了，项羽计划杀掉曾经前去平定殷国的将领和官吏，以平心中的恼怒。在项羽看来，我率军在北方与齐国交战，让你陈平办这么一件小事都办不好，平日我待你不薄，关键时候你却不卖力。

陈平清楚，项羽决定的事一般不会轻易改变，尽管自己感到委屈，但也无法辨解。等着项羽回来问罪，不如趁早离开楚营。他把平日项羽赏赐的金银财物全部整理好，放在自己府内，只身离开了彭城。

天地之大，何处方可容身？陈平选择了北渡黄河，投靠刘邦。

然而在渡船上，陈平的一身装扮引起了艄公的注意。黄河上的艄公们除了正常的摆渡外，有时也会干一些杀人越货的事，发上一笔横财。他们见陈平衣着讲究，谈吐高雅，举止不俗，便断定陈平不是富商便是有钱大户，这些人出门身上肯定带着不少金银。他向船上的几个同行使了个眼色，准备等船到河中间动手。机警的陈平察觉了他们的动机，连忙当众打开随身的小包袱取出几块干饼送给众人品尝，随之又脱下衣服扔在船上，浑身赤条条地走到艄公跟前，帮他摇撸。见过世面的艄公看到陈平如此举动，心里早已明白了。这个客人在用行动告诉他们，他是光棍一个，没有油水可捞。艄公只好打消了念头，把陈平顺利的送到了河对岸。船靠岸后，陈平不紧不慢地穿好衣服，又将那几块干饼放在小包袱里包好，向艄公做了一个揖，然后扬长而去。