新四军第一支队在粟裕的带领下进入苏南，杀敌攻城，捷报频传。他们首次生俘日军，首创攻入县城，摧毁伪政权，火烧京沪铁路重要据点新丰车站，全歼日军80余人，南京、上海为之震惊。第二支队奉命也于6月中旬从皖南出发，先后到达(南)京芜(湖)铁路以东(南)京杭(州)公路以西的江宁、溧水、高淳及安徽的当涂地区，开展抗日游击战争。新四军军部指示：“二支队主力到达指定地点后，归粟指挥。”完成先遣抗日任务的粟裕回到二支队。不久二支队司令部移驻当涂塘南阁。
6月中旬，国民党军同日本侵略军进行的新一轮武汉会战已经开始。南京失陷以后，武汉实际上成了当时全国军事、政治、经济的中心。1938年5月日军攻陷徐州，随即大规模向武汉进攻。国民政府军事委员会调集100余万兵力，在安徽、江西、河南、湖北等省抗击日军进攻，保卫武汉。23日，新四军军部指示挺进江南敌后的新四军：“目前中心任务是，开展胜利的游击战来配合各方执行保卫武汉的总任务，同时使本军在全国政治地位提高。”然而，在交通发达、人口稠密、日军驻有重兵的江南丘陵、平原和水网地带，能不能够开展抗日游击战争，除了韦岗战斗外还缺乏更多的作战实践。在共产党内部，甚至在新四军高层，看法也不一致。新四军官兵打惯了山地游击战，能不能在日军占有极大优势条件下进行丘陵、平原和水网地区游击战，并且取得胜利，谁都心里没有底。从作战对象讲，同国民党军较量过十年，对他们摸得比较透了，但对付日军将是怎样呢？大家都缺乏了解，心中没有底。粟裕认为，八省健儿走出深山野林，汇成新四军的抗日铁流，只是从政治上、思想上、组织上完成了转变，至于军事上的转变只能靠军事实践来完成。根据新四军军部指示精神，粟裕率领二支队以更加积极的姿态开展更加广泛的丘陵、平原、水网地区敌后游击战和发动群众的工作。
7月初，二支队三团一营伏击当涂至芜湖之间的火车，击毁敌军车一列，缴获大批军用品。8月5日，第二支队一部在芜湖以东永安桥与日军遭遇，首次俘获日军1名。8月中旬，二支队司令张鼎丞率第四团从南陵出发，通过封锁线，到达第二支队司令部当涂县塘南阁。后来张鼎丞根据上级安排去了延安。
国民党当局对挺进江南敌后的新四军，一方面玩弄“借刀杀人”诡计，企图借日军之手消灭这支共产党领导的部队；另一方面又实行“画地为牢”，规定江南新四军活动的区域，只能在京沪铁路以南，东西长不过百余公里、南北宽只有五六十公里的一块狭长地带作战，倘若“越界”，就要被视作违反“军令”、“政令”处罚。
粟裕坚决贯彻中共中央指示精神，冲破国民党当局设置的“牢笼”，领导和指挥二支队迅速展开于京芜铁路以东、京杭公路以西地区，独立自主地游击江南，打击日本侵略军。
此时，正面战场的武汉会战正酣。国民党当局迫切需要深入江南敌后的新四军配合正面战场作战，更多地牵制敌人一些兵力。新四军不负众望，以一系列的战斗行动有效地配合了正面战场作战。这是日军万万没有料到的。日军立即调整兵力部署，采取防御性的攻势反扑。8月22日至26日，日、伪军出动步兵4000余人，骑兵500余人，并有轰炸机20余架配合，兵分八路，水陆并进扫荡，企图一举聚歼初进江南敌后的新四军二支队三团于小丹阳。
粟裕敏锐地注视着敌情发展，筹谋应敌良策，决定采取敌进我进游击战术，变被动为主动，分散袭击敌人后方。粟裕命令二支队三团一部进袭当涂，造成敌之恐慌；一部进击南京以南的陶吴，牵制敌兵力；另选精兵一支，奔袭南京近郊，夺取雨花台制高点，袭击中华门内外日、伪军事目标。此时一支队已动员广大地方武装及人民群众将京沪、京杭、镇句、句丹、京镇各公路彻底破坏，并派部队进袭麒麟门，给南京敌人以极大威胁，有力地配合了二支队的作战行动。日军到达小丹阳，不见新四军踪影，却连连收到后方告急电报，慌忙撤退回防。粟裕抓住战机，命令部队勇猛追击，连克小丹阳、薛镇、护驾墩、博望等村镇，毙伤敌50余人，粉碎了日军的合击计划，自己无一伤亡。
粟裕指挥的敌后游击战节节胜利，打得日军胆战心惊。日军气急败坏又无可奈何地说：“新四军是个神，你打他时一个也没有，他打你时都出来了。”
1939年1月，粟裕亲自组织指挥了奇袭官陡门，在新四军挺进江南敌后抗战史上谱写了新的光辉篇章。
官陡门位于安徽芜湖附近，驻有伪军200余人，据点四周河沟交叉，离飞机场6里许，离铁路仅3里，南面8里的永安桥、北面10里的年陡均有日伪军驻守。可供进攻官陡门的路线有两条，都要通过几条深不可徒涉的河流，并且必经敌人之青山、黄池据点。官陡门有什么风吹草动，西、南、北三面各据点派出的增援部队，在半点钟内都可以赶到。出动飞机不到两分钟就可以飞临上空扫射。官陡门的街道建在河两岸的堤埂上，不到100米长，全是砖瓦房屋，河上只有约1米宽的木板桥贯通。敌人认为这是最安全的地方。粟裕却在这样的地方导演了一幕出奇制胜的活剧。
1月18日，粟裕在二支队司令部驻地狸头桥对参战的三团作了简短动员，便率队北进，25公里路只一次小休息就走到了，当天下午便停止行动宿营。第二天上午部队继续原地休息。下午，粟裕组织队伍悄悄地上船，突然转向西开，划到丹阳湖西岸。部队翻过堤埂，改乘早已预备好的几只装肥料的船，继续由水道西进，午夜以后到达预定地点隐蔽集结。这里距攻击目的地还有35公里。20日下午5时，粟裕带领部队冒着寒风向西疾进。21日凌晨2时行进到离官陡门差不多20里的地方，前面还需渡过一条河。如果再走水路，敌人可能已经封锁渡船。粟裕当机立断，多绕5公里地改走陆路，一定要抢在天亮前发起攻击并结束战斗。部队跑步前进，巧妙地通过了敌人的头道桥据点，4时许隐蔽到达敌据点前沿。按照预定作战方案，粟裕率主力过桥，从西向东打；另一部留在河东岸打。枪声、手榴弹爆炸声、冲锋号声和“缴枪不杀”的呐喊声响成一片。突击队迅速冲破铁丝网和其他障碍物。敌人来不及从掩蔽部里跑出来，就被炸了个人仰马翻，不是丢了命，就是当了俘虏。新四军一举攻占了伪军司令部。
战斗只花了8分钟，连清扫战场总共用了20分钟。周围之敌还没弄清怎么回事，粟裕已率部押着俘虏带着战利品安全撤出了。奇袭官陡门，粟裕指挥的新四军以轻伤2名的最小代价，换来俘敌57名的重大胜利，打死打伤的敌伪无法统计，还缴获了一大批枪支弹药。粟裕组织指挥游击战的美名在江南广为传颂。重庆《新华日报》后来发表了粟裕撰写的介绍战斗经验的文章《芜湖近郊官陡门的奇袭》。
1939年1月，粟裕根据挺进江南敌后的实战经验，与二支队参谋长罗忠毅合编了一本《实战经验录》，2月25日延安翻印了这本小册子。粟裕对挺进江南敌后的新四军开展游击战争提出了许多新观点。粟裕认为，新四军进入江南敌后进行的完全是游击战。相对八路军来说，新四军人少，武器装备也差，没有打大仗的经验，活动区域狭小，作战条件更差，通讯联络也很落后。一、二支队唯一的通讯工具是各有一架电台，可以互相通报情况，与军部联络。而敌人交通方便。新四军处在敌人据点网之中，打大规模的战斗或运动战是很困难的，甚至是不可能的。
关于游击战的协同和原则问题。粟裕认为：在形式上看是各打各的，但是在统一意图下独立自主地进行的。我们的原则是积小胜为大胜，不贪多，哪怕只打死一个敌人，只缴一支枪都是好的。只要天天有胜利。
关于战法问题。粟裕认为：要打夜战、近战、白刃战、伏击战、袭击战……这是由于我们的武器装备等条件决定的。日本的武器精良，我们拼他不过。只有近战、夜战、白刃战，才能避开敌人之长，发挥我军之长。打他措手不及，使之处于被动。
关于打击对象和目标选择问题。粟裕说：新四军专打弱敌，或打敌人弱点，打的是运动中的敌人，一般不打驻止之敌。
关于战术动作问题。粟裕认为，过去三年游击战是在交通不发达的山区打的，而现在则在丘陵、平原、水网地区。在这样地区作战，要求更加速战速决。解决战斗要求非常迅速，必须采取突然的、短促的像闪电一样的突击，打他个措手不及。不让敌占领一个阵地，使其没有站足的地方，没有还手的工夫。只有这样，才能更有效地消灭敌人。他还形象地比喻说：我们要像鹰抓兔子式的才行。战斗行动最多两小时，一般的超过两小时不能解决战斗的，就果断撤出战斗。在敌人增援快的情况下，一定要注意迅速脱离和远离敌人。
粟裕的思考非常细致周到，他强调：战前的侦察、破坏交通非常重要，如地形要详细侦察(哪些地形我用，哪些地形留给敌人)，要预先作出周密布置。作战方法和作战手段只能用一次，要适当及时的改变，否则敌会迅速的抓住我们的规律，而使我们吃亏。
国民党第三战区部队对粟裕高超的游击战组织指挥艺术非常敬服，专门派人来请粟裕去传授游击战的经验。粟裕连续给他们讲了几个小时，有理论有战例，生动活泼，通俗深刻。许多国军将领深感获益匪浅。一名川军师长感慨地说：“粟司令，从前我对你们共产党的军队是有点瞧不起的。可是今天听了你的报告，我才知道你们的水平太高了。共产党里有你这样的人，难怪立于不败之地！以后还请多多关照。”