粟裕认为，开展抗日民族统一战线工作，应首先在开明士绅中找对象，通过他们去扩大统一战线更容易收效。有些士绅、地主吃过日、伪军的亏，心中有一股怨气，去做他们的工作往往是容易成功的。新四军英勇善战和模范遵守纪律的影响、教育作用很重要，这样会使这些人正确地认识共产党、新四军，并对共产党、新四军产生向心力。政策和力量是做好统一战线工作之根本。对开展抗日民族统一战线工作的方式和细节，粟裕也总结出不少新经验。他认为，对象不同，方式不同，要有适当分寸。有时要负责人亲自出马，同他们接触周旋，给他某种面子，甚至抬他一下；有时负责同志就不能出面，以免增加他欺骗群众的资本。
新四军对日、伪作战取得一系列胜利，在江南敌后百姓之中树起了崇高的威信。日、伪军连遭打击再也不敢轻易出动，群众的利益得到了某些保障。随之而来的便是群众积极要求抗日和参加新四军，部队迅速发展壮大。
粟裕对那些勾结日伪、阻碍抗战、残害群众的土匪武装，经多次教育无效的，采取了坚决的打击行动。粟裕认为，非此不能更好地发动群众，非此不足以平民愤，非此不足以严惩汉奸卖国贼。国民党溃军军官朱永祥率众千余人，自称“苏皖游击司令”，名为抗日救国，实则扰民诈财，不亚寇匪。群众恨之入骨，称之为“小日本”。后来朱永祥竟发展到与日伪沆瀣一气，勾结日伪袭击新四军。1938年7月6日，新四军一支队一部与二支队一部在当地民众武装配合下，将朱部一举歼灭。朱永祥被活捉，解送国民政府第三战区司令长官部法办。百姓无不拍手称快。
挺进江南敌后的新四军经过半年多的斗争，在敌后先后建立起了茅山、丹北、横山、江句、句北、小丹阳等十多块小型的游击基地，拥有40万人口。
1940年1月1日，当时在新闻界颇有影响的上海《申报》，刊登了一篇题为《粟裕将军会见记》的文章，作者署名“任重”。文章一开始就说：“在江南游击区里流行着一支歌曲，其中有两句是‘司令将军亲自上火线，弟兄们赶快冲上去’。我想这一定是指粟司令。”文章称：“在日军重兵包围之中，在江南最艰苦的游击区里能与这位后方民众所称颂的游击司令会面，实是十分幸运的事情。”
文章以崇敬的深情，称赞粟裕“率领先遣支队挺入京镇沦陷区”，取得韦岗处女战、官陡门之战的胜利，而且“不断地向日人进攻，一直进攻到南京、镇江的外围日人的据点里”，“简直要使外来侵略者发抖”。
文章作者说，他在南京附近与粟司令会面，差不多每夜秉烛长谈，听粟司令从军事、政治、经济三方面分析江南游击区错综复杂的抗战形势。作者高度评价粟裕这位青年将领对江南大局观察的敏锐，对政治有深刻的认识，军事上深知战略战术，而且深知敌我在政治上经济上以及社会上的实际情况。作者经过“实际的观察与考查”，得出了一个结论：“粟司令不是一个平凡的军人。”他不但“运筹帷幄之中”，而且“决胜千里之外”。