28]这样，年仅17岁的朱元璋只好离开寺院托钵流浪。[29]
朱元璋见濠州城诸将争权夺利，决心依靠自己的力量，开创新局面。至正十三年（1353年）六月中旬，朱元璋回乡募兵，少年时的伙伴徐达、周德兴、郭英等和同村邻乡的熟人听说朱元璋做了红巾军的头目，纷纷前来投效。于是很快就募兵七百多人，回到濠州，郭子兴十分高兴，就提升朱元璋做了镇抚。[45-46]
这年冬天，彭大的儿子彭早住自称鲁淮王，赵均用自称永义王，而郭子兴等仍是元帅。朱元璋见这些人半年没出濠州城，于是他从自己招募的新兵中挑选了心腹徐达、汤和等二十四人离开濠州，南略定远。[47]在南略定远途中，朱元璋先招抚了张家堡驴牌寨民兵三千人，后又招降了豁鼻子秦把头的八百人。统率着这支队伍，朱元璋向东进发，乘夜攻破定远横涧山的元军营地，元帅缪大亨投降。朱元璋从降军中挑选了精壮汉人二万人编入了自己的队伍，并南下滁州。[48]
在南下滁州途中，定远名人李善长求见。李善长和朱元璋一见如故，李善长以汉高祖刘邦为例劝说朱元璋：只要效法刘邦知人善任，不乱杀人，很快便可平定天下。朱元璋认为很有道理，于是留李善长做了幕府书记，并嘱咐李善长好好协调将领间的关系，共创大业。[48-49]
朱元璋很快攻下了滁州，其亲侄儿朱文正、姐夫李贞带着外甥保儿（后取名李文忠）前来投靠。从他们口中，朱元璋得知二哥、三哥、姐姐都去世了。其时还有定远孤儿沐英，于是，朱元璋就将这三个孩子收作养子，改姓朱。后来，朱元璋又收养了二十几个义子。[50]在朱元璋进攻滁州时，郭子兴受到赵均用、孙德崖等人的排挤，所以，朱元璋攻下滁州城不多久，郭子兴也来到了滁州。朱元璋立即交出兵权，三万人的队伍，纪律严明，军容肃整，郭子兴见了十分欢喜。
至正十五年（1355年），朱元璋一举攻克了和县。郭子兴即刻任命朱元璋为总兵官，镇守和州。[52]一次，朱元璋外出，看到一个小孩在哭，朱元璋问他为什么哭，答说是等父亲。朱元璋仔细一询问才知道，原来孩子的父亲和母亲都在军营，父亲在营中养马，母亲和父亲不敢相认，只好以兄妹相称。朱元璋意识到，部队军纪存在问题，他们攻破城池后，扰民滋事，掳掠妇女，这样下去，部队将失去民心。于是，朱元璋召集众将，申明纪律，下令归还军中有夫之妇，让城中许多被拆散的夫妻团圆。此事广为传颂，朱元璋深得民心。[53-54]
此年中，郭子兴病逝，小明王韩林儿任命郭子兴的儿子郭天叙为都元帅，妻弟张天佑为右副元帅，朱元璋为左副元帅。名义上，都元帅是军中之主，右副元帅的地位也比左副元帅高。但是滁州和和州的军队，多是由朱元璋招募收编的，而且朱元璋比郭天叙和张天佑有勇有谋，并且手下又有人才。所以，朱元璋事实上成了这支队伍的主帅。