李善長是定遠人，字百室。
元至正十三年（公元1353年），朱元璋率眾攻打滁州的路上，李善長前來投奔，當時李善長四十歲，朱元璋二十六歲。
朱元璋把李善長留下來，讓他當掌書記。
朱元璋小時候沒怎麼上過學，十七歲時父母雙亡，在皇覺寺出家為僧，雖然後來跟老和尚學過認字，但是所接觸到的書籍很可能十分有限，而且大多是佛經。李善長是第一個投奔朱元璋的知識分子，他自幼讀書，有智謀，主修法家學問，可能在很長一段時間充當了朱元璋老師的角色。
朱元璋問李善長：現在四處戰亂，何時才能平定？
李善長回答：秦末戰亂，漢高祖出生布衣，豁達大度，知人善任，不嗜殺戮，五年成就帝業；現在元朝綱紀紊亂，天下群雄四起，主上是濠州人，距離沛縣不遠，如果效法漢高祖，天下不難平定（《明史·列傳·李善長》）。
朱元璋聽後連連稱是。
這很可能是第一次有人把他與歷史上的帝王相提並論、建議他效法過去的帝王，對朱元璋來說，意義重大。
朱元璋最初參加起義軍可能是被逼無奈，而現在可能開始有了一個比較遙遠的目標。
朱元璋對李善長說：“方今群雄並爭，非有智者不可與謀議。吾觀群雄中持案牘及謀事者多毀左右將士，將士弗得效其能，以至於敗，其羽翼既去，主者安得獨存？故亦相繼而亡，汝宜鑑其失，務協諸將以成功，毋效彼所為”（《明太祖實錄》）
現在群雄並起，需要智者出謀劃策。可是很多處理案牘文書的謀臣常常在主帥面前詆譭將士，使將士的才能無法充分施展，最終導致戰敗。失去羽翼，主帥安得獨存？因此相繼敗亡。你應借鑑他們的過失，務必調和諸將，確保成功，千萬別像那些人一樣。
李善長深表認同，自此他盡心盡力做與將士的溝通工作，使前來投奔的將士消除疑慮，人盡其才，安心追隨朱元璋。
李善長跟隨朱元璋攻下滁州，為朱元璋出主意，做規劃，主管軍需供給，日益受到朱元璋的親近與信任。朱元璋的名聲越來越大，很多將領前來投奔，朱元璋觀察他們的才能，然後把自己的看法告訴朱元璋；而且對他們真誠相待，使他們消除疑慮，人盡其才，安心追隨朱元璋。有些將領之間因意見不合產生矛盾，李善長也盡力從中調節，緩和關係。
後來，郭子興率領部眾來到滁州，聽信讒言猜疑朱元璋，奪去朱元璋的兵權，還想奪走李善長以輔佐自己，可是李善長堅決謝絕，不肯前去，朱元璋十分感動，對他更加倚重。
朱元璋作為總兵官駐守和州期間，親自帶兵攻打雞籠山寨，只留很少兵力幫助李善長駐守和州，元軍將領知道和州兵力空虛後，趁機派兵來攻，李善長設伏兵將其擊敗，被朱元璋連連稱讚。
四萬多兵馬駐紮在和州，糧食很快不夠吃了，而江對面的太平、蕪湖一帶盛產稻米，朱元璋想率軍渡江，於是找李善長商量，李善長認為軍隊缺乏船隻，時機不成熟。
不久，巢湖水師前來歸附，帶來了一千多條船，李善長對朱元璋說：現在是時候渡江了。
於是朱元璋著手準備，安排就緒後，率軍渡江，先攻下采石，又一鼓作氣攻克太平。朱元璋讓李善長提前寫好榜文，嚴禁擄掠，違者嚴懲，攻入太平後，便立即派人貼出。將士們看見榜文，不敢亂搶財物，軍紀整肅，城中百姓很快安定下來。
綜上所述，在渡江前，李善長是朱元璋最倚重的文臣。
