李遂，字邦良，豐城段潭人。弱冠之年，跟從歐陽德學(xué)習(xí)，考取進(jìn)士，授官行人，歷刑部郎中，時錦衣衛(wèi)送來強盜十三人，李遂只用一人抵罪，其他的都被他分辨釋放。確立新太子時，皇上大赦天下，李遂請求將“大禮”大案諸臣都列在赦令中，尚書聶賢恐懼不敢，于是和同官一起向都御史王廷相求問，王廷相聽?wèi){他們這樣做，事情雖然沒有成功，但議者贊美他。不久他調(diào)到禮部，因忤逆尚書夏言，事情遭到彈劾而下詔獄，被貶任湖州同知。
李遂三遷衢州知府，注重風(fēng)化治理，閑暇時喜歡招友講學(xué)。處州民饑，李遂聚集眾人入境采礦，與推官李文進(jìn)輕騎直逼礦山，饑民焚寨而逃，封礦而歸。章圣皇后靈柩南運，風(fēng)傳取道常山，指令衢州備車轎迎送。遂三次上書謂梓宮無由取道衢州。上司震怒擲書于地，催逼急如星火，遂不動聲色，后果如所料。浙中各郡縣為此斂財物役百姓，怨聲四起，唯獨衢州上下安然。治衢任內(nèi)，盜賊斂跡，財賦充裕，百姓感戴。后提升為蘇、松兵備副使，又逐漸升職為廣東按察使，在位期間釋放囚徒八百多人。進(jìn)官山東右布政使。江洋多盜賊，于是遷右僉都御史提督操江。軍政嚴(yán)明，盜不敢發(fā)。
俺答侵犯京師，召李遂督蘇州軍餉，他沒有向皇上謝恩，就請求關(guān)防驗符用新的官銜，世宗皇帝惱怒，削去他的官籍。倭寇侵?jǐn)_江北，朝廷討論說因督漕都御史兼理巡撫，沒有時間對付敵寇，請求特別設(shè)置巡撫，于是命李遂用原官身份巡撫鳳陽四府。當(dāng)時淮、揚三次遭受倭寇侵掠，這一年又發(fā)大水，而且天天役使人民拉大木運送到京師。李遂請求增加糧餉增加兵士，撫恤黎民節(jié)省開支，這些措施都是為了戰(zhàn)、守作打算。
倭寇艦船數(shù)百艘犯海門，為了防止倭寇由泰州逼長天、鳳陽、泗州，進(jìn)犯明皇室寢陵，又為了防止倭寇由黃橋逼瓜洲、儀征，進(jìn)犯南京，梗塞糧道，李遂設(shè)計逼使倭寇由富安沿海竄至廟灣，使之陷于絕地而殲之。于是，命副使劉景韶、游擊丘升扼守如阜，而親自馳兵泰州，當(dāng)其要沖。乘勢而來的倭寇見如阜有備，立即轉(zhuǎn)攻泰州。李遂急命劉景韶、丘升出擊，連戰(zhàn)丁堰、海安、通州皆捷。
倭寇只得沿海北上，李遂喜曰：“賊無能為矣！”遂令劉景韶、丘升尾追倭寇，將其驅(qū)趕至廟灣。李遂又慮倭寇竄入淮安，星夜馳入淮安城。不久，倭寇果至，李遂督參將曹克新御之于姚家蕩。此時，右通政唐順之聞倭寇犯江北，急令總兵官盧鏜拒敵于崇明，自率副總兵劉顯馳援李遂，與李遂一同大敗倭寇于姚家蕩，倭寇退至廟灣立寨固守。與此同時，劉景韶亦大敗倭寇于印莊，追至新河口，焚斬甚眾。接著也會兵廟灣，廟灣之?dāng)池?fù)隅頑抗，李遂主張列圍而困之，唐順之以為非計，率兵逼近敵寨以火攻之，不能克。
此時，拒敵崇明的盧鏜連連告急，唐順之只得回援崇明，李遂圍困倭寇于廟灣一月有余，乃令劉景韶塞塹攻寨，火焚其舟。倭寇乘雨夜逃遁。李遂追敵至蟲段子港，斬殺甚眾。唐順之回師崇明，督盧鏜、劉顯進(jìn)擊倭巢，一再失利。正值盛暑，唐順之居舟兩月，辛勞染疾，返回太倉。崇明倭寇乘機流竄江北，欲犯揚州。劉景韶連戰(zhàn)連勝，圍之于劉莊，會劉顯來援，李遂傳命諸軍盡歸劉顯指揮，攻破其巢，追至白駒場，全殲倭寇。于是江北倭患悉平。
不久，在江東代替張鏊任尚書。江北池河營的士兵因為千戶吳欽革除他們的幫丁，就毆打吳欽并將他縛在竿子上。幫丁是操練防守士兵的每人給一丁兵餉，以資往來費用。李遂已被召封為兵部左侍郎，因言官推薦而提升為南京參贊尚書，由他來鎮(zhèn)壓安撫。營卒被妖僧繡頭所惑，又散布流言。李遂將繡頭捕住殺掉，再三向隊伍申嚴(yán)紀(jì)律，書寫軍士的姓名籍貫，年齡相貌，系牌腰間，軍士才止息。因多次督兵抗倭，屢立戰(zhàn)功，遷南京兵部右侍郎，未幾，進(jìn)南京兵部尚書。
衢州父老感思德政，于城北李遂原講學(xué)處塑李遂銅像，重約2000斤，并建李公遺愛祠，祠及碑均列入省二級文物保護單位。
李遂，博學(xué)多智，長于用兵，但也善于逢迎，皇帝準(zhǔn)備重新建造三殿，李遂奏說五河縣泗水中涌現(xiàn)大杉一棵，這是川澤效靈，為助圣主鼎新革故，皇帝大喜。李遂又進(jìn)獻(xiàn)白兔，皇帝為此派遣官員告于宗廟，從此皇帝更加寵愛李遂。以老致仕，辭官歸隱，卒年六十三，贈太子太保，謚號襄敏，著作有《督撫經(jīng)略疏》等。