李1903年入私塾读旧书，因家庭溺爱，读书不知勤勉，数年课读收获甚微。1910年考入靖江孙迪升高小，两年后即随父调动赴江阴，先后入南菁中学和第三师范，均肄业。1920年奉父命回原籍结婚，婚后在家闲居。
1922年北洋军阀分裂割据，广州北伐呼声高涨。时李父系粤军第二师秘书，函命李南下，李即前往二师充任文书，随部北伐。后陈炯明叛变，粤二师辗转折回潮梅，1925年春击溃陈炯明叛军。李受革命浪潮鼓舞，赴广州考入黄埔军校第四期，7月入伍受训，三周后开赴惠州，训练之余担任警戒。1926年1月入军官第一团第九连受训，其间集体加入国民党。4月毕业，分至总司令部补充第一团见习。不久该团开赴赣州改编为国民革命军二十一师，李任六十一团第一连排长，随部转战浙江、江苏等地。打败孙传芳部后积功擢升连长，后因受伤返南京治疗。不久孙传芳聚残部在镇江将二十一师击溃，并占领龙潭车站逼近南京。李奉命带伤归队，前往龙潭作战，因作战勇敢获上级嘉奖。1928年参加第三期北伐，“济南惨案”后南移到苏州、常熟一带担负沪宁路保路任务。1929年调任独立第四旅特务连连长，旋随部队改编任五十二师一五五团二营营附。
1930年蒋冯混战爆发，李率部开至亳州鹿邑与孙殿英部作战。1932年赴南京任军委会干部训练班第一队队长，训练黄埔第一至六期失业学生。1933年调第四师二十三团，奉命参与对红军的“围剿”，因构筑工事、激励士气有功升任旅部参谋主任。后因不愿与红军作战离职，相继委身福建保安处和南京宪兵司令部做服务员，均为闲职。1935年冬前往湖北任四十师二四〇团副团长，次年春升任代理团长，因越级准假与上级闹翻离职。辗转至广州任十八军十七师教导总队教育副官，“八一三”事变后随部开赴上海作战，被派至十四师任参谋，旋改隶五十四军。
1938年秋，李往常德任长岳师管区补一团副团长，主管教育计划及训练实施。1940年冬因师管区缩编改任司令部服务员，因不满安排于次年春转投湖南省保安处任股长，主管人事任免、升迁调补、功过抚恤事宜。半年后调升保安督察组主任，督查常德、邵阳、沅陵、洪江、永顺五个专区的治安状况。1942年至1948年先后任湖南第八区保安司令部副司令、保安第七大队大队长、郴州第三区保安司令部副司令、湖南保安团团长，长期负责维持地方治安。
1949年8月，李率部在湖南邵阳廉桥起义。尔后部队编入中国人民解放军第二十一兵团，李任五十三军二一九师副师长。1951年先后派送中南军政大学及第四高级步兵学校学习，次年夏转业回家。1955年5月任湖南省人民委员会参事室参事。
李谦1976年2月病逝于长沙，享年81岁。
