吴靖祖籍安徽婺源（现划归江西），其祖父吴调卿9岁时为避太平天国战乱，随家人逃难到苏州，在一家笔店当学徒。吴调卿17岁时，经一位老师的介绍来到上海。开始时，他给外轮当跑舱、干杂活，给汇丰银行赶马车，后来学会了洋泾浜英语，逐步接触了洋行业务。在汇丰银行服务十年后，凭着安徽人的精明和勤勉，他当上了行的副买办。
1880年，汇丰银行要向北方发展业务时，吴调卿被派到天津创办汇丰银行天津分行，任该行买办，并且把汇丰银行的行务发展到了北京。那时，正是直隶总督兼北洋大臣李鸿章驻节天津的时候。他们是大同乡，原先在上海时也间接地打过交道，今一个有权，一个有势，于公于私都可以互，于是成了好朋友。
……吴家有了充足的钞票去投资后，就开始创办一些近代新式企业，先后办起了天津自来火公司、天津硝皮厂、天津织呢厂、天津打包公司、天津电灯厂、天津自来水厂、门头沟通兴煤矿公司……其中吴家独资创办的企业就有5个。在天津1900年之前创办的4家新式企业中，属于吴家的就有3家。可知吴调卿早已经具备了现代工业的眼光，有了钱，并不去捣鼓那些传统安徽人擅长的典当和茶叶之类。
久之，天津首富就非吴家莫属。吴调卿在天津达文坡路（现建设路）建起了规模宏大的私宅，世称吴家大院。他的大儿子吴颂平则在天津昆明路117号建造了更为洋派的花园别墅（现为天津花园饭店）。到吴调卿1927年去世的时候，他名下遗产还有500万元。那年他的孙女吴靖（原名吴佩琳），正在读高一。
吴靖的祖父一辈子与洋人打交道，深知洋学堂的重要，把儿子一个个都送出国留学。唯独吴靖的父亲吴熙元（号吉臣，排行老三）没有出国，一生都在天津，打理吴家的产业天津硝皮厂。据说是因为他19岁结婚后，一年生一个孩子，共生了9个孩子（还不算中间夭折的）。孩子多，奶妈、佣人就更多，拉拉杂杂一大群人，要出国，实在带不动这么庞大的家眷队伍，干脆就不出国了，就守着家业过也觉得不错。
吴靖的父亲掌管的这个天津硝皮厂，表面看来是个民间制皮企业，其实是个跟官府有密切联系的行当。北方天冷，皮货本来销量就大，加上那时军队也有穿皮军装的，尤其是骑兵，马靴马鞍都是皮质的，吴家的生意就只愁做不完了。所以这家工厂在1898年创办的时候，资本就达76.9万元，在北方是一个挺风光的实力派。
