高力士本来姓冯，武则天长寿二年，李旦正处于动辄得咎的时候，宫女团儿诬陷李隆基生母窦妃施厌蛊之术，武则天下旨查处，应该是查无实据，窦妃与刘妃秘密被杀死。就是这一年，有人诬告岭南流人谋反，武则天命酷吏万国俊摄监察御史，前往岭南按察“若得反状， 便斩决”，高力士受谋反案牵连，约十岁时便被阉割送入宫当太监。由于聪慧机敏，年幼仪美，被武则天看重，又被宦官高延福收了养子，遂改姓高，同高延福一同成为武三思内宫眼线。
应该就在这个时期，与身处后宫的李隆基相识相交，二人年纪相若，又长居深宫，一个年少苦闷，一个善察人心，走到一起并不奇怪。高力士真正成为李隆基的贴身近侍，要等到神龙政变，张柬之等人迫武则天交权，还政李显之后，高力士被赐给李隆基，这时二人都已是二十岁出头的青年了，早已认识又年龄相若，李隆基礼贤下士，高力士体察人心，二人如鱼得水，许大宫中大事高力士都预谋与闻。最大的表现在推李旦上位的“唐隆政变”一役中，太平公主和李隆基联手向李显一家开刀，杀韦后诛朝臣夺回权柄，李旦当上皇帝，李隆基水涨船高成为太子，高力士开始显扬，在李隆基铲除太平公主一党上位后，更受宠信，荣宠有加。
李隆基说，看到有高力士在身边，睡觉也踏实，足见信重的程度，其时每有四方进呈上奏文表，必先送呈高力士，然后再决定是否进奉御前，小事便自行裁决。高力士受到皇帝的倾心信任，权柄一时无双，走后门想通过他求得显贵的人络绎不色，权相李林甫杨国忠，名将高仙芝，甚至安禄山都曾请托过他，可见实力权势。太子李亨称其为二兄，诸王公主皆称呼“阿翁”，驸马们称其为“爷”。但高力士奉承上意察颜观色的本性依然不变，善于随机应变，发现皇帝神色不对，虽是最亲近喜爱之人，面临倾覆败亡皆不予救助。以这一身自保之策，竟然伴了李隆基整个皇帝生涯，宠信不减，也算奇迹。
太监并不全是坏人，高力士在当权时，也弄权肥私，引进之人玩弄权术互相嫉害，至扰乱朝廷法纪，对于唐王朝的伤害不浅，但他胜在忠心，与陈玄礼一内一外，算是李隆基的铁杆忠粉，在经历马嵬之变、李亨登基、车驾回长安等事，高力士都尽心侍奉唐玄宗，全力维护他，在李辅国威逼李隆基时，敢于出头呵斥，保护旧主，被流放之后，得知李隆基死讯吐血而死。这些事都可见他对李隆基之忠，正如李贽评价他“高力士真忠臣也，谁谓阉宦无人”。