1673年（清康熙十二年）五十二岁的李之芳，做官二十三年，凭他对顺治、康熙两代皇帝的“忠诚谨慎”，而博得康熙的信任和赏识。清朝皇帝对汉族官员抱有极大的戒心，稍有差迟，轻则罢官，重则杀戮，甚至满门抄斩。李之芳在这种政治环境中青云直上，是很不易的，这一年，他又被康熙帝任命为兵部侍郎，总督浙江军务。 6月，李之芳以兵部侍郎身份离京去杭州“总督浙江军务”，参与平定了降清后又率兵独立的耿精忠之乱。在这以前，根据蛛丝马迹，李之芳已预见到吴三桂、耿精忠等人会反叛，曾向康熙皇帝密陈《封疆夫系非轻》一疏，提请康熙注意各藩王的动态。果不出李之芳所料，就在他以兵部侍郎身份，离京到杭州赴任时，平西王吴三桂于十一月在云南起兵，自号“周王天下都招讨兵马大元帅”，反清。第二年春天，耿精忠也在福建起兵，向浙江进犯，台湾的郑经与之相配合，不断骚扰浙江沿海。五月，李之芳和新派来的都统赖塔，率领满洲兵一千，绿营兵两千，乡勇五百，进驻浙江南部的衢州。在衢州及其以南的仙霞关一带与叛军进行了多次激烈的交锋，屡败耿兵。
康熙十四年八月，李之芳又与康熙派来的亲王杰书在衢州会师，力量大增。李之芳生于孙子故里，虽不熟骑射，但精通兵法，善于谋攻。《清史稿》评价他“练世故，沈几善谋”。在战争的关键时刻，赖塔、康亲王由于听从了他的谋划，均取得了辉煌的战绩。康熙十五年，根据李之芳的意见，康亲王率一支军队攻入福建，大败叛军，耿精忠自缚投降，被押到北京斩首示众。康熙十六年，耿精忠余部林尔瞻拥兵数万，仍负隅顽抗。李之芳审时度势，不顾个人安危，仅带数十骑深入虎穴，劝降成功。在与耿精忠叛军激战的同时，李之芳还分兵与郑经作战，多次打退郑经的海上入侵，为巩固满清政权立下了汗马功劳。李之芳虽是文职出身，但谙习兵法，作战勇敢机智，是一员难得的帅才。《清史稿》说他“手执刀督阵”，部下劝他避开危险，他说：“我是三军司令，我怕死退避，就会被敌人所乘。今日胜败，决定我的生死。”由于他身先士卒，指挥果断，所以每战必克。据《惠民县志》记载：“他所提不满四千，击贼数万众，无不以一当百。之芳亲冒矢石，将士勇敢用命，或劝持重，答曰‘吾若贪生，谁不惜死?’”李之芳平衢州八、九年间，所历大小一百四十余战，所向披靡。三藩中，福建的耿精忠最早被平定，李之芳功不可没。
康熙二十年（1681年）八月，李之芳班师回杭州，官阶到了“正一品加三级”。1682年（清康熙二十一年）8月，李之芳应诏回京，因其出师年逾50，转战10年，还朝须发皆白，公卿士大夫莫不相顾叹息，康熙皇帝亦为之动容。回朝不久，他即上书康熙皇帝主张发还难民子女，赈济被战灾民，并发放耕牛、种子，使灾民能迅速发展生产。奏书中有“必先有可生之民，而后才有可征之赋”等名言。
征台湾闪光的一页
康熙二十一年十一月甲寅，晋升为兵部尚书。李之芳根据自己在平定三藩过程中的对江浙、福建地形的熟悉和与郑经作战的经验，积极向康熙皇帝建议攻打台湾，康熙采纳，在充分准备后康熙二十二年五月命施琅攻台湾，八月施琅疏报师入台湾，台湾平。李之芳身为兵部尚书此间呕心沥血协助康熙运筹帷幄，决战台海，留下了光辉的一页。吕学记载(公元17世纪)〔清〕字时敏，一作时毓，号海岳(《乌程志》作海山)，乌程(今浙江湖州)人，生卒年不详。工画佛像、人物、驼鸟，亦善写照，见之俨然，生气欲动。兼善山水，遇兴濡毫，意境幽深，度越流品名盛一时。李之芳(1622-1692)平台湾，为作《奏凯图》，千军万马旗仗威武，洋洋大观。乌程其从艺活动约于康熙年间。
仕途
康熙二十二年八月康熙任命哈占为兵部尚书。李之芳深谙中国历史，知道“功高震主不详”何况清初皇帝极端专制，民族仇视，对臣下时存猜疑、警戒之心。借故托病回故里武定府，住了不到一年。康熙二十三年，康熙南巡，路过德州，李之芳赶紧到德州迎驾，朝拜皇帝。康熙大喜，又降旨命他回京，康熙二十四年夏四月丙申，授予李之芳轻车都尉世袭职衔。康熙二十六年九月壬午任命李之芳文化殿大学士——到内阁办公。作为当时最高级别的汉族官员，李之芳可以说是荣极一时。但好景不长，康熙二十七年二月(1688年)，御史郭琇揣摩康熙的心思，上疏弹劾大学士勒德洪、明珠和余国柱，诬李之芳与他们结党营私，对皇帝不忠。康熙皇帝也担心李之芳功高望重，不好驾驭，罢免李之芳的御史职位，便借此机会让他“休致”(即因年老离职回家)了。
桑梓安享晚年
康熙二十七年，六十七岁的李之芳回到祖籍武定州，在家重修宅第，儿孙绕膝，共享天伦之乐。康熙三十三年二月(1694年)在家中去逝，享年七十三岁。康熙皇帝闻之，给与祭葬，赠谥号“文襄”，并于三年后，赐坟地现在的惠民城东高官村和袁候村之间祭葬（意为头枕高官，脚蹬袁候）且立碑彰显其丰功伟绩。雍正十一年(1733年)，入浙江贤良祠，武定州又奉旨列祀李之芳于贤良祠。
