張公謹(jǐn)早年曾效力于王世充，任洧州長(zhǎng)史。618年(武德元年)，張公謹(jǐn)與洧州刺史崔樞投降唐朝，被任命為鄒州別駕，累遷至右武候長(zhǎng)史。621年(武德四年)，徐圓朗反叛，攻陷楚丘(今河南滑縣)，欲圍攻虞城。河南道安撫大使任瑰命崔樞、張公謹(jǐn)率領(lǐng)各州豪強(qiáng)作質(zhì)子的子弟一百多人去守衛(wèi)虞城。副使柳浚道：“崔樞和張公謹(jǐn)原來(lái)都是王世充的部下，各州人質(zhì)的父兄也都反叛了，這一去恐怕會(huì)叛變。”任瑰沒有理會(huì)。在張公謹(jǐn)二人的堅(jiān)守下，叛軍難以攻破虞城，撤軍而去。

后來(lái)，張公謹(jǐn)在徐世績(jī)、尉遲恭的引薦下，被秦王李世民召入秦王府。當(dāng)時(shí)，李世民與太子李建成、齊王李元吉不和，向張公謹(jǐn)求取自保之策。張公謹(jǐn)?shù)幕卮鸷芎侠钍烂竦男囊猓瑥拇酥饾u受到器重。 626年(武德九年)，李世民欲誅殺李建成、李元吉，但又猶豫不決，便命人占卜以測(cè)吉兇。此時(shí)，張公謹(jǐn)從外而入，將占卜的龜殼扔在地上，并道：“占卜是為決定疑難之事，現(xiàn)在事情并無(wú)疑難，還占卜什么?如果占卜的結(jié)果不吉，難道能夠停止行動(dòng)嗎?”李世民深表贊同。六月四日，張公謹(jǐn)與長(zhǎng)孫無(wú)忌等九人埋伏在玄武門外，發(fā)動(dòng)玄武門之變。李建成、李元吉死后，其黨羽馮立、薛萬(wàn)徹、謝叔方等人率軍趕到玄武門，欲為太子和齊王報(bào)仇。張公謹(jǐn)勇力過(guò)人，獨(dú)自關(guān)閉大門，將馮立等人擋住門外，馮立等人最終潰散。七月，張公謹(jǐn)升為左武候?qū)④?，封定遠(yuǎn)郡公。

627年(貞觀元年)，張公謹(jǐn)出任代州(今山西代縣)都督，并上表朝廷請(qǐng)求實(shí)行屯田。此后，張公謹(jǐn)對(duì)時(shí)政得失多次進(jìn)言，都得到唐太宗李世民的采納。 629年(貞觀三年)，張公謹(jǐn)上奏朝廷，認(rèn)為可以討伐東突厥，并列舉六條理由：“頡利可汗奢華殘暴，誅殺忠良，親近奸佞，此其一;薛延陀等部落均已叛離，此其二;突利、拓設(shè)、欲谷設(shè)均得罪頡利，無(wú)地自容，此其三;塞北地區(qū)經(jīng)歷霜凍干旱，糧食匿乏，此其四;頡利疏離族人，委重任于外族，胡人反復(fù)無(wú)常，大唐軍隊(duì)一到，必然內(nèi)部紛亂，此其五;漢人早年到北方避亂，至此時(shí)人數(shù)較多，近來(lái)聽說(shuō)他們召聚武裝，占據(jù)險(xiǎn)要之地，大軍出塞，自然內(nèi)部響應(yīng)，此其六。”唐太宗遂任命兵部尚書李靖為行軍總管，討伐東突厥，張公謹(jǐn)為副總管。630年(貞觀四年)，頡利兵敗，遣使請(qǐng)降，唐太宗命鴻臚寺卿唐儉前去撫慰。李靖與李勣(即徐世績(jī))在白道會(huì)軍，打算出兵偷襲東突厥。張公謹(jǐn)?shù)弥?，反?duì)道：“皇帝已接受他們投降，而且唐儉還在突厥，怎能出兵進(jìn)攻?”李靖不聽，發(fā)兵出擊，終于平定了東突厥。