馮遷少年時(shí)行事謹(jǐn)慎，有辦事才能，州府征召他為從事。北魏神龜年間(518年—520年)，弘農(nóng)刺史楊鉤推薦他擔(dān)任中兵參軍事，后改任定襄縣令，不久又任并州水曹參軍。馮遷歷任各種職務(wù)，都以勤勉謹(jǐn)慎而受到贊揚(yáng)。

北魏孝武帝元修西遷時(shí)，馮遷辭掉官職，與直閣將軍馮靈豫進(jìn)入函谷關(guān)。跟隨孝武帝收復(fù)潼關(guān)，平定回洛，授官給事中。后來(lái)隨從宇文泰活捉竇泰，收復(fù)弘農(nóng)，征戰(zhàn)沙苑，都立有戰(zhàn)功，被任命為都督、龍?bào)J將軍、羽林監(jiān)，封爵獨(dú)顯縣伯，食邑六百戶。在洛陽(yáng)之戰(zhàn)中，馮遷率先登城攻入敵陣，身受重傷，僥幸得以不死。以戰(zhàn)功加授輔國(guó)將軍、軍師都督，進(jìn)封侯爵。很久之后，馮遷出任廣漢郡守。當(dāng)時(shí)蜀地剛剛平定，人心不安，馮遷治理時(shí)偏重簡(jiǎn)要寬恕，百姓生活得以安寧。

西魏恭帝二年(555年)，朝廷加任馮遷為車騎將軍、大都督、通直散騎常侍，鎮(zhèn)守樊城。不久又被任命為漢東郡守。宇文泰之子北周孝閔帝宇文覺(jué)即位后，馮遷擔(dān)任晉公宇文護(hù)府掾，加任車騎大將軍、儀同三司，進(jìn)封為臨高縣公。不久又升任為宇文護(hù)府司隸，授任驃騎大將軍、開(kāi)府儀同三司。

馮遷性格質(zhì)樸，小心謹(jǐn)慎，雖然身?yè)?jù)權(quán)要，而從不拿官職壓人。又加上他明白干練，善于判斷。每次校閱文書(shū)，都是孜孜不倦，從早到晚，不肯休息，因此很得宇文護(hù)的重用。后來(lái)朝廷因馮遷是朝中元老，想使他更加榮耀，就任命他為陜州刺史，進(jìn)封隆山郡公，食邑增至二千戶。

馮遷本來(lái)出身寒微，不被當(dāng)時(shí)的人所看重，出任弘農(nóng)刺史后，只以謙虛恭敬的態(tài)度對(duì)待別人，沒(méi)有人怨恨他。馮遷后來(lái)入朝歷任司隸、工部中大夫、軍司馬、小司空。從天和年間(566年—572年)以后，馮遷由于年紀(jì)漸老，逐漸不受重用。宇文護(hù)被北周武帝宇文邕誅殺后，馮遷受到牽連而被罷免官職，并取消爵位。建德末年，馮遷在家中去世，享年七十八歲。