1929年春，胡斌受中共黨組織的委派到張?jiān)埔蓊I(lǐng)導(dǎo)的廣西警備第四大隊(duì)任第一營(yíng)營(yíng)長(zhǎng)。他在部隊(duì)中開(kāi)展士兵運(yùn)動(dòng)，加強(qiáng)思想政治工作，使部隊(duì)成為中共領(lǐng)導(dǎo)的革命隊(duì)伍。同年10月，鄧小平、張?jiān)埔萋暑I(lǐng)教導(dǎo)總隊(duì)和第四大隊(duì)開(kāi)赴廣西西部的百色地區(qū)，準(zhǔn)備武裝起義，被張?jiān)埔菀杂医睫k之名任命為凌云縣縣長(zhǎng)，率第四大隊(duì)1個(gè)連進(jìn)駐凌云。胡斌一面督促稅務(wù)局將全部稅款交給右江督辦署，一面迅速收繳反動(dòng)民團(tuán)的武器武裝農(nóng)民，以該縣農(nóng)軍骨干組建1個(gè)正規(guī)連。12月11日，鄧小平、張?jiān)埔莩晒︻I(lǐng)導(dǎo)百色起義，宣布成立中國(guó)工農(nóng)紅軍第七軍，他被任命為紅七軍第二縱隊(duì)司令。

1930年1月，原凌云縣反動(dòng)縣長(zhǎng)岑德施糾集反動(dòng)民團(tuán)武裝1000多人進(jìn)攻凌云縣城，他率紅七軍第二縱隊(duì)一部分隊(duì)伍給予堅(jiān)決鎮(zhèn)壓，斃敵20余人，粉碎了敵人的進(jìn)攻。2月，桂系頭目李宗仁、黃紹宏、白崇禧調(diào)集大批反動(dòng)軍隊(duì)向左右江革命根據(jù)地發(fā)動(dòng)進(jìn)攻。胡斌率第二縱隊(duì)部分隊(duì)伍和軍部工作人員留守。由于敵強(qiáng)我弱，紅七軍主力在隆安消滅了敵人一部分有生力量后撤出戰(zhàn)斗，到東蘭、鳳山一帶休整。這時(shí)敵人已逼近百色，胡斌在與前方失去聯(lián)系的情況下，果斷地作出決定，撤離百色。把隊(duì)伍和軍部存放在百色的重要物資安全地轉(zhuǎn)移到東蘭，與紅七軍主力匯合。3月初，遵照紅七軍前委在盤(pán)陽(yáng)會(huì)議的決定，他率第二縱隊(duì)同第一縱隊(duì)一起行動(dòng)出擊外線，向黔桂邊境開(kāi)展游擊戰(zhàn)爭(zhēng)。4月上旬，紅七軍占領(lǐng)懷遠(yuǎn)，后攻占貴州榕江。5月上旬，紅七軍回師右江，收復(fù)被敵占領(lǐng)兩個(gè)多月的百色城。在從黔桂邊界開(kāi)展游擊戰(zhàn)爭(zhēng)到收復(fù)百色等戰(zhàn)斗中，胡斌總是身先士卒，英勇善戰(zhàn)，深得領(lǐng)導(dǎo)的信賴(lài)和士兵的擁戴。同年秋，胡斌被調(diào)離紅七軍回廣東工作。

1931年春，受中共黨組織委派到香港從事黨的地下工作，途中被國(guó)民黨反動(dòng)派逮捕，押解回廣州監(jiān)禁。1932年秋，在廣州流花橋被殺害。中華人民共和國(guó)成立后，胡斌被追認(rèn)為革命烈士。