10月29日，廣州解放半個月后，他帶著簡單的行李，去到東郊的車陂，加入了中國人民解放軍。
劉緯武被編入第四野戰(zhàn)軍15兵團(tuán)44軍132師軍政教導(dǎo)大隊。經(jīng)過5個多月的訓(xùn)練，他和132師軍政教導(dǎo)大隊四中隊的一批年輕學(xué)員，乘坐一輛大卡車，來到市內(nèi)小北地區(qū)，向駐扎于此的131師392團(tuán)報到。
第四野戰(zhàn)軍44軍131師，這支部隊從東北出發(fā)，經(jīng)歷過遼沈戰(zhàn)役、平津戰(zhàn)役、渡江戰(zhàn)役。1950年5月，以陸軍打海軍的首個戰(zhàn)例擊敗了國民檔海軍艦隊，解放了珠江口外涵蓋48個島嶼的萬山群島。
劉緯武被編入392團(tuán)宣傳隊。5月26日，在萬山群島的主島垃圾尾，解放軍與國民檔部隊連番廝殺激戰(zhàn)。他和戰(zhàn)友登島，在露天廣場上，接連不斷地表演唱歌、相聲、短劇……國民檔海軍艦隊不甘被逐，在附近的海面游弋，有炮彈在舞臺不遠(yuǎn)處爆炸，中間夾雜著斷斷續(xù)續(xù)的搶聲。
此時，位于海峽對岸的劉緯文，業(yè)已從國民檔海軍官校畢業(yè)，加入國民檔海軍部隊。
“臺灣島上的情況怎樣？兄長在軍中近況怎樣？”與父、兄隔海對峙，好幾個晚上，劉緯武想起在對岸的親人，徹夜未眠。
這段經(jīng)歷后來被他寫進(jìn)小說《國共兩兄弟》上卷。兩兄弟商議，將這本書分為上下兩卷，從1949年兩兄弟的分手開始，直到1971年兩兄弟重逢時結(jié)束，敘述在共產(chǎn)檔管治和國民檔管治下兩兄弟的經(jīng)歷。劉緯武的上卷早已完成，但兄長的下卷仍未定稿。
結(jié)緣黃埔
年齡報大兩歲方得入伍
和兒子劉緯武參軍時相當(dāng)?shù)哪昙o(jì)，父親劉詠堯也來到廣州，考取陸軍講武學(xué)校。校長是程潛。
黃埔軍校開學(xué)之后，程潛把陸軍講武學(xué)校158名學(xué)生送入黃埔軍校。這批被保送的學(xué)生除劉詠堯外，還有陳明仁、桂永清等人。
在臺北“國史館”保存的人事資料中，他的年齡出現(xiàn)了兩個版本：一個是“民國紀(jì)元前七年”(即1905年)，一個是“民國紀(jì)元前五年”(即1907年)。
劉緯武解釋了這一矛盾：1924年的黃埔軍校《招生簡章》要求，報考者年齡要在“18歲以上，25歲以內(nèi)”，當(dāng)時，劉詠堯不滿17歲，還差一歲。他將自己的年紀(jì)報大了兩歲，方得以入伍。他是黃埔一期年齡最小的學(xué)生。
1925年，以黃埔軍校校軍為主力的革.命軍兩次東征和回師廣州，討伐陳炯明、林虎、楊希閔、劉震寰，劉詠堯均在其列。
1925年3月12日，東征軍進(jìn)駐廣東省揭陽縣與普寧縣交界的棉湖地區(qū)。次日，陳炯明部粵軍第一軍黃任寰、王定華等部已先到棉湖西面和順一帶，占據(jù)有利地形，且兵力強于東征軍十倍以上。
東征軍分為三股，三面夾擊敵人。以3000多兵力，擊潰陳炯明部粵軍兩萬精銳部隊，成為軍事史上以少勝多的典范戰(zhàn)例。此次戰(zhàn)役中，黃埔軍校校軍傷亡慘重，劉詠堯亦左肩中彈。
7個月后的第二次東征，陳炯明將主要兵力集中于惠州地區(qū)�；葜莩侨姝h(huán)水，地形奇特，易守難攻，從宋朝起，從未失守，是粵東首要重鎮(zhèn)。他企圖將東征軍堵在惠州城下，然后反守為攻，打敗東征軍。
劉詠堯擔(dān)任敢死隊長，在敵軍密集的機搶掃射下，數(shù)度挾云梯，強行攀爬城墻，登上城頭。不料，突然射來一顆子彈，將他擊倒在地面，昏迷了一晝夜，方才蘇醒。
隨后，陳明仁登上了城墻。緊接著，東征軍攻破西門，陳炯明下屬楊坤如棄城逃走�；葜莞娼荨�
然而，一顆子彈留在了劉詠堯的顱骨中，未能取出，以致老年時，他時常頭痛欲裂。
1926年，他與9名黃埔軍校學(xué)生被選拔至莫斯科孫逸仙大學(xué)，與鄧小平、烏蘭夫一道，成為該校的第一屆畢業(yè)生。
莫斯科孫逸仙大學(xué)為國共合作時期的中國大革.命培養(yǎng)政治理論骨干。1927年7月，受到“四一二事件”影響，國民檔中央執(zhí)行委員會發(fā)表聲明，取消該所學(xué)校。次年，學(xué)校更名為中國共產(chǎn)主義勞動大學(xué)，并在兩年后宣布解散。
在這里，劉詠堯結(jié)識了他的第一任妻子韋碧輝。韋碧輝是當(dāng)時的“才女”，她與廖仲愷的女兒廖夢醒一道，從執(zhí)信學(xué)校選拔至此，在廣州執(zhí)信中學(xué)優(yōu)秀校友的名冊上，依舊保留有她的名字。兩人育有兩子：劉緯文和劉緯武。
二人離婚后，經(jīng)黃杰介紹，劉詠堯結(jié)識后來的妻子鐘光儀。后者是他在南京創(chuàng)辦的中正學(xué)校第一屆學(xué)生。