一見面，斯馬萊特就用生硬的中國話說：“88師呱呱叫，頂好！”
楊虎傳達了蔣介石的撤退令，并且對斯馬萊特表示，必須有英軍協(xié)助，四行孤軍才能安全撤離。斯馬萊特說：“我的部隊與貴師官兵，數(shù)月來隔河相望，我們已經(jīng)是好朋友，四行守軍撤離，我當全力支持負責掩護，但不知你們要我怎么做？”
張柏亭表示，四行孤軍唯一的撤退路線是跨過蘇州河，經(jīng)由租界前往滬西歸隊。日軍在國慶路方向，設有機搶陣地并有探照燈，封鎖著四行后門的北西藏路，所以孤軍撤離，必須要有英軍的掩護。
馮圣法強調(diào)：“孤軍撤離絕不是戰(zhàn)敗退卻，或者逃跑遁走，而是應友邦人士的請求奉命撤離，此點須請斯馬萊特將軍特別了解。”
斯馬萊特站起身來，拍拍楊虎的肩膀說：“你們放心！楊司令是我多年的好朋友，你們信不過我，應該相信楊司令。”
可是，后來孤軍撤到租界，并沒有享受到應有權(quán)利，斯馬萊特卻一句話也沒有說。
談妥之后，張柏亭當晚撥通了謝晉元的電話。當聽到撤離的命令時，謝晉元非常驚異。他激動地說：“全體壯士早已立下遺囑，相誓與四行最后陣地共存亡，但求死得有意義！但求死得其所！請參謀長報告師長，轉(zhuǎn)請委員長成全我們！”
張柏亭和馮圣發(fā)論文番開導謝晉元、1連連長上官志標和營長楊瑞符。可他們態(tài)度十分堅決，張柏亭隱約聽到，電話中對方“聲淚俱下”。
然而，軍人以服從為天職。謝晉元最終還是接受了命令，率領部隊撤離四行倉庫。
“八百壯士”全部撤到公共租界中國銀行倉庫中，已經(jīng)是凌晨3點。進入倉庫后，租界當局立即要求他們繳械。一聽這話，謝晉元和戰(zhàn)士們?nèi)绷恕Ｖx晉元說，武器是軍人的第二生命，不能離手，如果租界當局非要繳械，他們寧愿回到戰(zhàn)場上去。就這樣，一直僵持了好幾個小時。
這時，按原計劃在漕河涇等待“八百壯士”歸隊的張柏亭坐不住了，驅(qū)車趕往新垃圾橋。當他得知英軍要“八百壯士”繳械時，非常憤怒，但為了穩(wěn)住局面，他還是勸謝晉元暫且忍耐下來，容他們慢慢理論。
隨后，張柏亭通過楊虎打電話質(zhì)問斯馬萊特，為何自食其言。英方解釋，進入租界者不許帶武器，這是肋例。他們不是要繳“八百壯士”的械，只是代為保管。
在張柏亭和英方少校馬飛的反復勸說下，謝晉元最終同意交出武器。當時負責翻譯的鄭俠飛回憶：謝晉元“面容憔悴，滿眼紅絲，流著眼淚，悲憤之情，溢于言表”，在與馬飛少校交談中“有時泣不成聲”，而大家只能默然相對，不知道該怎么安慰他才好。
盡管一百個不愿意，謝晉元最終還是服從上峰命令，交出了武器。當時，“八百壯士”共有步搶260余支、輕機搶27挺、重機搶8挺、駁殼搶20支、手搶10支、手榴彈800枚、子彈12萬發(fā)。由此，也可證明他們絕不是走投無路、逃入租界的俘虜。
在隨后的一次談話中，謝晉元說：“我等困守閘北四行倉庫凡四日夜，擊退敵軍六次進攻。彈藥的消耗不及十分之一，至于給養(yǎng)，雖堅守三年亦無絕糧之虞”，“我等之撤退，系因第三者要求維護中立地區(qū)（公共租界）之安全，請求我zf同意，而由我最高當局下令撤退者。”
然而，租界當局沒有兌現(xiàn)當初的承諾，送“八百壯士”歸隊，反而立即將他們送進了位于星加坡路膠州路口的意大利兵營。
蔣介石得知“八百壯士”被租界羈押后，派俞鴻鈞提出抗議，要求立即送他們籬隊。另一方面，日軍也向租界提出引渡“八百壯士”的要求。租界當局本著誰也不得罪的原則，將謝晉元和他麾下377名戰(zhàn)士軟禁在意大利兵營。
自1937年11月1日直至1941年12月8日太平洋戰(zhàn)爭爆發(fā)、日軍占領公共租界，“八百壯士”共被羈押了4年1個月零27天。
在漫長的羈押歲月中，謝晉元和戰(zhàn)士們既不能到前線殺敵報國，又經(jīng)受著租界當局的種種欺壓，苦悶到了極點。即便謝晉元以軍人的標準，為戰(zhàn)士們制定了作息時間表，組織出操、生產(chǎn)，甚至是籃球、排球比賽，但是消極、散漫的氣氛，還是一點一點侵蝕著部隊的思想。
1941年4月25日清晨5點，戰(zhàn)士們在操場集合準備早操。大隊人馬剛跑出不遠，二連下士郝鼎城，四連下士張文清、尤耀亮，上等兵張國順，向謝晉元身邊圍攏過來。謝晉元還沒反應過來是怎么回事，郝鼎城已經(jīng)抽出一把一尺多長的匕首，向謝晉元面門、前胸、咽喉刺過來。