这话让张国焘惊出一身冷汗，也使他对革命党人更加敬佩。当时袁世凯刚刚过世，其党羽在上海仍然很猖獗，许多特务就住在公共租界，他们往往把革命党人骗到公共租界，以绑票的方式予以逮捕。能在如此艰苦条件下不顾性命与敌人斗争，这正是张国焘所向往的。
叶伯衡见张国焘态度坚决，当即找来一张折叠床，安放在他自己的棕绷床旁边，好在天气炎热，无需什么被褥。住下之后，叶伯衡带张国焘拜访了一些被困于法租界的革命朋友，他们大多是两湖及江西人，也都个个穷困潦倒。他们在一起不厌其烦地议论着袁世凯及其党羽的各种丑闻，发誓响应孙中山先生的号召，联络会党，运动军队，推翻北洋政府。
可惜，张国焘在叶伯衡的寓所只住了一个多月，叶伯衡因得到书画家李瑞清的赞助，前往印尼教书，张国焘不得不与之道别。
之后，张国焘又联络到担任过革命军团长的表兄杜君，杜君与另外7 名青年住在一间旅社，张国焘兴致勃勃搬去与他们同住，发现他们虽怀有一腔热血，却目空一切，极爱炫耀曾经的辉煌，且沉迷酒色，张国焘对此不敢苟同，平时除了睡觉便流连于书店，很少回旅社。不久，杜君等人到日本留学，张国焘报考了北大并被录取，于是大家分道扬镳，各奔前程。