在北京求学期间，刘谦初与李大钊领导的学生组织建立了秘密联系，接受中共地下党组织的领导。１９２５年五卅惨案发生后，他首倡成立“燕大沪案后援会”，被选为燕大学生运动负责人之一。１９２６年，刘谦初再度投笔从戎来到武汉参加北伐军，在第十一军政治部宣传科社会股任股长，并兼任政治部理论刊物《血路》的副主编。
１９２７年１月，３０岁的刘谦初正式加入中国共产党。也是在这一年，刘谦初遇到了自己的革命伴侣——时任中共京山县委副书记、２４岁的张文秋。两人怀揣着共同的革命理想，又被彼此人格魅力所吸引。在武汉亲友的家中，两人举行了简单的婚礼。
大革命失败后，白色恐怖笼罩全国。刘谦初根据党的指示，先到江苏省委工作，后经上海去福建。１９２８年９月，在福建省第一次党代会上，他被选为中共福建省委书记。１９２９年初，党中央调他到山东工作，以齐鲁大学助教身份作掩护。
面对险恶环境，他把个人生死置之度外，常常冒着危险，来往于济南、青岛等地，夜以继日地工作，传达党中央的指示，宣传鼓舞群众，揭露敌人罪行，组织对敌斗争，很快恢复、重建和发展了被破坏的党组织，重新组成中共山东省委，并担任省委书记兼宣传部长。１９２９年７月，他按党中央的指示，和青岛市委的同志一起，领导和发动了持续４０多天的青岛大康、隆兴和富士等七大纱厂的总同盟大罢工，给反动当局和日本帝国主义以沉重打击。
１９２９年８月６日，刘谦初经青岛赴上海向党中央汇报工作时，不幸被捕入狱。在国民党济南警备司令部监狱里，面对敌人的威逼利诱、严刑拷打，他不为所动，从未屈服。在生前写给妻子张文秋的遗书中，他说：“望你不要为我悲伤，希你紧记住我的话，无论在任何条件下，都要好好爱护母亲！孝敬母亲！听母亲的话！”
１９３１年４月５日，在刑场上，刘谦初戴着沉重镣铐，高唱《国际歌》，高呼“中国共产党万岁”等口号，慨然就义。
位于平度田庄镇东刘家庄的刘谦初故居，按照原貌已进行了多次修葺，现在是青岛市爱国主义教育基地、山东省重点文物保护单位。每年清明时节，当地的中小学师生都会来到这里，追思缅怀英烈的光辉历程。今年１月１２日，故居还被确定为第三批山东省党史教育基地。
