1926年夏，吉国桢被派往莫斯科中山大学学习，同年秋转为中国共产党党员。
1929年回国后，吉国桢担任中共陕北特委书记。他主持开办党、团员训练班，秘密开展学运、农运和兵运，使陕北的党、团组织和革命运动有了很大发展。至1930年夏，陕北党团组织遍及十余县，党团员达二千余人。
1930年7月起，吉国桢先后任陕西省委常委兼西安市委书记，并参加省委组织委员会、军事委员会和职工运动委员会的领导工作。同年10月，省委机关被国民党特务发现，吉国桢和二十多名省、市委领导同志、基层党团干部被敌人逮捕。吉国桢在狱中受尽酷刑，始终坚贞不屈，严守党的机密。11月底，吉国桢越狱。出狱后，省委决定由吉国桢负责组织临时常委，主持省委工作。
1931年5月，吉国桢任中共河南省委书记。在严酷的白色恐怖下，他不避艰险，整顿各地党团组织，领导党团组织深入基层，发动农村游击战争，在敌军部队中策动兵变，组织城市工人罢工，有力地回击了国民党反动派的屠杀政策。吉国桢还很重视兵运工作，担任河南省委书记伊始，就根据了解到的情况，向党中央建议开展对国民党二十六路军的兵运工作，并派遣一位在二十六路军中有广泛关系的干部到该军进行策动工作，为促成宁都起义做出了贡献。吉国桢还指导省委宣传和组织部门先后出版了《中州时事》《中州新闻》《群众周刊》《党的建设》等刊物，揭露军阀罪行，宣传红军作战的胜利及各地群众斗争的情况，加强了对党员和群众的教育。
1931年，九一八事变爆发后，吉国桢在河南领导成立抗日组织，展开抗日救亡运动。是年冬，吉国桢积劳成疾，一度半身瘫痪，卧床不起。经过治疗，病情稍愈，他又投入紧张的斗争。
