１９２７年大革命失败后，林育南在湖北转入地下斗争，先后任中共湖北省委常委兼宣传部部长、中共湖北省委代书记。１９２７年底赴上海，任中共沪东区委书记。１９２９年１１月在上海参与筹备第五次全国劳动大会，他继续被选为全国总工会执委会委员，任编辑委员会负责人、秘书长，主持日常工作。１９３０年起林育南任全国苏维埃区域代表大会中央准备委员会秘书长。
１９３１年１月１７日，林育南同何孟雄、李求实等在上海被国民党反动当局逮捕。在狱中，林育南经受住了敌人的严刑拷打，宁死不屈，对党忠诚，同敌人进行坚决斗争，保持了共产党员的坚定立场和崇高品格。１９３１年２月７日，林育南与何孟雄等２４位共产党员与革命者，在上海龙华英勇就义，时年３３岁。
