1920年2月,陈独秀上了警方的黑名单被迫离京。到上海后,他住进环龙路渔阳里2号一栋石库门房子里。很快,李汉俊、李达、邵力子、沈玄庐、陈望道等中国最早接触马克思主义学说的一批知识分子就被吸引到他身边。
北大学生张国焘,在“五四”时期是一个非常活跃的人。当陈独秀常住上海后,他成为为“南陈北李”传递消息的“特殊学生”。
1920年8月的一个晚上,一个外国人和他的翻译悄悄来到渔阳里2号。第二天,陈独秀兴奋地对张国焘说,此二人正是维经斯基和杨明斋。在维经斯基的鼓励下,陈独秀决定加快建立各地共产主义小组。
9月,张国焘回到北京后,把陈独秀希望赶紧建立共产党组织的意思转告李大钊。张国焘记得,“李大钊略经考虑后,即毫无保留的表示赞成。”此前,他还考虑建立中国共产党的时机是否成熟。但此时,他认为“陈独秀先生对南方的情况比我们知道得更清楚,判断也较为正确,现在他既已实际开展活动,那么我们就应该一致进行……”
北京共产主义小组的发起人最初只有李大钊、张国焘和北大教师张申府三人,后来罗章龙、刘仁静两位对马克思主义很有研究的同学也加入进来。
他们认为组织建立之初标准不宜过严,于是吸收了黄凌霜、陈德荣等5位无政府主义者。可是,一开始无政府主义者就与马克思主义者发生了分歧。无政府主义者崇尚个人绝对自由,反对采取任何组织形式,也认为不必有工作分工。在一次讨论要不要承认马克思主义无产阶级专政思想的争论中,几位无政府主义者最终选择了“和和气气”的退出。
不过,令李大钊欣慰的是,无政府主义者退出后,邓中夏、高尚德、何孟熊、缪伯英等新生力量很快便补充进来。