1920年5月，陈独秀在老渔阳里2号发起建立上海马克思主义研究会，邀请邵力子、陈望道、李汉俊、戴季陶、沈玄庐、俞秀松、沈仲九、刘大白等参加，组织学习和研究马克思主义，酝酿建党工作。那时，毛泽东由北京到上海，曾赴陈独秀寓所拜访，讲述了湖南改造促成会的一些计划，还听他谈论马克思主义的理论，与他一起谈论马列书籍和政治信仰；后来，毛泽东在陕北与美国记者埃德加·斯诺见面时说，这段时间“是一生中最关键时刻”，“到1920年夏，在理论上，而且在某种程度的行动上，我已成为一个马克思主义者，而且从此我也认为自己是一个马克思主义者了”。林伯渠的《党成立时期的一些情况》也回忆：“我到了上海会见陈独秀，遂加入当时的上海的共产主义研究小组……一九二○年——一九二一年一月期间，我在上海一共参加共产主义小组座谈会四五次。”

　　1920年6月，陈独秀、李汉俊、俞秀松、施存统、陈公培在老渔阳里2号经两次开会商议，决定建立党组织，并起草具有党纲、党章性质的若干条文，确定通过劳工专政、生产合作等达到社会革命的目的；8月，经征询李大钊的意见，中国共产党发起组在上海成立，定名“中国共产党”；11月，拟定《中国共产党宣言》。这是中国第一个共产党组织（也曾被称为上海共产党早期组织），由陈独秀担任书记，成员有李汉俊、陈望道、沈玄庐、杨明斋、俞秀松、施存统、李达、邵力子、沈雁冰、林伯渠、李启汉、袁振英、李中、沈泽民、董亦湘等。成员们常一起讨论党组织工作和工人运动，还通过多种方式推动各地建立共产党早期组织。

　　1920年9月，陈独秀把《新青年》改版为中国共产党发起组机关刊物，内容由宣传新文化运动转变为主要宣传马克思主义，开辟“新论”“通信”“随感录”等栏目；年底，陈独秀前往广州担任广东省教育委员会委员长，该刊由陈望道主编，沈雁冰、李达、李汉俊也在老渔阳里2号参与编辑。

　　1920年11月，中国共产党发起组创办《共产党》月刊，编辑部设于老渔阳里2号；该刊第一次在中华大地竖起“共产党”的旗帜，阐明建立中国共产党的主张，共出版6期。李达作为主编，常在亭子间里挑灯夜战。

　　1921年6月，中国共产党发起组以老渔阳里2号为联络机关，筹备中国共产党第一次全国代表大会：确定会议地点和日程，起草和刻印相关文件，致函各地共产党早期组织委派代表赴会。

　　1921年7月23日，中国共产党第一次全国代表大会在上海法租界望志路106号（今兴业路76号）召开。会议期间，鉴于全国党员人数比较少、地方组织尚不健全，决定暂不成立中国共产党中央委员会，先建立由3人组成的第一届中共中央局，并选举陈独秀为书记。9月，陈独秀从广州返沪主持中共中央局工作，仍寓居老渔阳里2号，常在此与中共中央局组织主任张国焘、宣传主任李达商量党的工作，并发出《中央局议决通告》《中国共产党对于时局的主张》等重要文件，这里成为第一个中共中央局机关。