知识书店于1936年9月创办，店址在现和平路298号，国民饭店附近的一个临街铺面，这里也是当时中共天津市委机关的一部分。知识书店是由地下党员吴砚农及其好友叶笃庄筹办，经中共中央北方局林枫批准建立的。吴砚农原任共青团天津市委宣传部部长、中共天津市委宣传干事，曾协助天津文化总同盟党团书记张秀岩领导“文总”工作。

1933年10月，天津文化总同盟遭到破坏，为躲避敌人追捕，吴砚农以到新闻学校求学的名义来到日本东京。在东京，他与同在天津参加过学生运动的革命青年叶笃庄相识，他们在一起的时候经常商讨，如果时机成熟，就回天津创办一个书店，以便在党的领导下开展文化、教育、宣传等工作。

1936年的夏季，吴砚农、叶笃庄相继回国，先由吴砚农与党组织取得联系，叶笃庄负责筹集资金，在党组织的领导下，开始了筹办书店的工作。他们首先通过关系，找到一处临街铺面，位于旧法租界国民饭店旁。后来又在旧法租界教堂后的一个胡同内租了一处平房用于存书和宿舍使用。

书店开张后，经理由叶笃庄担任。主要销售上海出版的一些刊物，像邹韬奋、胡愈之、陶行知、李公朴等编撰的书刊。因当时天津只有很少的几家书店销售这些书刊，因此书店刚开业的时候，很多人都前来光顾，整天络绎不绝。书店采取的售书方式是敞开式的，同时为了方便读者，还可以电话订书，由专人把书送到读者手中。书店除了出售进步书刊外，还参与一些社会活动，如纪念鲁迅等活动。

书店通过各种关系在上海找一些鲁迅生前的照片及各种版本鲁迅的作品，运到天津，并在几所知名学校展览，如南开大学、法商学院、觉民中学、南开中学、中西女中等，同时出售鲁迅的著作。

1936年冬，地下党加强对书店的领导，由中共中央北方局负责人林枫具体领导书店，并派中共天津市委副书记易吉光（余卫公）任书店副经理，叶笃庄在主持了一段时间的店务后，回东京复学。此间，知识书店还出版发行了一些书刊，如中共中央北方局的机关刊物《长城》，编辑出版了一本由吴作民（吴砚农）为发行人，沈志远为主编，张友渔、许德珩、马哲民等人为编委的大型刊物《国际知识》。在当时这些人都是上海、北平的左翼教授。刊物销售非常火爆，第一期销售1000余册，到了第三期销售3000册。此外，还发行一些宣传党的团结抗日主张和统战政策的书刊。

知识书店是上海书店、新知书店、读书生活出版社、天马书店在华北的总经销点。书店影响很大，辐射很多地方，包括济南、太原、北平等地。书店办得非常红火，深受读者的欢迎，这也引起了敌人的注意。七·七事变以后，日本特务机关照会法租界工部局，要查封书店。为避免不必要的损失，经向省委负责人李大章请示，书店于1937年7月28日关闭。

后来，叶笃庄回忆了当时关闭的情形：书店关张是戏剧性的，事先准备好了卡车，把店员组织起来，一夜之间就把书架以外的所有东西运走，天亮时书店内已空空如也，只留下贴在橱窗上的一张告别读者的大字报。这样做，可以避免敌人的注意。等他们察觉时，我们已不知去向了。而贴在橱窗上的大字报却引起了来往行人的围观，以致交通阻塞，警察不得不前来维持秩序。当时日军的飞机正一面轰炸南开大学，一面飞到租界上空散传单，而群众不去注意头顶上飞舞的五颜六色的传单，却聚集在书店门前围观大字报。时间是1937年7月28日，大字报的内容大致是：由于时局的原因，货源断绝，不得不停业，等等。最后一句是：“别了诸君，祝珍重！”字里行间充满了激情和愤慨。知识书店在存在的10个多月的时间里，不断地在天津等地宣传我党团结抗战的主张，扩大了进步力量的影响。