西街影剧院一带有据称是“大方伯府”旧址的地方

现存一些文史资料有更详细的记载称，户部主事贺世寿于1612年首先对史继偕发起攻讦，控告他想谋取辅臣李廷机的权力，并告他儿子在海上抢劫，不过并不成功，皇帝没采信，把已经一怒辞官的史继偕又追了回来；第二次是1618年，金军发动进攻辽阳告急，神宗说自己身体不好不能上朝，史继偕会同大臣们一起跪请皇帝临朝，抓紧搞好军备，结果皇帝不理。1619年，史继偕索性辞官，不顾皇帝挽留启程回家。后来光宗即位，晋升史继偕为礼部尚书兼东阁大学士，又把他请回了京城；第三次是发生在1623年3月，吏部右给事中阮大铖捕风捉影地诬告说：泉州有一钱会是史继偕的儿子在当盟主，应追查严办。史料中，阮的用语极其恶毒。史继偕据理力争，具疏陈辨，并要求派抚按调查核实，熹宗对其好言安慰。但这时阮大铖作为东林党骨干，势力很大，一唱群和，刑科给事中解学龙、御史练国章等都纷纷上书攻击史继偕。史继偕一看这架势不对，就接连上疏请求去职归家。直到写了18封，熹宗才不得不应允，准许他辞职。清代李清馥的《闽中理学渊源考·卷73·文简史联岳先生继偕》称：“(偕)为阮大铖所忌，从中挤之。引年疏十八上，乃得归。”

另外也有文史材料称，万历四十七年（1619年），史继偕还有一次“退”的经历。当时他出任会试的考官，与大学士方从哲、户部张问达同为殿试读卷官，推选出晋江人庄际昌为状元。但是庄际昌进呈的卷子上，误将“醪”字写为“膠”字。于是有人借此攻击，认为史继偕偏袒同乡之人，有舞弊嫌疑。实际上，当时殿试读卷官总裁是方从哲，再说状元又是神宗皇帝亲点的，根本容不了史继偕作弊。史继偕受此冤枉，于是向皇帝递上辞呈。

从史继偕的多次进退，以及他既不肯依附东林党，也不肯投靠“浙党”、“楚党”等派别上，不难看出，他是在坚守某种为官的底线。一旦有人要逼他破底线的话，他就不干了！也正是拥有这样的“自觉”，使得史继偕能在混乱的时局之下，保住了自己的清誉。在位时，史继偕还曾参与编撰《神宗显皇帝实录》，据《明实录》载，《神宗显皇帝实录》天启元年（1621年）三月始修，以张惟贤为监修官，叶向高、刘一燝、韩爌、史继偕等为总裁官。1623年，改命顾秉谦、丁绍轼、黄立极、冯铨等为总裁（史继偕此时已递辞呈），崇祯三年（1630年）十一月修成。

1635年，史继偕离世，享年75岁，被朝廷追赠左柱国太师兼太子太师。清·道光《晋江县志·卷68·冢墓志》：“大学士史继偕墓：在四都驷行烛台山。”即，史继偕之墓在晋江磁灶驷行山铺的烛台山上。