谢讽三年前因窃取杨丽华手迹不成，受了赤髯少年张仲坚牵连，一度被关入天牢待勘，多亏了萧萧智激杨素，以欲对南陈施行怀柔攻心之策，从天牢中解救出了他，并带他到东都赴任，利用他江左世家子弟的身份，在东都延揽江左贤士，收买人心，借以达到分化瓦解南陈朝中士族的效果。待至后来，因突厥五可汗联兵南侵，兵锋一度直指帝都长安，隋高祖杨坚被迫接受左仆射高颖的建言，以礼不伐丧为借口，下诏停止攻陈，调集江淮大军北上，抵御突厥。
隋朝与南陈之间的战事一停，再施怀柔攻心之策已非必要之事，谢讽因家中变故，近年独自漂泊在外，迫使他不得不低调处人待事，眼见随着南陈国内，造反作乱的始兴王陈叔陵迅速地被登极作了皇帝的太子陈叔宝指派大将萧摩诃率军剿灭、斩杀，陈叔宝不久又主动向隋朝派出使臣，以交还其攻占之江北数城为条件与隋朝讲和，两国间的关系日渐缓和，自忖身份，便不肯再在杨素府上饱食终日，无所事事，主动向杨素提出，情愿出任杨素府中后厨掌案，为其效劳、办差。
杨素起初还颇有些舍不得要谢讽这么一位出身江左世家的才子去后厨掌案，多次婉言谢绝谢讽要出任府中掌案的请求，待至后来见谢讽掌厨心意已决，常常瞒着自己偷偷跑到后厨亲自烹饪菜肴，且他烹制出的菜肴确实与众不同，甚合自己的胃口，时日一长，便就听之任之，默许了谢讽出任府中掌案一事。
今日一早听夫人提到在并州出镇的晋王派人回京来见谢讽，杨素随即就猜到了萧萧的来意，必是奉杨广之命，前来召谢讽北上并州的，所以趁着萧萧未来之前，想先探听探听谢讽本人的心意，才做打算。
“若非清河公出手相救，谢讽恐怕早已不在人世了，谢讽情愿终生为清河公效劳，不愿它往。”谢讽得杨素事先命小惜关照，知道有客来访，故而遵命特地换了一身长衫来此见客，听到杨素问询自己是否愿意北上重回晋王身边当差，忙躬身向杨素作了一揖，拱手答道。
杨素心里对谢讽的回答甚是满意，此事若是放在两个月前，他尚未因夫人告发丢官罢职之前，纵然是谢讽本人不情愿，他也多半会答应杨广的请求，主动送谢讽北上并州，而如今他的心思却不同了：自己既然已被革职、罢了官，且欲借日后朝廷兴兵攻陈之机，谋求东山再起，留下谢讽这位江左世家子弟在身边自然就十分必要了。
并且，据他返京任职这段时日在朝中的观察得知，太子杨勇似乎和自己的所见相同，也力主朝廷尽早发兵攻陈，以实现南北统一大业。而再往深处想上一想，一向保守持重的太子之所以会一反常态地力主攻陈，多半正是由于出镇并州的这位晋王殿下近两年来风头太盛所逼，在此情势下，自己打算日后借太子之力谋求上位，就不能与晋王走得太近。
“过誉，过誉了。”心里虽怀着不放谢讽北上的心思，杨素表面上呵呵笑着对谢讽摆手自谦着，“有一件事，我从未向你提起过，三年前，正是晋王身边的侍女萧萧竭力央求我出手解救于你，你才会脱此牢狱之灾，所以，要说感恩，你首先应当感谢的人是萧萧，而非我。”
谢讽闻言一怔，不知杨素选择在此时告诉他这一当年的真相究竟心怀何意，随即再次躬身答道：“即便如此，也是清河公仗义相救，才使谢讽得脱牢狱之困，且这两年来，清河公待我有天高地厚之恩，在谢讽心目中，仍将清河公视做再生父母一般，决不敢相负。”
“哎呀，你若执意如此，今日之事倒有些难办了。”杨素觑着谢讽的脸色，故作为难的样子，搓着手说道，“老夫目下乃赋闲之人，自感留你这般大才在身边做一掌案，已有诸种不妥，尔今又逢晋王殿下差专人来请你北上高就，我若不放你去，岂不要遭人唾骂？”
经过近两年多的紧密接触，谢讽对杨素的为人、秉性多多少少也了解一二，以今日之事论之，若杨素有心放自己随萧萧北上并州，是决计不会赶在萧萧到来前再三探问自己心意的，而他越是在自己面前表现出左右为难的模样，实则无异于向自己表明了，他并不愿放自己北上并州的态度。
“无须清河公做难，呆会儿见了晋王所差之人，谢讽自会当面谢绝晋王好意，留在清河公身边的。”谢讽心中主意已定，无论从哪个方面来说，自己都不宜在此时舍下杨素而另赴高就，故而语气十分坚定地答复杨素道。
正是有了杨素和谢讽二人之间的事先互示心意，才使得安若溪和萧萧二人一见到杨素和谢讽，待萧萧向杨素说明杨广欲请谢讽北上的来意，谢讽就率先给了萧萧一记闭门羹：“谢讽当年为奸人威逼，犯下大错，自愧无颜重返王爷身边当差，烦请姑娘代为向晋王殿下致歉，宽恕谢讽无法遵命北上吧。”
杨素趁机也说道：“不瞒姑娘，姑娘来前，老夫也劝了他多时，无奈谢讽始终觉得当年有负王爷恩情，担心自己若回到王爷身边当差，一旦被皇上、娘娘得知了此事，会给王爷引来不必要的麻烦，所以才直言相拒的。还望姑娘回到并州后，多替谢讽在王爷面前担待些，莫要王爷因此记恨了谢讽才是。”
萧萧满怀期望而来，不料才和谢讽见了面儿，话没说上两句，就被兜头泼了盆凉水下来：谢讽自已所说愧对杨广的那些话也还罢了，偏偏杨素提到的谢讽返回杨广身边当差，这件事若被皇帝、皇后知道了，说不准会旧事重提，给谢讽带来牢狱之灾，倒不能不使她有所顾忌，难以对答。