经在杨坚心目中，自是曾经身为三路伐陈大军元帅的晋王杨广是抚绥江南的最佳人选。
然而，即连进献剿抚并用之策的首辅高颖也不主张由杨广领衔，抚绥江南。
虽然高颖口中声称的不赞成杨广出镇广陵、抚绥江南的理由是突厥大有重新崛起之势，在此当口，不宜征调在应对突厥方面最有经验的杨广南下，改镇江南，杨坚凭着他多年以来对高颖的了解，仍能领会出他之所以率先反对杨广改镇江南，其实还出于对朝中才因杨广出镇并州平息不久的易储风波的深切忧虑。
要知道，江南不同于北境的突厥。突厥无论是向朝廷称臣，还是重新称霸于漠北草原，都属于外政，而自南陈被伐灭后，江南就划入了隋朝的疆域，杨广手握天下兵权，且又是统军伐陈的三军统帅，倘若命他抚绥江南，日后一旦其有与太子杨勇争位之心，且事竟不成的话，那么他占据江南、割据一方，就是可以想见得到的事了。
指派杨广既有可能带来后患，接下来浮现于杨坚脑海中的几个皇子：杨俊、杨秀、杨谅，也随即被他自己给否掉了。
秦王杨俊不宜抚绥江南的理由和杨广多多少少有些类似，且他尚受到家事困扰，难以专心抚绥江南，为朝廷效命。
蜀王杨秀在数年前激起西南羌人叛乱过程中暴露出的残暴本性，使得杨坚至今仍记忆犹新。如派他去江南，不用说抚绥江南，收拢人心了，他不激起江南新的叛乱就算不错了。
汉王杨谅年岁虽小，却天资聪慧，不在杨广之下，且才从并州卸任回到长安，指派他改镇江南是最合适不过的了。可是，杨谅最令人放心不下的就是他的年岁和经验不足，如若派他去抚绥江南，须得替他再派去一位朝中重臣充当顾问，这又是一件令人挠头的事。
杨坚思来想去，下意识地将目光转移到了太子杨勇身上，心中暗想：倘若见地伐不曾擅自扩充东宫六率，以他一向保守、持重的性格，派他抚绥江南，倒是再合适不过的人选了。可是，他已然犯下过一次大错，如派他去抚绥江南，一旦再犯下过错，只怕是自己不想易储都难了。
“圣上，臣以为当今朝中，唯有晋王能担当抚绥江南之重任，即请圣上下诏召回晋王，命他再镇江南。”杨坚的思绪被陡然响起的一个声音打断了，他循声望去，见说话的是尚书右仆射苏威。
杨坚知道，同自己在伐陈前夕颁下一道联姻诏书，将当朝首辅高颖强行和太子杨勇捆到了一起相比，在朝中目前的几位宰相之中，苏威恐怕是最希望看到杨广取代杨勇，成为新太子的人了，眼下两位尚书仆射各执一辞，互不相让，在指派杨广前往抚绥江南这一问题上产生了分歧，使得杨坚心中犹豫不决之际，转而征求起已择定为清剿江南叛乱的门下纳言杨素的意见来了。
杨素对近来朝中产生的易储之争心知肚明，本不欲当着高颖、苏威的面儿向皇帝进言，发表带有倾向性的意见，但由于之前他曾办砸了向皇帝进献美女，私辟外室这件事，自认为得罪了皇后独孤伽罗，连带着对受独孤伽罗委派前去购下明泽坊那所宅院的杨广也心存畏惧，生怕独孤伽罗、杨广，以及自己的夫人郑祁耶几个人会联起手来对付自己，所以当他瞧出皇帝心意未决，将目光定格在自己身上时，基于讨好杨广的考虑，抱拳向杨坚建言道：“臣以为，突厥实为癣疥之疾，而江南才是心腹大患。臣知陛下素有四分天下归一统的宏愿大志，欲使四分天下真正归为一统，抚绥江南尤其重要，且相较臣统军清剿江南叛乱要难上许多，唯有选派最为适宜之人选担此重任，方可收天下归为一统之功效。伏惟陛下圣躬独断。”
杨坚见杨素虽未明说，言语中已透露出赞同由杨广抚绥江南的意思来，遂呵呵笑道：“处道的意思朕已听懂了。如朕采纳尔等建言，从并州征调阿纵南下，你须知此番你不再受他节制，你主剿，他主抚，彼此互不统属，你可知道了？”
“臣定不负陛下所托，早日平定江南叛乱，为陛下归化江南、实现天下一统效命。”杨素凛然答道。
就这样，杨广在离京再次出镇并州仅有短短半年之后，被当作“救火队长”再次派往了广陵，改任扬州总管，抚绥江南。
为有助于杨素统军从速平定江南叛乱，为杨广抚绥江南创造有利条件，杨坚特命，将史万岁、李彻两员大将调至杨素麾下就任行军总管，随杨素一道前往江南平叛。
同时，由于江南平叛的需要，杨坚在杨广奉调南下后，改派侄儿广平王杨雄出镇并州，由长孙晟辅佐，对突厥暂行安抚之策，以俟江南平定后再集中精力防止突厥势力的重新坐大。
杨广因考虑到此次南下与前次统领大军伐灭南陈不同，重在收拢人心，于是便在从并州奉调南下广陵赴任之际，特地上书杨坚，请求携王妃萧厄一同前往抚绥江南，以求利用萧氏在江南的影响力，相助自己收拢江南人心。同时，派人带信回长安，传命自己幕府中的两位智囊——张衡和裴蕴护送萧厄至广陵与自己相会。
裴蕴得信后，未经杨广允准，也不同张衡商量，便擅自做主，连逼带劝地强拉着心意师太、司马珞、连同居于明泽坊宅院中的红拂女冯小惜一道，随自己和萧厄一行离开长安，赶赴了广陵。
待到对冯小惜怀有一片痴心，朝思暮想着要娶她为妻的刘居士发现一夜之间，冯小惜连同居住于同一所宅院中的心意和司马珞两人都不见了，向明泽坊的里正和街坊打听冯小惜的去处时，有好事人遂对他诈称冯小惜是返回故乡投亲去了。刘居士信以为真，回家禀告了父母，带上些金银珠宝，离开长安，一路北上追寻起冯小惜的下落来了。