说实话，我当初还真有一点不愿意离开江州，不愿意离开自己苦心经营了两年的草堂，不愿意离开这些常在一起谈禅论道吟诗作赋的朋友们。可这时朝廷的命令，不能违背。何况我当时对自己还有那么一点期望，期望自己以后在政治上能够有一番作为。虽然知道，忠州只是蜀地一个贫穷落后的小州，所以还是欣然前去。
朋友们知道我调任忠州刺史，都纷纷道贺。面对他们的真诚祝贺，我只有自我解嘲，说都老成这个样子了，难道还不知道自己的分量？即使官袍红的像火一样，也挡不住我这一头其白如雪的头发。我之所以前去赴任，就是为了贪图哪一点俸禄，要那么大的官印，除了吓唬一下老妻和幼女，又能做什么呢？
离开之前，我去拜访了一下江西观察使裴堪，因为他一直以来对我极为照顾和宽容。在临走的时候，这位上级又送给我一件颜色绯红的官袍还有配套的银鱼袋。因为我当时的散官品阶还是九品的将仕郎，按照朝廷规定，只能穿青袍，但是担任刺史，又要求穿绯红官袍。所以，我只能暂时穿绯袍，佩戴银鱼。以后若不再担任刺史，散官品阶也没有升迁，就还要穿青色官袍。这在当时叫做借绯。对于这位观察使的一番好意，我只有感激在怀。
因为人名下达的时候，已经到了腊月，所以我在江州过了一个年。然后和前来看望我的弟弟白行简一起，乘船向忠洲驶去。一路上经过夏口，经过岳阳，三月十日夜晚，在黄牛峡，我们遇见了从通州到虢州（今河南灵宝）赴任的元稹。多少年未曾相见，没想到还有缘在此相遇。我们三个人都非常高兴。于是停舟夷陵（今湖北宜昌），我们上岸游玩了两天。十二日，元稹把我们送到夷陵西二十八里处的下牢戍。本来应该就此分别，但是双方怎么也不忍分开。于是在这里又停留了一天一夜。十三日，我们又互相送别，总是不忍心分手。于是置酒畅饮，酒酣耳热，三个人一起，游玩了此处的奇山秀水。在山中见到一个景色绝佳的石洞，我们给它起名“三游洞”，洞中水石相搏，珠跳玉溅，烟云含岫，光气吞吐，其间景色真是妙不可言。我们三个人因为留恋美景，一直游赏到黑夜，就在这里住宿了一晚。第二天一早，才依依不舍地道别而去。
经过了三峡，三月二十八日，我和白行简到达了忠州。此时天色已经黄昏，我的好友前刺史李景俭带着一帮下属，在江边迎接我们。在暗色的日光中，我第一次打量这个偏远的州城。这是一个建在山间的小城，城市的布局狭长局促。零落疏散的建筑，转折起伏的山路，说是一个州城，看其规模和繁华程度，大约只相当于京城附近或者是江南繁华地带的一个大村庄。
我在第二天一大早，就发现这里虽然偏远，但是自然的风景还是很不错。尤其是城东的东城楼旁边，种了一大片的竹林，清晨起来，烟雨迷蒙，非常雅致。我还在这里种植了花草果树，到了春天开花的时候，那才是满目春光，繁花似锦。我带领几个人，就在这花下，饮几杯酒，赋几首诗，自得其乐。夏天天气炎热的时候，我就带着竹席和竹床，来到竹林里小睡，有时候一直到晚上，也不想离开。
我这个人，本性懒散，没有太多的野心，所以到哪里走要找寻美景，到哪里都要游玩一番。我在忠州只停留了一年多，元和十四年春天到，元和十五年夏天就离开这里。所以，对这里的了解并不多。除了我开垦的东坡花草地，还有一样是我至今回想起来都思念不已的，就是荔枝。
说来我真是因祸得福，你看，在九江，我建造了草堂寺，自得其乐好几年。在这里，我又见到了稀罕的荔枝。这里简直就是理智的老巢。到了果实成熟期，我每天都要吃上很多。那种滋味，至今难以忘怀。我还专门教人画了一幅《荔枝图》，并亲自作序。我自己享受，那可就有点太小气。所以，我还专门派人给在万州任职刺史的杨归厚送过两次荔枝。杨归厚吃了，大加赞赏，并且兴致勃勃地要在万州种植荔枝。呵呵，他最后有没有种植，我不知道，但是由此你可以看出忠州的荔枝，滋味到底有多好。
我在忠州优哉游哉的时候，并不知道，朝廷已经发生了大的动荡。正是这个动荡，决定了大唐王朝以后的命运，也决定了我以后的命运。