原来，告发他的人正是驻西扶风隗里县的雍营越骑校尉司马李铭。
刘庄不解地问班固，“吾甚为不解，汝翁班彪一生为人谨慎，汝亦谨慎之人，班家何致得罪三辅众人，雍营司马李铭何故欲构陷汝耶？”
班固不敢隐瞒，便以实情报皇帝，“禀报陛下，李铭构陷于吾，实为妒恨也。明有妹名李慧，此女好淫，其夫早亡。明欲将北营门令吏左车纳为妹婿，然因其妹品性不端，吾未为引荐，故而生恨也……”
刘庄闻言感叹良久，“小小的五陵原竟然如此热闹，难怪是先帝百年陵寝所在。但凡人杰地灵之所，灾年必出妖孽。人心不古，因妒成恨，视人命如草菅，此李铭甚是可恨……”
班固又依稀想起李司马假曹家之托，竟然来替其妹求婚的一幕。求婚不成，便生妒恨，便要诬告害人，让书呆子班固目瞪口呆。班固恨极，心里悄然骂道，“兄为小人，妹为**，亦盗亦淫，全家尽皆怪物也！”
对班固来说，呈文人之骂，虽然是在心里，这已经算登峰造极了。但闻皇帝说“甚是可恨”，嘴上却言不由衷地道，“谢陛下惩处奸人，吾已不怪司马。害人自然不对，吾深恶之。然其为同产妹着想，手中之情，令吾感怀！”
刘庄闻言未做表示，御史中丞薛池闻言，却微微皱眉。
这次君臣长谈，对班固的仕途起到了关键作用。刘庄此后不久便迁其为典校秘书，秩四百石，鼓励他继续撰写《汉书》。从此开始，班固“自永平中始受诏，潜精积思二十余年，至建初中乃成。当世甚重其书，学者莫不讽诵焉。”当然，这是后话。
有人欢喜必然有人愁，与班固相比，雍营越骑司马李铭这回真把自己给玩了进去。他刚到了都城雒阳，即被尚书台二千石曹扣下，并投入京师雒阳诏狱，从此不知所踪。
班固虽然因祸得福，可留在五陵原的班家众人，厄运却远未结束。
右扶风所在的关中平原，春季时候雨水充沛，繁花似锦，可从阴历四月中旬开始，老天便给了脸色，整整连着三个多月滴水未下。成国渠两岸，日复一日，烈日炎炎，土地龟裂，赤地千里。
成国渠已近乎干涸，仅剩中间一条长线一般的细流。渠边高阜上的班、冯两家田地，成了无水的死地。龙三带着班家17户徒附，水排车不上水来，便担水保苗。四顷田地，徒附们累垮了，春栗还是大都干死。
班超带着班秉、班驺不死心，没日没夜连着担水，最后还是无奈放弃。看着火烧一般枯干的禾苗，龙三和徒附们痛哭失声。
夏粮颗粒无收，班府加上十七户徒附，田舍仓中存栗绝对支撑不过春荒。这让班超几乎绝望，嘴上长了一片血泡，人也累脱了形。这场旱灾之烈超乎想象，隔壁冯家虽然洼地膏田多，但夏粮也是仅收成了少许。
烈日炙烤着关中大地，滚滚热浪让树叶都卷成了卷儿。夏栗未种上，秋粮眼瞅着也是种不上的。冯家家大业大，庄园内备有余粮。可班家就不一样了，班超眼瞅着一家人一下子陷入了绝境。
十七家徒附先行断粮，樊儇与夜玉二话没说，便命班超打开田舍仓库，将存栗按人头均分给徒附。徒附之首龙三阻止道，“公子，吾等粗泥土中人，过不去可逃荒去。粮全分了，到春荒时，老夫人、师母与两个小公子如何熬过？”
班超道，“告诉各家，细水长流，好歹熬到官府开仓济民之时。汝不要替吾家担忧，兄长已在朝内为官，吾总比汝等有法子！”
冯家被班家比着，冯垦虽然不甘，但于氏也命开仓分粮给徒附。只不过冯家是豪强大户，分点粮给徒附不过是九牛一毛。班家是小户，仓内粮原就有限，如此一分，便完全与徒附一样，将全家置于挨饿的险地。到了冬春荒季，便只能靠官府赈灾粮接济。
班宅三院共有三口老井，百余年来未尝枯过井。然而自夏季大旱以来，这三口井里的水位越来越低，越来越浑浊，最后竟然先后干涸。一家人的吃水，都不得不靠徒附们从几里外的成国渠挑水来。
到了七月份，安陵的官市市面上已无粮可售，黑市黍米价格已经翻了几倍。班府从进入七月开始，便每日只开一餐稀粥煮榆叶。又支撑了一段时间，缸内栗米告罄，除了一点种子，再也无粮可食。
夏日炎炎酷暑难当。几个月时间，天上未下一滴雨，空气中弥漫着焦枯、燥热的土腥味儿。田舍中无粮，老鼠们饿得四处奔逃，也成了徒附们的腹中食。樊儇和夜玉心知秋粮没法种上，看着两个小孙儿饿得皮包骨，便命吃掉了留做秋种的种子。
班固身在中枢，自然从三辅奏报中，得知家乡旱荒。他焦心如焚，多次带信催全家速迁雒阳。樊儇和夜玉怕给班固添累，于是便命班超将嫂子雁旋及两个面黄肌瘦的小侄送到雒阳，与兄长班固团聚，好搏得个活路。
班超急找啬夫冯垦，冯垦则和乡假佐（注：官名，乡啬夫属下，负责管理户籍）一起开出放行文书（注：即允许户口迁徙证明）。
手续办好了，但送雁旋母子出行，班超却颇费心思。他先命班秉、班驺和金杏、雁旋母子三人夜晚悄然移至冯府，第二天天刚蒙蒙亮，请冯垦乘安车与妻吕氏一起轰轰烈烈去了一趟长安城。
安陵豪强冯垦携妇远行，仅随行的小厮、婢女十数人，辎车七八辆，骑从十余匹。班秉、班驺、金杏、雁旋母子三人俱隐在车内，悄然离开安陵。到了长安后，班秉、班驺才护送雁旋母子三人和金杏，乘一辆辎车赴雒阳。
如此缜密的安排，把班、冯两家人都吓得不轻。冯垦大热天被逼着出行，气得破口大骂。雁旋凌晨时临上辎车前，还一再悄声叮嘱班超：
“三辅旱重，这里是呆不得了。听汝兄长话，干脆卖掉老宅，速迁雒阳。孟坚虽然秩奉不高，一家人糊口总是可以的。我到雒阳，那怕举债，最多半月，也会提前租好宅子，等全家来。生死悠关，汝要切记、切记！”