梁山義軍招安后，雙鞭呼延灼被派往山西大同任知府。大同離北方興起的遼國較近，呼延灼到任后，經常組織百姓抗擊遼國侵犯。有個古寺布奇兵的故事，鮮為人知。
話說宣和五年三月二十八日這天，遼軍從北往南直逼大同城下。呼延灼氣憤不過，提鞭率眾迎敵。韓昌飛端坐馬上，哈哈大笑：“呼延灼你認識本帥嗎?”
呼延灼用鞭一指罵道：“遼國韓昌飛，多次犯我中原，何人不知、哪個不曉?侵我國土，殺我同胞。看鞭!”說后舉鞭就打。
他們兩個一來一往戰了數十個回合，不分勝敗。忽聽韓昌飛哈哈大笑：“呼延灼，你中計了，看看大同城上飄著何國旗幟?”
呼延灼扭頭一看，大吃一驚。"你城空虛，已被我騎兵從南門攻進了。"
呼延灼只得邊戰邊退，節節往南退去，一直將要退到太原，身邊只剩下二百余騎。剛想直奔太原，他忽然想起御旨：“你任大同知府，要與城市共存亡。”一咬牙：“大丈夫寧可戰死，決不給后人留下罵名!”隨即下令，往北殺去。將士們以一當十，又殺到大同西邊。
呼延灼率領二百余騎，直奔困虎山。困虎山離大同一百五十余里，山上有座寺院，二百余騎住下有余，宋軍當即在各山口設下關卡，在古寺內安營扎寨。
大同一帶，數天來被遼軍糟踏得好苦，遼軍奸淫擄掠，無惡不作。老百姓聽說呼延灼在困虎山古寺安營，組織民眾抗遼，個個踴躍參軍，有妻子送丈夫的，也有父母送兒子前往部隊的，還有送米、送面、送糧草的，不到一個月，組織起五千余人的隊伍。在古寺大殿上樹起“抗遼義勇軍”大旗。他們白天訓練，晚上守山。
在困虎山下，有一趙家莊，這莊里有個惡霸，姓趙名得山。他有良田千頃，騾馬成群。一日，趙得山趕大車進了大同城，天黑返回家，第二天帶領家院，抬著豬肉，拉著面粉往困虎山古寺走去。
趙得山騎著高頭大馬，大張旗鼓向前走來，來到山口，被守山義軍擋住。趙得山手一擺道：“你向古寺呼延灼知府稟報，就說趙家莊趙得山送米面慰勞義勇軍，將軍若不見，我們馬上回去。”
那義軍上下打量趙得山一伙，又往后望了望，沒有異常，派一人上山稟報去了。不一會兒，山上傳下命令：“請趙員外上山。”
呼延灼接到寺外。趙得山下馬作揖道：“呼延將軍抗遼，鄙人十分佩服，天下興亡，匹夫有責嘛!”
呼延灼把趙得山迎人大殿。呼延灼示意一部將：“快快上茶。”
趙得山從一上山，兩只賊眼上上下下，前前后后張望。呼延灼早已看在眼里，記在心上。趙得山抱拳問：“呼延知府有何困難，盡管吩咐，我一定盡力相幫。”
呼延灼嘆口氣道：“實在困難，糧草不足，戰士又無戰斗力，堅持哪天算哪天吧!”
趙得山一抱拳說：“我們告辭了!”呼延灼也不強留，把趙得山送出古寺。
呼延灼送走趙得山，在大殿內走來走去想著計謀，不一會兒，幾位騎兵將領前來，他便將他的打算說出，對一騎兵將領張虎言道：“你到附近村莊找些燈籠，砍些樹枝，要這么這么辦......”張虎遵令而去。
呼延灼又命其他將領，在各要塞處設下弓箭手，要寸步不離守山;若有異常，放炮為號，切不可大意;遼將若偷襲山寨，自有辦法對付。他詳細安排了一遍。
第三天夜里，沒有月亮星光，黑得伸手不見五指。天到半夜，忽然東山炮響，接著，喊聲不斷：“遼軍偷襲山寨啦!”
呼延灼披掛上馬，命令張虎按計而行。呼延灼拍馬帶領數將下山，同遼軍元帥韓昌飛大戰起來。韓昌飛高喊：“敗軍之將，還不下馬受降!”
呼延灼怒道：“韓昌飛賊子，犯我中原，占我國土，擄我民眾，還不快快滾回遼國!如若不然，要爾等性命!”
話到鞭出，打了起來。將士們路熟，越戰越勇。正在此時，忽見古寺前后塵土飛揚，燈光閃閃，無數匹戰馬接連下山。人聲吶喊，戰馬嘶鳴，在山谷回蕩不停。
韓昌飛心里一驚，急勒戰馬，就在這一剎那間，被呼延灼一鞭打中左臂。韓昌飛戰馬打了個立戰，韓昌飛幾乎滾落馬下，伏鞍而逃。古寺上的軍馬遠遠向山下奔來，義軍箭如飛蝗，射傷遼國無數軍馬。韓昌飛高喊：“快快撤!”敗兵如山倒，遼軍丟盔棄甲。
呼延灼率將士猛追，一下追出三十余里，大勝而歸。在返回途中，呼延灼見一將軍騎馬追趕一人，那人跑不多遠，被那將軍抓住，帶到他的馬前。
呼延灼仔細觀察那人，不由怒上心頭：“趙得山!遼軍偷襲山寨，你在此何干?”
“我、我來山上報信。”那將士一指趙得山罵道：“是他指引遼軍道路，遼軍戰敗，他藏在山洞。我發現后，他騎馬奔逃。”
“趙得山，你死到臨頭，還敢狡辯!你投降遼國，充當內奸，前天上山送糧，實為探道，被我識破，還有何話說?”呼延灼怒道。
趙得山趴下磕頭，如雞啄碎米般：“呼延知府饒命，我再也不敢了!”
“狗改不了吃屎，民族的敗類，留他何用!”將士們怒吼道。呼延灼怒吼一聲，一鞭打將下去，那趙得山頓時腦漿迸裂，一命歸西。
山上騎兵還源源向山下飛奔，這是怎么回事?三天前呼延灼不是派張虎準備燈籠、樹枝嗎?用二十余騎兵馬尾巴綁上樹枝，戰士手提馬燈，從山上奔下，再繞后山奔上。就這二十余騎輪流奔跑，造成大隊騎兵源源而來的假象。故此韓昌飛一時心虛，認為中計，差點被呼延灼打落馬下，抗遼義勇軍方獲大勝。
對此，有民謠贊道：
遼國侵占在晉北.呼延初戰吃大虧：為保疆土駐古寺。智除國奸震軍威;打敗遼將妙用計，驚槍之兔逃回國。
