从前，在我国新疆地区，有一个维吾尔族首领的妻子，长得非常漂亮，并且身上有一股奇异的香味儿，人们都管她叫香妃。
　　这事儿被清朝皇帝乾隆知道了，就叫下边儿人把香妃给抢到了北京。
　　家仇乡恨，香妃满腔悲愤，身上暗藏了锋利的刀子，想寻短见。被“选”进北京以后，要不是乾隆叫人看得严，香妃早就自杀身亡了。要叫她给乾隆做妃子，是谁说也不从，谁劝也不依。乾隆眼巴巴地看着这个如花似玉的美人儿，也没办法，不敢接近她，知道她身上藏着刀子，怕她自杀了，但又不死心，就把香妃安置在中南海住下了。
　　乾隆皇帝为这件事很犯了愁。维吾尔族多信奉伊斯兰教，也就是我们平常说的回教。为了讨好香妃，他命令宫人说，香妃的起居饮食，一定要按照回教的风俗习惯去安排。宫人也都照办了。这虽说博得了香妃的欢心，但仍然消除不了香妃想家的念头。
　　乾隆心里又琢磨开了：怎么才能给香妃消愁解闷儿呢？他想来想去，有了，回民住的地方不是都有做礼拜的地方吗？我照着她家乡的礼拜寺给她盖一个，她一想家，就叫她看一看，不就好象到了家乡一样吗？就这么办啦！皇帝有的是钱，说干就干。命令一下，很快就在宝月楼（就是现在西长安街中南海的新华门楼）的对面儿，仿照香妃家乡的礼拜寺，修了一座庄严肃穆的伊斯兰礼拜寺楼，有两三丈高，楼基上有两层楼阁。在这座建筑的后边儿住着的是随香妃来北京的回教人。
　　每当香妃思念家乡心切的时候，就叫宫女陪着，登上宝月楼，向南眺望对面的这座仿照她家乡样式盖的伊斯兰教楼；看见了自己家乡的教楼，看见了头戴回民帽子、出来进去的家乡同胞，就好象回到自己的家乡一样，她精神上得到了很大的安慰。于是这座楼便被叫做了望家楼。
　　但是香妃还是想家，不跟乾隆过日子。乾隆的母亲皇太后很替儿子着急。她想，怎么哄，香妃也不从，一年一年老这样下去也不行啊！她就打定了主意。有一天，趁着乾隆出宫不在家，她就把香妃叫到了跟前，问香妃：“你到底是从还是不从？”香妃还是不从。皇太后说啦：“不从，就叫你死！”香妃笑着说：“我被你们抢来就没打算活着！”于是皇太后就“赐白”，扔给她一条白绸子，叫人把香妃给绞死了。我考网收集整理
　　后来望家楼没有了，宝月楼改叫了新华门。但是现在西长安街附近还住着不少回族同胞。北京人心里还一直记念着香妃，一代一代地传说着关于香妃和望家楼的故事。