赵弘殷勉强笑道：“我儿若能在先生处多认识几个字，我也就心满意足了！”
赵匡胤接话道：“爹请放宽心，孩儿一定会好好学习的。”
说是一回事，做又是另一回事。赵匡胤虽然对辛文悦颇有好感，但当辛文悦慢条斯理地讲授《四书》、《五经》的时候，他依然是心不在焉的，甚至还会趴在书桌上打盹。
辛文悦问赵匡胤道：“你天资聪慧，为何对读书不感兴趣？”赵匡胤回答得很干脆：“读书无用！”
“那么，”辛文悦继续问道，“你以为何物有用？”
赵匡胤不假思索地言道：“骑马，射箭，舞刀，弄枪！”
“好！”辛文悦重重地点了点头，“我就满足你的愿望。”
辛文悦自己并不懂武艺，但他有位江湖朋友却颇通武艺，尤其擅长骑马射箭。从此，只要那位江湖朋友在家，辛文悦便把赵匡胤领去习武。那位江湖朋友也很喜欢赵匡胤，于是就将一身武艺倾囊传授。这样，赵匡胤在汴梁便有了两位老师，辛文悦教他习文，那位江湖好汉教他习武。赵匡胤本对习文不感兴趣，可自从习武之后，他对读书的兴趣也日益浓厚起来。
赵弘殷并不知道赵匡胤习武一事，但见儿子的功课越来越上进，心中很是高兴，于是就常常叫儿子带些吃的用的东西给辛文悦以示感谢。杜氏也欢喜异常地对丈夫言道：“胤儿长大了，真的懂事了！”
懂事了的赵匡胤进步很快，尤其是在武艺方面。十八般兵器，他几乎都能耍弄一番，特别是马上射箭功夫，简直可以说是青出于蓝而胜于蓝了。有一回，他骑在马上，一箭射出，竟然将百步之外的一枚悬于树枝上的铜钱射飞。惊得那江湖好汉半天没说出一个字来。事后，江湖好汉找到辛文悦言道：“那枚铜钱，那么远的距离，甭说是在马上了，就是立于地面，我也未必有把握射中啊！”
赵匡胤在读书上的进步虽然没有在习武上的进步快，但成绩也不差。有一次，赵弘殷夫妇与儿子在一起吃饭，吃饭的当口，赵弘殷抹了一下嘴唇言道：“胤儿，你跟着辛先生已读了一年多的书了，今日我来考考你，如何？”
因为赵弘殷没什么学识，所以杜氏就十分惊讶地望着丈夫问道：“你，想考考胤儿？”
“当然。”赵弘殷从怀中摸出一张纸来，“我考题都准备好了。”
“考吧。”赵匡胤仿佛胸有成竹，“请父亲大人出题。”
赵弘殷先是呷了一口酒，然后清了清嗓子，接着看着纸条念道：“‘天行健，君子以自强不息。’胤儿，这句话出自何书啊？”
“出自《周易》。”赵匡胤脱口而出，“这句话的意思是，大自然按照它本来的规律强有力地运动着，君子应该像这种运动一样，自强不息、奋发向上！”
杜氏虽不知道《周易》是何书，也不知道儿子所言是否正确，但还是由衷地赞叹道：“胤儿是越来越有出息了！”
赵弘殷眨了眨眼睛，又呷了一口酒，然后言道：“‘溥天之下，莫非王土；率土之滨，莫非王臣。’胤儿，这句话又出自何典啊？”
“语出《诗经》。”赵匡胤的回答还是那么利落，“它的意思是，普天之下的土地，都归天子所有；四海之内的百姓，都是天子的臣民。父亲大人，孩儿说的对不对？”
“完全正确！”赵弘殷激动得差点站起身，“胤儿确实出息了！”
赵匡胤倏地嬉皮笑脸起来：“爹，孩儿都回答正确了，你不应该给孩儿一点赏赐吗？”
“说吧，”赵弘殷十分爽快：“你要什么？”
赵匡胤走到父亲身边，也不答话，抄起酒壶将杯子斟满。赵弘殷正要夸奖儿子有孝心呢，却见赵匡胤端起酒杯“吱溜溜”地将酒喝进了自己的肚里。
赵弘殷惊道：“胤儿，你小小年纪，如何能饮酒？”
赵匡胤咂巴咂巴嘴唇道：“爹，孩儿不想要别的赏赐，只想喝三杯酒……”
赵弘殷很为难地看着杜氏。杜氏接过酒壶一边斟酒一边言道：“胤儿这小小的要求，不算过分。”
赵匡胤笑了，喝干了母亲斟的酒。赵弘殷不甘落后，也亲自将酒杯斟满递到儿子的手中。
三杯酒下肚，赵匡胤若无其事。赵弘殷瞠目谓妻道：“莫非胤儿是天生的海量？”
杜氏笑嘻嘻地言道：“妾身以为，胤儿以后无论在哪个方面都比他爹要强！”
赵弘殷大笑道：“但愿夫人所言都能变为现实啊！”
赵弘殷说完就踉踉跄跄地回房休息了。他已经不胜酒力了。杜氏余兴未尽地对赵匡胤言道：“胤儿，看来你真的读了不少书啊！你爹考你，竟然难不住你！”
赵匡胤“嘿嘿”一笑道：“娘，爹所出的那两道考题，昨天就被我发现了，我事先从辛先生那儿得到答案，爹自然就难不住我了！”
“啊？”杜氏一怔，思索了老半天，终也没有思索出儿子所言究竟是真还是假。
但不管怎么说吧，在赵弘殷夫妇的眼里，儿子赵匡胤已经是一个有知识有文化的人了。至于这知识和文化的水平到底有多高，恐怕只有赵匡胤自己才能说清楚了。
然而，在后晋天福三年（公元938年）的夏天，也就是赵匡胤十二岁的时候，赵匡胤又失学了。前后算起来，赵匡胤在洛阳读了两年书，在汴梁也是读了两年书。
赵匡胤在洛阳失学是因为他骑马吓着了陈学究。而他在汴梁失学则是因为辛文悦不见了。确切说，辛文悦在汴梁城里失踪了。连官府的公差都找不着辛文悦的去处。
官府的公差为何要找寻辛文悦？原因是，辛文悦的那位江湖好汉朋友其实是一位专门从事剪径（拦路打劫）行当的大盗。因武艺超群，他每每得手，而得手后的财物，大半藏匿于辛文悦处。换句话说，辛文悦以教书的身份做掩护，专门替那位江湖朋友窝藏赃物。所谓常在河边走，不能不湿足。辛文悦的那位江湖朋友终于在一次行劫时出事了，被官府逮着了。虽然那位江湖朋友被关进牢后不久就自杀身亡，但辛文悦闻之，也不敢大意，为安全起见，还是裹起细软溜之大吉。果然，没有多长时间，官府就根据蛛丝马迹追查到了辛文悦的头上，只是辛文悦的家里早已经空空如也了。
赵弘殷就是在官府开始追查辛文悦的时候才得知此事的。他不无感慨地对杜氏道：“真没有想到啊，那辛文悦看起来文质彬彬的，又饱读诗书，却竟然与强盗为伍，当真是人不可貌相、海水不可斗量啊！”
杜氏却十分平静地言道：“世道混乱，什么样的人都会有，什么样的事情也都会发生。”
赵匡胤得知辛文悦失踪的真相后，虽然不无惊异，但在内心深处，却也是对辛文悦充满感激的。没有辛文悦，他那种强烈的学武愿望就无法得到满足。这种发自内心的感激，赵匡胤一直珍藏着。直到做了皇帝之后，赵匡胤又见着辛文悦了，这种感激也没有消退多少，以至于，他因此还与自己的宰相彻底闹翻了脸，并因此为自己的猝死埋下了祸根。当然，这是后话。
辛文悦失踪了，赵匡胤无学可上了，赵弘殷便又想着为儿子重新物色一位先生。赵匡胤知道后，高低不同意。他情知跟父亲说没什么用，便缠着母亲道：“娘，您对孩儿说过，等孩儿长大了，就叫爹教孩儿练武。现在，孩儿已经长大了，娘不能说话不算数的……”
赵匡胤虽然只有十二岁，但因为个头高身体壮，一眼看过去，也像个小大人了。杜氏见儿子已经下定决心不想再读书，于是就劝丈夫道：“世道不太平，就让胤儿跟你学几招功夫防身吧。不然，一个将军的儿子连一点武功都不会，别人也会笑话的。”
赵弘殷觉得妻子所言不无道理，也就暂时打消了让儿子继续读书的念头。更何况，练习武艺，应从小做起，等儿子真正长大了再想教他武艺，恐怕就迟了。殊不知，赵匡胤当时一身的武艺，已经不在乃父之下，只是尚欠几分火候而已。
赵弘殷问儿子希望学练何种武艺。赵匡胤回答：想学练骑在马上耍剑。
骑在马上仗剑劈刺，是赵弘殷武艺中的强项，又是那位江湖大盗的弱项。故而，赵匡胤自然就想把父亲的高招学到手。
因为驭马的技术较高超，所以赵匡胤学练马上剑术就没有多少困难。在父亲精心指导之下，只两个月左右时间，赵匡胤在马背上舞剑就很像模像样了。
赵弘殷在杜氏的面前夸赞道：“胤儿这小子就是聪明，一点就通，一学就会。若是他再大上几岁，我在马背上恐就不是他的对手了！”
如果赵匡胤在父亲的面前卖弄骑马射箭之术，恐赵弘殷就要更加地自愧不如了。好在赵匡胤虽年少，却也颇有城府，连着好几年，赵弘殷也不知道自己的儿子会有那么出众的箭术。
就在这一年（后晋天福三年，公元938年）的年底，赵匡胤结识了一帮年龄相仿的朋友。这帮朋友对他日后的事业起了很大的作用。
朋友自然是在社会上结识的。一开始，赵弘殷不允许儿子随便外出。在赵弘殷看来，儿子年少，又懂了些武艺，若是常在外面走动的话，说不定就会惹出什么事端来。然而赵弘殷不可能整天都呆在家里看着儿子。他好歹也是后晋的一个指挥使，虽然并没有得到当朝皇上石敬瑭多么的器重，却也需要常常到朝中去公干。这样一来，赵弘殷就总有不在家的时候。赵匡胤就是趁父亲不在家的时候得以外出玩耍的。
杜氏本也不想让儿子到外面走动的，可架不住儿子的软磨硬缠，最终只得同意。不过，杜氏虽然同意了，却又总是派一个仆人跟着赵匡胤。杜氏还这么对儿子道：“你若是在外面惹出事来，那你以后就甭想再踏出家门一步了！”好在赵匡胤很听话，并未给父母招惹什么麻烦。这样一来，不仅杜氏放心了，连赵弘殷也放心让儿子外出了。到后来，赵匡胤再外