元丰二年（），苏轼任湖州知州，到了湖州任上。按照当时的规定，新调任的官员需要写一道感谢皇帝的奏疏，于是苏轼向宋神宗写好了一道《湖州谢上表》。苏轼没有想到的是短短二百余字，却被别有用心的人曲解成苏轼对当今圣上心怀不满，在诗文中多有对皇上的嘲讽与不敬。苏轼因此遭到弹劾，被捕关进御史台监狱，这就是历史上的“乌台诗案”。
苏轼经历一百余天的牢狱之灾，元丰二年岁末，苏轼受得多方营救，才得以出狱。出狱之后，苏轼被贬为黄州团练副使。一代文坛领袖从巅峰荡至谷底，苏轼的心灵遭受了严重的创伤。元丰三年（）正月，苏轼随即启程赶往黄州。
团练副使是宋代常用于安置贬降官员的职位，并无职权。苏轼初到黄州境况窘迫，他不得不重新开始规划自己的人生，从朝廷的重要官员变成中年农夫，为一家的生计忙碌。
元丰五年（），在黄州已满三年的苏轼渐渐融入了当地的生活。经历磨难之后，在文学艺术上，苏轼也迎来自己创作的一个高峰。这一年苏轼创作了三首流传至今的宋词，《定风波·莫听穿林打叶声》、《临江仙·夜饮东坡醒复醉》和《念奴娇·赤壁怀古》，两篇散文《赤壁赋》和《后赤壁赋》，另外还写成了“天下第三行书”《寒食帖》。这一年苏轼彻底成长为精神世界强大的苏东坡。
苏轼赤壁怀古就在元丰五年春夏之际，一位年轻人通过苏轼好友马梦得的介绍来到苏轼在黄州的雪堂，拜会这位当时最具才华的大才子。这个年轻人就是米芾。
米芾年少时因他的母亲曾经照料过英宗的高皇后，在熙宁二年（）恩赐米芾为秘书省校书郎，后来在一些郡县里担任县尉或者椽吏这样的辅官。元丰五年（），米芾结束长沙椽的任职，回京途中，特地到湖北黄州拜会苏轼。
米芾画像两位年龄相差十几岁的人，一相见就十分投缘。米芾自小学习书法，对唐代楷书大家的书法很有研究，加上米芾自身的书法天赋，他在不断研习书法的过程中，总是希望找到更加接近书法本真的指引。苏轼听到米芾的感想，给出了他的建议，那就是从学习唐代书法转而学习魏晋书风。米芾听到苏轼的建议，顿觉茅塞顿开，找到了新的方向。于是米芾潜心魏晋，以晋人书风为旨归，甚至将自己的书斋都取名为“宝晋斋”。果然一年之后，米芾的书法技艺得到了巨大的提高，米芾的行书成为宋代之后最为接近晋代风范的书体，米芾成为了一位对后世非常具有影响力的书法家。
年轻的米芾在与苏轼交流绘画时，发现苏轼画竹子一笔画完，而非一节一节地画。米芾感到奇怪，向苏轼提问，为何不一节节地画竹子。苏轼笑道，竹子也不是一节节地长出来的啊。原来苏轼在画竹之前，早已在心中构思好如何下笔，这样才能在纸上一笔画好竹子。
苏轼绘《潇湘竹石图》局部这次初见给苏轼与米芾都留下了美好的印象。米芾回京后，又被派往杭州做杭州从事。苏轼在两年后，也就是元丰七年（），离开黄州，暂时将家安置在常州。
元丰八年（）哲宗即位，哲宗仅仅十岁，太皇太后高氏临朝听政。太皇太后高氏本不赞成王安石变法，大权在握，她立刻启用当时反对王安石变法的保守派。苏轼在王安石变法中，既不属于变法的拥护者，也不属于变法的反对派。苏轼赞同通过改革达到富国强民的目的，但是他反对变法派过于激进的作法。可能基于苏轼的态度，朝中的官员们更倾向于将苏轼划为变法的反对派。太皇太后高氏任命苏轼为礼部郎中，苏轼重回政治中心进而平步青云，只用了短短几月，苏轼担任中书舍人、翰林学士，成为三品大员。
苏轼节节高升的时候，米芾也接到了朝廷的召令，米芾被任命为太常博士。苏轼与米芾共同在京这段时间，常常互相写信、见面，交流文学、书法和绘画的心得体会。他们还会把自己的作品交给对方，让对方提出意见。
米芾经过多年的钻研，书法与绘画技术已经非常高妙，于是他常常向拥有古帖的藏家借来古帖真迹临摹，然后再将两幅作品一同拿去还给藏家，让藏家自己挑出一幅来。米芾临摹的作品与真迹相差无几，这令藏家非常头疼，很多时候藏家也分不出到底哪一幅才是自己借给米芾的古帖，经常将米芾临摹的作品视为真迹留下，米芾用这样的方法获得了不少真迹。苏轼对此常常调侃米芾“巧取豪夺”，两人相知，米芾却不为此感到一丝气愤。
米芾没有通过正规科举步入仕途，周遭人常常质疑他的出身，这让米芾心理上总有一道过不去的坎。他有时会表现出癫狂的样子，有时也非常狡狯。有一次米芾与朋友蔡攸同坐舟中，蔡攸拿出珍藏的《王略帖》给米芾看，米芾一见就喜欢得不得了，央求蔡攸用画来换法帖，蔡攸不同意，米芾便要跳船，说：“你要是不同意用画来换帖，我活着也没有意义了，现在就跳船。”蔡攸见米芾这样，只好同意米芾用画换了法帖。
苏轼与米芾在京的安稳日子过了没多久，米芾就因为他的洁癖惹上了麻烦。米芾担任太常博士时，主持朝廷祭祀活动，需要穿着规定的祭服，米芾嫌祭服有人穿过，拿回去反复清洗，结果把祭服洗得变了颜色，自己因此被罢免了官职。米芾回到江南，在镇江丹徒安家。
苏轼新旧党争的混乱局面中也感到疲惫，元祐四年（）苏轼再度要求外放出任地方官员，这一次苏轼再次来到杭州，出任杭州知州。正逢江南四月芳菲繁华，苏轼获得了片刻的宁静。
苏轼赏月图元祐七年（）三月，苏轼赴任扬州。正巧处于镇江的米芾将要前往雍丘担任雍丘（今河南杞县）令，两人在扬州见面。苏轼在米芾离开扬州时，为他举行专门集会，并赠送给米芾钱物。两人在此后通信数十封。元祐八年（）八月，苏轼出任定州（今河北定县）知州，途径雍丘，米芾来迎，苏轼在雍丘小住一日。
河南杞县米芾与苏轼雕像宋哲宗绍圣元年（），年轻的宋哲宗终于从太皇太后高氏手中接过了大权，哲宗与太皇太后高氏分歧巨大，他一上台就开始了对朝廷官员的清理，苏轼与弟弟苏辙等旧党被贬于岭南。年近六旬的苏轼在岭南度过了七年的时光，这一阶段，苏轼与米芾完全失去联系。
元符三年（），年仅二十五岁的宋哲宗早逝，他的弟弟赵佶成为北宋王朝的第八位皇帝，即宋徽宗。宋徽宗大赦天下，苏轼得以从岭南回到江南常州。米芾此时担任发运司属官，赶忙来到常州探望苏轼。由于旅途劳顿，苏轼抱恙，一直未有好转。米芾多次拜访苏轼，并送上“麦门冬饮子”。可惜的是，苏轼一病未起，最终病逝于常州。米芾写下五首挽诗寄托对亦师亦友的苏轼的深深哀思。
米芾《苕溪诗》局部米芾与苏轼的交往中，米芾对苏轼始终怀有尊敬和景仰之情，苏轼也非常喜爱米芾这位在书画领域天赋卓越的后辈，对米芾的书画技艺常常给予指导，促使米芾形成“风樯阵马、沉着痛快”的独特书风，使得米芾在名家林立的宋代脱颖而出。他们的交往是真诚的，同时也是促进彼此成长的。