白居易在江州住了三年，到了元和十二年十二月他突然接到诏令,任命他为忠州(今四川忠县)刺史。诗人当然是高兴的，因为刺史是掌管州郡的地方长官，职位比司马高。
一天，他来向草堂告别。他登上堂前台阶，看着那纸糊的窗户，泥抹的墙壁，简陋的陈设，一切都感到倍加亲切，一草一木都使他恋恋不舍。他自问自答道:“今后还能回来吗?要回来，一定要回来!”临走，诗人在泥壁正中题了一首《别草堂三绝句》，其中一首写道:
三间茅舍向山开，一带山泉绕舍回。
山色泉声莫惆怅，三年官满却归来。
忠州是个山区小县，地处偏僻，出产少，人民生活贫困。白居易为政清简，尽量减轻人民负担，使人民能够休保养息。他除了平日例行公事外，许多时间都化在种花植树上。诗人什么树都种，但特别喜欢种荔枝。
诗人在一首《种荔枝》诗中写道:
红颗真珠诚可爱，白发太守亦何痴。
十年结子知谁在? 自向庭中种荔枝。
荔枝是一种很难生长的植物，种下去十年以后才会有收获。所以诗人说，熟透的荔枝象红颗珍珠二样可爱，我这个白发太守(当时诗人任刺史，也称太守)也真傻，十年以后荔枝结果时，我还在这里吗?可我不管人们如何痴笑我，我还是一心要在院中种荔枝。
诗人为何这么喜欢种荔枝呢?
那还是在诗人刚到忠州不久，有一天，诗人正和妻子杨氏在院中引水浇花，忽然收到弟弟自行简从长安寄来一信(这时白行简已在朝中任官)，信中除了一般家常问候外，还特别说到这样一件事:一天晚上，白行简夫妇在教孩子龟儿学诗，龟儿见人家小孩都能读《长恨歌》，他也要读。于是，白行简便一字一句教了起来。教到最终，龟儿突然提了个问题:
“诗里为何没有写贵妃娘娘吃荔枝的事?”这一问，爸爸妈妈都笑了起来。
“这可要去问你伯父了…..”白行简笑着说，“你见过荔枝吗?”
“没见过，”龟儿说，“你们见过吗?”
这一问倒把他爸爸妈妈问住了，因为他们也从未见过。荔枝自古出产在南方，长安人很少见到，也很少有人吃过。
“那赶快去问伯父，伯父一定知道!”龟儿说着，得意地笑了起来。
白行简夫妇经龟儿一再催促，真的写了这封信来请教白居易，并要他画一张荔枝图。