天宝二年十二月，他们悄悄地出发了。不想刚出长江口，便遇上飓风，滔天的巨浪把船打坏了。大家在江滩上，泡在齐腰深的潮水里，一夜下来，个个冻得瑟瑟发抖。等到第二天，风浪稍为平静些，船夫们赶紧把船修好，又继续开航。由于风向不定，他们只好走走停停。

一个多月后，船在舟山海面触礁。鉴真他们死里逃生，来到一个荒岛上，船还没来得及固定，就被风浪卷走了。船上的物资全部被大海吞没了。心血又白费了，有些僧人忍不住放声大哭，鉴真安慰说：“龙王贪欲太盛，他卷走咱们的经书去，就此弃恶从善也未可知呢，或许下回就会给咱们方便了。”他们在荒岛上没吃没喝，过了三天三夜才被救起，被官府安置到明州（今浙江宁波）阿育王寺。

鉴真住下后，四处的僧众都慕名来请他去讲律授戒。僧人们得知这般德高望重的大师想去日本传法，都很舍不得，纷纷劝阻，说日本那种蛮荒之地，大师的妙法岂不是对牛弹琴，而且一去就很难回来。然而鉴真不为所动，对他们说，答应了日本使臣的事情一定要做到。眼看劝阻不住，当地的僧众就向官府控告日本和尚荣睿诱骗鉴真偷渡日本。荣睿马上被抓起来，押送京师问罪。但他经过一番周折后，又逃回阿育王寺。鉴真不禁感慨地说：“牢狱之灾，风涛之险，颠沛流离之苦，也不能让荣睿、普照灰心。老衲又怎能失信于他们呢？”

因此没过多久，他们再次准备东渡。鉴真先让法进带几个人去福州（今福建福州市）准备，自己带着三十人假称向天台山国清寺供奉，从明州出发，准备到达天台山后，再秘密到福州出海。一路上翻山越岭，因为赶路心切，连沿途旖旎的风景也没顾得欣赏。鉴真精神抖擞地走在前面，大家更感信心百倍。

可是，当他们走到黄岩（今浙江黄岩市）的禅林寺，一群官差飞马追来，把鉴真等人扣留起来。原来，这是留在扬州的鉴真的高足灵佑惹起的。他本来就不愿意让师父漂洋过海。如今眼看鉴真几次东渡都失败了，而且为这件几乎不可能成功的事呕心沥血，身体一年差过一年。他不忍心师父把命搭在这种狂热的幻想上，便联合当地各个寺院的执事僧人向官府请愿，把鉴真追回来。

再说鉴真一行人被严密看管着送回扬州，渡海队伍基本上被强行解散了。各州僧俗听说鉴真回来了，个个欢天喜地，每天来问候的、送供养的几乎把门槛都踏破了。但鉴真心里却郁闷极了，特别是对阻拦自己计划的灵佑更加生气，根本不肯和他见面。灵佑为了取得师父的谅解，每天从月亮升起时就站在鉴真门前请罪，一直站到月亮沉落，整整站了十个夜晚，还是没能让鉴真动摇。

经过以上折腾，荣睿又开始担心鉴真动摇东渡传法的决心，那自己好不容易请得高僧到日本传法的计划只有落空了。荣睿去谒见鉴真，没想到鉴真笑着说：“你放心，我答应你们的事定会做到。”荣睿和普照十分激动，为了使官府对鉴真的监视松懈，他们怀着一种又惆怅又兴奋的心情，挥泪辞别了鉴真等人，在扬子江边的同安郡（今安徽安庆市）住了三年。

天宝七年（公元748年）六月二十七日，鉴真再次东渡日本。由于逆风，船在海岸附近停留了近三个月，大家都急坏了。老天爷怎么对传法如此磨难？直到十月十六日，鉴真对大家说：“昨晚我梦见三个官人模样的人，一个穿红，两个穿绿，站在岸上向咱们作揖告别，这定是国神。想来这次渡海该成功啦！”果然，一会儿刮起了顺风。船上的中国僧众齐齐跪下，面朝西方，泪水纵横，因为不知道什么时候才能回到故乡了。

船驶进了深海。傍晚时分，突然刮起大风，大海顿时咆哮起来，巨浪滔天，像一群凶猛的怪兽，要把船撕碎吞噬。船上的人惊恐万状，僧人们断断续续念起《观音经》。“船要沉啦，快把货物扔下海！”船夫忽然大声喊道。有些僧人不肯，死死抱紧箱笼，说：“这都是法器，比性命还重要啊！”“现在还有什么比命更重要的，快扔！”船夫急了，几个水手抱起箱笼就要往海里扔，正在这时，“住手！”鉴真扶着桅杆高喊着，声音压过了风浪声。水手吃了一惊，马上把箱笼放下。“大家不要惊慌，菩萨会帮助我们渡过险境的。”鉴真说道。

第二天，风浪平静了许多，船又继续航行。第三天，船漂到了蛇海。几尺长的海蛇，或青色，或红色，在船四周闪电般地游动，十分骇人。过了蛇海，又进了飞鱼海。成尺长的鱼时不时成群跃出海面，在天空中闪烁着银光，让僧人们眼花缭乱。不久又到了飞鸟海，一群群巨鸟在海面飞翔，鸟群倒不怕人，时时落到船上歇脚，差点没把船压沉。