在“考证”和“经世”的思想动机之外，我们不禁会问：《异鱼图》的“奇趣”是否只是晚清学术思想的一次偶然跨界？这种对于“奇趣”的审美追求，能否在晚清艺术史的上下文中找到合理的解释？
赵之谦 《异鱼图》（局部）竹夹鱼 鱼孱 鱼（龙头鱼）
海洋生物对比图 龙头鱼
如果把《异鱼图》的创作阶段归为赵之谦客居北京以前的早期风格阶段，那这一时期他能接触到哪些画作，对哪些画家的风格比较熟悉并能够在自己的创作中加以借鉴学习呢？通过梳理赵之谦这一时期的作品和题跋，我们大致可以还原出他的经验范畴，其中包括：陆治、徐渭、张彦、周之冕、陈洪绶、王武、恽寿平、石涛、蒋廷锡、马元驭、边寿民、邹一桂、李鱓、李方膺、张敔、八指头陀、任熊等人。这些人中，赵之谦最熟悉的是李鱓的风格，其次是恽寿平、石涛、李方膺等。通过对这些作品的临摹学习，赵之谦掌握了牡丹、荷花、芭蕉、梅花、菊花等常见题材的表现方法，形成了他早期绘画的主要面貌。不过，如果以时间为线索观察这些作品，从咸丰十一年前往温州开始，有两个特别的现象值得关注：一是赵之谦在题跋中写明临仿别人的作品明显减少；二是他开始在题材上进行突破，尝试表现很多超越他个人艺术史经验的内容。这两个现象可以看作是赵之谦个性意识凸显的直接体现。
赵之谦 《异鱼图》（局部）马鞭鱼
海洋生物对比图 马鞭鱼
赵之谦的视觉经验表明，他所能接触到的绘画作品主要是明清时期的写意绘画，对于更早的绘画风格，显然缺乏了解。这种视觉经验的局限，一定程度上归因于康、雍、乾三代宫廷书画收藏的迅速膨胀，公、私收藏的竞争关系，导致民间书画收藏的萎缩。到了道、咸年间，身处浙江的赵之谦所能接触到的私人书画收藏基本上都是“近代”的作品，风格主要是常州派与扬州派。所以，当赵之谦想要寻求绘画方面的突破创新时，并没有元代赵孟頫那样的复古资源。直到后来赵之谦前往北京，接触到大量金石拓片，才为他提供了超越传统卷轴画系统的新资源，让他在“奇趣”的追求方面实现更为深层的笔墨语言和审美趣味的蜕变。不过，温州期间赵之谦能接触到的金石碑拓相对有限，金石入画的条件并不成熟。但是，视觉经验的局限并没有遏止赵之谦创新的冲动，正如其作诗“务为新奇”，作画也追求“非世眼所合”。那么，在这种情况下，赵之谦的“奇趣”追求能否实现呢？事实上，在赵之谦客居温州以前的作品中，就已经出现了诸如芋花、天南星等题材，而且他也会特别强这些都是“古无画者”的新尝试。这意味着，在金石入画以前，赵之谦曾经试图通过题材的突破实现“奇趣”的审美追求。而温州新奇的风物，恰恰为他提供了这样一个契机，因此《瓯中草木图》《瓯中物产卷》《异鱼图》这一系列作品都集中创作于这个时期。
赵之谦 《异鱼图》（局部）虎蟹 鬼蟹
海洋生物对比图 虎蟹
海洋生物对比图 鬼蟹