《异鱼图》所涉及的考证对象有十五种，包括：沙噀（海葵）、章拒、锦魟、海豨、剑鲨、鬼蟹、虎蟹、阑胡（弹涂鱼）、石蜐、鱼孱 鱼（龙头鱼）、骰子鱼（箱鲀）、竹夹鱼（舌鳎）、琴虾、马鞭鱼（鳞烟管鱼）、燕魟。题记文字所涉及到的考证内容除了直接得自于当地人的口述，使用的文献则至少有《南越志》、《蟹谱》、《桂海虞衡志》、《瑞安县志》四部。至于赵之谦是否也熟悉从明代杨慎的《异鱼图赞》到明末清初胡世安的《异鱼图赞补》这一文献系统，我们今天已经很难确证。虽然从考证内容来看，赵之谦与胡世安并没有什么区别，但此时赵之谦的图绘考证行为在其“知己”眼中，却并非是书斋中打发时间的自娱自乐，其中另有一番特殊意义。
赵之谦 《异鱼图》（局部）锦魟
赵之谦 《异鱼图》（局部）燕魟
“奇趣”与“经世”
前文提到的《瓯中草木》（四屏）是为时任永嘉县令的陈宝善所作，而《瓯中物产卷》则在咸丰十一年十月江弢叔离温赴闽时相赠，唯有《异鱼图》被赵之谦一直藏于行箧，随其在战乱中南下福建、北上京师。那么，在这段辗转经历中，都有谁参与了赵之谦这幅作品的观赏活动呢？
《瓯中物产图卷》（局部）赵之谦
通过《异鱼图》的题跋可知，从咸丰十一年到同治二年，先后获观此图的有江弢叔、陈宝善、刘焞和胡澍四人，其中刘焞与陈宝善的题跋都着眼于《异鱼图》所绘对象的“奇形怪状”，而江弢叔与胡澍则对这种“奇趣”背后的学术与现实动机做了进一步诠释。
陈宝善题跋
当然，相对深入的认识，得益于江弢叔、胡澍同赵之谦之间对彼此学术蕲向的深入了解。江弢叔的题跋作于他辞别赵之谦离温赴闽之前，此时二人虽在永嘉相晤订交尚不足一年，却交往频繁，这不仅因为赵氏对于江氏诗文风格的赏识，更源自二人都有追随缪梓担任幕僚的经历。缪梓之于赵之谦不仅是幕主，更是有知遇之恩的授业恩师，在赵之谦的《行略》中即称其“感武烈知，终身执弟子礼”。咸丰十年缪梓殉难杭城后，因浙江巡抚王有龄追论缪梓主创株守之策以致杭城失守，因夺恤典。闻此变故的赵之谦不仅撰写缪梓《事状》，更亲赴京师督察院上书，请还恤典，足可见赵氏对于缪梓的拳拳之忱。缪梓在杭州被难之际，赵之谦正在北行途中，而江弢叔恰在缪梓幕中，不仅全程参与了杭城之役，更在乱军中亲为缪梓收尸，如其《静修诗》中云：
……
昨收缪公尸，遍体丛刀痕。
在官受其知，时又参其军。
悲来激肝肺，不忍身独存。
当赵之谦在督察院为师鸣冤，并由闽浙总督左宗棠复查，以缪梓在对太平军作战中并未贻误战机的结论复还恤典时，江氏又写下了告慰忠灵的《闻缪南卿先生蒙恩复还恤典，时湜将回杭州》：
谋人军师败能死，律以春秋无罪矣。
惟公死事尤惨烈，受诬六年此昭雪。
清波门启对西湖，城上灵旗时有无。
归日丝莼犹可荐，哭公声撼毕逋乌。
所以，赵之谦与江弢叔虽是新交，却有旧谊，二人同佐缪梓戎幕，既感其知，又受其教，在永嘉订交之前就已互有耳闻，而遭逢战乱相聚于温州，自然在思想、情感上因缪梓这层关系，彼此有着更深的共鸣。而且，据《章安杂说》的自序所言，温州期间的这批涉猎广泛的简札，也大多是与江氏“上下议论，互有弃取”的结果，可见二人在学术思想方面的深入交流。也正因为江氏对于赵之谦而言可谓知音，赵氏才会以《瓯中物产卷》相赠，并请其为《异鱼图》题跋。江弢叔的跋文称：