2013年8月4日，在仲裁庭组建刚满1个月时，他以安保法制恳谈会会长身份参与日本NHK《星期日讨论》节目，并在节目中公开阐述政治立场，认为“日本”的岛屿受到“威胁”，强调日本存在“敌人”，需要强化武力等多方面来“保障”日方安全。
2014年5月，正是柳井将要求“解禁集体自卫权”的报告书交到日本首相安倍手中。柳井还曾于1999年任日本驻美大使，深得美方信任。
2001年10月，他因牵涉滥用外务省机密费受到处分而丢官赔款，其“职业道德”亦令人怀疑。
专家表示，虽然根据《公约》国际海洋法法庭庭长在特定情形下有权组建特设仲裁庭，但其政治背景和明显的政治倾向理应构成法定回避事由。
“由于日本与中国存在钓鱼岛争端，柳井俊二别说兼顾考虑中方利益，就连保持起码的客观公正都不可能做到。”吴士存说。
另外，仲裁员当中，除代中方指定的帕夫拉克外，其余4人均作为其他仲裁案的仲裁员出席。其中门萨（5起）和沃尔夫鲁姆（3起）居多，门萨同时兼任三个仲裁庭首席仲裁员。
法律专家表示，这种充分参与的其他案件可能会产生严重影响，导致预设立场和预判结果的可能，一定程度上对仲裁庭的公正性造成减损。
以菲律宾指定的仲裁员沃尔夫鲁姆为例，据查证，其曾在2010年12月至2015年3月仲裁的查戈斯群岛案（毛里求斯诉英国）中担任仲裁员。
沃尔夫鲁姆在查戈斯群岛案中，发表署名的联名反对意见，明确否认、批驳了英国的主张——案件涉及岛屿主权问题，故而仲裁庭不具有管辖权——认为案件所涉主权问题不影响仲裁庭的管辖权。
此外，在“北极日出号”案（荷兰诉俄罗斯）中，沃尔夫鲁姆虽不是仲裁员，但与另一法官联名发布单独意见，强烈批评俄罗斯“不应诉”。分析认为，这也容易造成对“不应诉”立场形成固有成见。
孔令杰表示，临时仲裁庭仲裁员的背景有明显瑕疵。如沃尔夫鲁姆一直以来都比较激进，在过往案例中热衷于“造法”，即把海洋法公约上一些界定模糊的地方根据主观认识来完善补充。
仲裁庭人员构成代表性不足等种种问题，在国际海洋法法庭也引发争议。国际海洋法法庭前庭长、佛得角籍法官叶肃斯表示，他对4位仲裁员均来自欧洲深表关切。特立尼达和多巴哥籍法官卢次基曾在仲裁庭组成过程中致信柳井俊二，认为中国是被迫陷入仲裁程序。俄罗斯籍法官戈利钦表示同情中方在本案中的立场。
国际海洋法法庭前法官图尔克认为，临时仲裁庭来自欧洲的仲裁员明显偏多。“南海争端的本质是领土主权争端，不是单纯的法律问题，任何将涉及领土主权争端的政治问题包装成法律问题的做法都是自欺欺人。”
更为不严肃的是，个别仲裁员和专家证人在审理过程中出尔反尔，竟然推翻自己以往长期坚持的观点。
在2015年11月关于实体问题的庭审中，菲律宾所请专家证人斯科菲尔德教授，一改以往其学术成果中称太平岛为“岛”的说法，在本案中将其定性为“礁”。斯科菲尔德还曾撰文指出，南沙群岛至少存在12个符合岛屿定义并可以主张专属经济区和大陆架的岛屿。然而在仲裁庭听证时，他却反口称南沙群岛没有一个岛礁可主张专属经济区和大陆架。
还有，荷兰籍松斯教授曾长期主张，确定岛礁的法律地位是海洋划界密不可分的组成部分。但成为本案仲裁员后，这位教授一改过去的立场，反而认为岛礁法律地位的判定可以与海洋划界问题脱钩，从而为菲律宾恶意规避中方有关海洋划界的排除性声明背书。
