我正在尝试用transformer模型架构构建一个深度学习模型。在这种情况下,当我试图清理数据集时,出现了以下错误
我正在使用Pytorch和googlecolab来解决这个问题&;正在尝试清理Java方法和注释数据集
测试代码
import re
from fast_trees.core import FastParser
parser = FastParser('java')
def get_cmt_params(cmt: str) -> List[str]:
'''
Grabs the parameter identifier names from a JavaDoc comment
:param cmt: the comment to extract the parameter identifier names from
:returns: an array of the parameter identifier names found in the given comment
'''
params = re.findall('@param+\s+\w+', cmt)
param_names = []
for param in params:
param_names.append(param.split()[1])
return param_name
发生错误
Downloading repo https://github.com/tree-sitter/tree-sitter-java to /usr/local/lib/python3.7/dist-packages/fast_trees/tree-sitter-java.
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-31-64f6fa6ed39b> in <module>()
3 from fast_trees.core import FastParser
4
----> 5 parser.set_language = FastParser('java')
6
7 def get_cmt_params(cmt: str) -> List[str]:
3 frames
/usr/local/lib/python3.7/dist-packages/fast_trees/core.py in FastParser(lang)
96 }
97
---> 98 return PARSERS[lang]()
/usr/local/lib/python3.7/dist-packages/fast_trees/core.py in __init__(self)
46
47 def __init__(self):
---> 48 super().__init__()
49
50 def get_method_parameters(self, mthd: str) -> List[str]:
/usr/local/lib/python3.7/dist-packages/fast_trees/core.py in __init__(self)
15 class BaseParser:
16 def __init__(self):
---> 17 self.build_parser()
18
19 def build_parser(self):
/usr/local/lib/python3.7/dist-packages/fast_trees/core.py in build_parser(self)
35 self.language = Language(build_dir, self.LANG)
36 self.parser = Parser()
---> 37 self.parser.set_language(self.language)
38
39 # Cell
ValueError: Incompatible Language version 13. Must not be between 9 and 12
有人帮我解决这个问题吗
fast-trees
库使用tree-sitter
库,因为他们建议使用tree-sitter
的0.2.0
版本来使用fast-trees
。虽然将tree-sitter
降级为0.2.0
版本不会解决您的问题。我还尝试了降级因此,不必花时间找出
tree-sitter
中的bug,最好转移到另一个满足您需求的稳定库。因此,根据您的需求,您需要从给定的java代码中提取特性。因此,您可以使用javalang
库从给定的java代码中提取特性您可以从-https://pypi.org/project/javalang/0.13.0/引用它
因为
javalang
是一个纯粹的库,它将有助于你的研究没有任何错误fast_trees
使用tree_sitter
并根据tree_sitter
报告it is an incomatibility issue。如果您知道fast_trees
的所有者,请他们升级其tree_sitter
版本或者你也可以自己升级它,但请记住,如果你自己动手,它可能不向后兼容,而且可能不仅仅是一个简单的新版本安装
相关问题 更多 >
编程相关推荐