- 📚 相关推荐文章
- 190810 10:33:55 ERROR tool.BaseSqoopTool: Error parsing arguments for import: 190810 10:33:55 ER 推荐
- svn: E200002: line 19: Option expected错误解决 推荐
- svn: line 19: Option expected 推荐
- Caused by: java.lang.IllegalStateException: Expected Android API level 21+ but was 19 推荐
- spring MVC报错 Expected MultipartHttpServletRequest: is a MultipartResolver configured？ 推荐
PickleException: expected zero arguments for construction of ClassDict (for numpy.dtype)
问题：spark使用numpy实现的udf报错。
版本Spark 2.2.1 Python 2.7.11 NumPy 1.11.3
现象用numpy实现了一个udf
udf注册到sparkSession
sparkSql使用这个udf
抛出异常
net.razorvine.pickle.PickleException: expected zero arguments for construction of ClassDict (for numpy.dtype)
解决方法udf返回时，用python的函数转一下，问题解决。
上spark官网查看了一下文档，spark 2.2.0文档里面有一段
也就是说2.2.0后的sparkSql不能使用数据类型为numpy内置的dtype的数据！
转载：tech.dianwoda/2018/01/31/net-razorvine-pickle-pickleexception-expected-zero-arguments-for-construction-of-classdict-for-numpy-dtype/
👁️ 阅读量：0
© 版权声明：本文《PickleException: expected zero arguments for construction of ClassDict (for numpy.dtype)》内容均为本站精心整理或网友自愿分享，如需转载请注明原文出处：https://www.zastudy.cn/wen/1686508814a274428.html。