如何用spark实现:编写spark程序调用外部程序或者调用动态链接库函数,对批量文件进行处理?

我现在有一个C++集成的可执行程序(.exe)文件,现在我想用spark实现这个可执行程序的调用,批量的去处理一些音频文件,这个程序就是提取音频中的特征,然后给出结果分数。
我目前现在查阅了许多相关的资料,这并没有一些可行的方法,希望路过的大佬随手给个可用的方法,或者是有正在做同样事情的朋友,谈谈你宝贵的经验。如有方法,留下你的联系方式,必有重谢重谢啊~

2个回答

我也正在做类似的事情,要处理的是视频,不过调用的不是可执行程序,是通过jni的方式调用动态链接库(windows是.dl,linux是.so)。scala和c++传递的是字节数组

你的这个问题和spark没半毛钱关系,一般都是linux集群,所以需要将动态链接库转成*.so文件,将动态链接库放在lib64文件夹下面,并且你写一个demo保证可以调用通,其他就应该没什么问题了

weixin_42997354
余常 你好,谢谢你的回答。 但我现在的问题是: 1. 我有一个linux的集群,有一个可在windos下运行的可执行程序(c++集成的.exe),有一批音频数据; 2.我想实现集群模式下,分布式的处理一批音频数据,提取其中的特征,然后保存结果。 如果是这样的模式,我想用spark跑,但是我要写一个demo的话,我目前还不知道怎么用调用这个程序,有什么可行的方法吗?
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问