瀏覽量:31次
要在Hadoop集群運(yùn)行上運(yùn)行JNI程序,首先要在單機(jī)上調(diào)試程序直到可以正確運(yùn)行JNI程序,之后移植到Hadoop集群就是水到渠成的事情。
Hadoop運(yùn)行程序的方式是通過jar包,所以我們需要將所有的class文件打包成jar包。在打包的過程中,無需將動(dòng)態(tài)鏈接庫包含進(jìn)去。
在集群中運(yùn)行程序之前,Hadoop會首先將jar包傳遞到所有的節(jié)點(diǎn),然后啟動(dòng)運(yùn)行。我們可以在這個(gè)階段將動(dòng)態(tài)鏈接庫作為附件和jar包同時(shí)傳遞到所有的節(jié)點(diǎn)。方法就是給jar命令指定-files參數(shù)。命令如下:
hadoop jarSegment.jar Segment -files ./bin/lib***.so input output
通過該命令,jar包和動(dòng)態(tài)鏈接庫都會傳遞到所有節(jié)點(diǎn),然后啟動(dòng)mapreduce任務(wù)。
[聲明]本網(wǎng)轉(zhuǎn)載網(wǎng)絡(luò)媒體稿件是為了傳播更多的信息,此類稿件不代表本網(wǎng)觀點(diǎn),本網(wǎng)不承擔(dān)此類稿件侵權(quán)行為的連帶責(zé)任。故此,如果您發(fā)現(xiàn)本網(wǎng)站的內(nèi)容侵犯了您的版權(quán),請您的相關(guān)內(nèi)容發(fā)至此郵箱【779898168@qq.com】,我們在確認(rèn)后,會立即刪除,保證您的版權(quán)。
官網(wǎng)優(yōu)化
整站優(yōu)化
渠道代理
400-655-5776