pagerank的mapreduce實現(xiàn)(編輯修改稿)
2024-11-17 15:14 本頁面
【文章內容簡介】 該命令在 ~/.ssh目錄生成 id_dsa和 ，我們把 key里面 ： $cat ~/.ssh/ ~/.ssh/authorized_keys 完成以后，就可以實現(xiàn)無密碼登陸本機 $ssh localhost ? 5，關閉防火墻： $sudo ufw disable Step1 安裝 Hadoop運行環(huán)境 ? 6，安裝 jdk。/downloads/ 安裝路徑為 /home/uname/jdk，添加環(huán)境變量到/etc/profile中： export JAVA_HOME=/home/uname/jdk export JRE_HOME=/home/uname/jdk/jre export CLASSPATH= .:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH ? （注：網上有許多 jdk的安裝教程，同學們可以參考） Step1 安裝 Hadoop運行環(huán)境 ? 7，安裝 hadoop。 $ mv ~/ $cd ~ $ tar –zvxf 添加 hadoop的安裝路徑到 /etc/profile中： export HADOOP_HOME=/home/uname/hadoop export path=$HADOOP_HOME/bin:$PATH Step1 安裝 Hadoop運行環(huán)境 ? 8，配置 hadoop： (1)$HADOOP_HOME/conf/添加： export JAVA_HOME=/home/uname/jdk (2)conf/masters和 conf/slaves文件中，將master和 slave的地址都改為 (3)配置 conf/, conf/, conf/： Step1 安裝 Hadoop運行環(huán)境 configuration property name/name value/home/uname/tmp/value /property property name/name value /property /configuration Step1 安裝 Hadoop運行環(huán)境 configuration property name/name value1/value /property /configuration 由于是只有一臺機器的偽分布式，所以replication必須設置為 1，否則運行會報錯 Step1 安裝 Hadoop運行環(huán)境 configuration property name/name value:9001/value /property /configuration Step1 安裝 Hadoop運行環(huán)境 ? 9，運行 hadoop： $ cd $HADOOP_HOME $ cd bin 格式化文件系統(tǒng) $ hadoop namenode –format 啟動 hadoop $ 用 jps命令查看 java進程，可以知道 hadoop是否啟動成功 Step1 安裝 Hadoop運行環(huán)境 ? *10，安裝 eclipse，進行 hadoop開發(fā) (在ubuntu圖形界面下安裝 eclipse，也可以用aptget工具安裝）。當然，也可以不使用eclipse，直接用 vim編輯 java程序，使用javac手動編譯 hadoop程序。 Step2 獲取網頁集合存放到 HDFS中 ? 在網上下載一些網頁（當然如果能用爬蟲爬取最好），
教學課件相關推薦
鄂ICP備17016276號-1