Linux 下搭建 Kafka 環境 _生活百科

環境要求操作系統：CentOS 7
下載地址
安裝說明
Kafka 版本：2.11-2.1.0
下載地址
注：這個版本的 Kafka 需要依賴 JDK 和 Zookeeper 。
JDK 版本：8u181
下載地址
Zookeeper 版本：3.4.5
下載地址
注：以上中間件均搭建在一個 Linux 系統中，如果需要分不同的系統安裝，注意修改對應的連接配置。
如果使用的中間件版本不一致，請以官方搭建文檔為準。
安裝步驟準備軟件目錄
mkdir /datalake上傳之前下載好的安裝包到 /datalake 目錄下
jdk-8u181-linux-x64.gz
kafka_2.11-2.1.0.tgz
zookeeper-3.4.5.tar.gz
批量解壓這幾個安裝包
cd /datalakels * | xargs -n1 tar xzvf將解壓的軟件移動到 /usr/local 目錄
cd /datalakemv jdk1.8.0_181 /usr/local/jdkmv kafka_2.11-2.1.0 /usr/local/kafkamv zookeeper-3.4.5 /usr/local/zk配置 Zookeeper
cd /usr/local/zk/conf首先，先備份 Zookeeper 的默認配置文件
cp zoo_sample.cfg zoo.cfg然后將配置文件修改下
vi zoo.cfg將 dataDir 選項配置為
dataDir=/usr/local/zk/data接下來，配置 Kafka
vi /usr/local/kafka/config/server.properties將 log.dirs 參數修改為
log.dirs=/usr/local/zk/logs由于 Kafka 和 Zookeeper 裝在同一個 Linux 中，所以 zookeeper.connect 配置維持默認配置即可
zookeeper.connect=localhost:2181配置環境變量
vi /usr/profile添加如下內容
export JAVA_HOME=/usr/local/jdkexport ZK_HOME=/usr/local/zkexport KAFKA_HOME=/usr/local/kafkaexport PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin應用環境變量
source /etc/profile接下來，就開始啟動 Kafka，首先，需要先啟動 Zookeeper
zkServer.sh start輸出信息如下
[root@datalake conf]# zkServer.sh startJMX enabled by defaultUsing config: /usr/local/zk/bin/../conf/zoo.cfgStarting zookeeper ... STARTED說明啟動成功。
接下來啟動 Kafka
kafka-server-start.sh /usr/local/kafka/config/server.properties接下來，再打開 Shell 一個窗口，創建 topic
kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic  test然后再開一個 Shell 窗口，啟動生產者
kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic  test再打開一個 Shell 窗口，啟動消費者
kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic  test切換到生產者啟動頁面，發送數據，消費者能正常接收數據
生產者