安装 Kafka 服务

直接到 kafka 官网 , 下载最新的

wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz

解压，进入目录

tar -zxvf kafka_2.13-2.5.0.tgz

cd kafka_2.13-2.5.0

启动 Kafka 服务

使用安装包中的脚本启动单节点 Zookeeper 实例

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

使用 kafka-server-start.sh 启动 kafka 服务

bin/kafka-server-start.sh config/server.properties

创建 topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看 topic 列表，检查是否创建成功

bin/kafka-topics.sh --list --zookeeper localhost:2181

$ test

生产者，发送消息

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

服务方面到这里就差不多了，接下来就是 php 的事了。

安装 PHP 扩展

rdkafka 安装需要依赖 librdkafka , 所以先安装 librdkafka

1. git clone https://github.com/edenhill/librdkafka.git 
2.  
3. cd librdkafka 
4.  
5. ./configure 
6.  
7. make && make install 

安装 php-rdkafka 扩展

1. git clone https://github.com/arnaud-lb/php-rdkafka.git 
2.  
3. cd php-rdkafka 
4.  
5. phpize 
6.  
7. ./configure --with-php-config=/usr/local/Cellar/php@7.2/7.2.24/bin/php-config  ## 这里根据自己的情况填写路径 
8.  
9. make && make install 

在 php-ini 加上

extension=rdkafka.so

重启，php-fpm，就应该可以看到该扩展。

使用Kafka

创建一个生产者类

1. <?php 
2.  
3. class KafkaProducer 
4.  
5. { 
6.  
7.     public static $brokerList = '127.0.0.1:9092'; 
8.  
9.     public static function send($message, $topic) 
10.  
11.     { 
12.  
13.         self::producer($message, $topic); 
14.  
15.     } 
16.  
17.     public static function producer($message, $topic = 'test') 
18.  
19.     { 
20.  
21.         $conf = new \RdKafka\Conf(); 
22.  
23.         $conf->set('metadata.broker.list', self::$brokerList); 
24.  
25.         $producer = new \RdKafka\Producer($conf); 
26.  
27.         $topic = $producer->newTopic($topic); 
28.  
29.         $topic->produce(RD_KAFKA_PARTITION_UA, 0, json_encode($message)); 
30.  
31.         $producer->poll(0); 
32.  
33.         $result = $producer->flush(10000); 
34.  
35.         if (RD_KAFKA_RESP_ERR_NO_ERROR !== $result) { 
36.  
37.             throw new \RuntimeException('Was unable to flush, messages might be lost!'); 
38.  
39.         } 
40.  
41.     } 
42.  
43. } 

创建一个消费类

1. <?php 
2.  
3. class KafkaConsumer 
4.  
5. { 
6.  
7.     public static $brokerList = '127.0.0.1:9092'; 
8.  
9.       public static function consumer() 
10.  
11.     { 
12.  
13.         $conf = new \RdKafka\Conf(); 
14.  
15.         $conf->set('group.id', 'test'); 
16.  
17.         $rk = new \RdKafka\Consumer($conf); 
18.  
19.         $rk->addBrokers("127.0.0.1"); 
20.  
21.         $topicConf = new \RdKafka\TopicConf(); 
22.  
23.         $topicConf->set('auto.commit.interval.ms', 100); 
24.  
25.         $topicConf->set('offset.store.method', 'broker'); 
26.  
27.         $topicConf->set('auto.offset.reset', 'smallest'); 
28.  
29.         $topic = $rk->newTopic('test', $topicConf); 
30.  
31.         $topic->consumeStart(0, RD_KAFKA_OFFSET_STORED); 
32.  
33.         while (true) { 
34.  
35.             $message = $topic->consume(0, 120*10000); 
36.  
37.             switch ($message->err) { 
38.  
39.                 case RD_KAFKA_RESP_ERR_NO_ERROR: 
40.  
41.                     var_dump($message); 
42.  
43.                     break; 
44.  
45.                 case RD_KAFKA_RESP_ERR__PARTITION_EOF: 
46.  
47.                     echo "No more messages; will wait for more\n"; 
48.  
49.                     break; 
50.  
51.                 case RD_KAFKA_RESP_ERR__TIMED_OUT: 
52.  
53.                     echo "Timed out\n"; 
54.  
55.                     break; 
56.  
57.                 default: 
58.  
59.                     throw new \Exception($message->errstr(), $message->err); 
60.  
61.                     break; 
62.  
63.             } 
64.  
65.         } 
66.  
67.     } 
68.  
69. } 

问题汇总

1、 No Java runtime present, requesting install

因为 kafka 需要 java 环境支持，所以安装 java 环境。可以到 javase-jdk14-downloads 选择自己的版本进行下载安装。

2、创建 topic 出现：Replication factor: 1 larger than available brokers: 0

意思是至少有一个 brokers. 也就是说并没有有效的 brokers 可以用。你要确保你的 kafka 已经启动了。

Tags: PHP消息队列 Kafka

分享到：