Logstash input from elasticsearch

เนื่องจากต้องการเก็บข้อมูลบาง field  ไว้สามเดือน จึงต้องทำการดึงข้อมูลจาก elasticsearch บาง field  มาใส่ใน  index  ใหม่ ตอนแรกคิดว่าต้อง curl  มาแล้วเอาเข้า logstash แต่พอไปดู plugin ของ logstash เองแล้ว เอ้า มีตอน input  ด้วย

 

ตัวอย่างส config logstash (6.1.0)

input{
elasticsearch {
hosts => [“127.0.0.1:9200”]
index => ‘test-index’
query => ‘{ “query”: { “query_string”: { “query”: “*” } }, “_source”: {“includes”: [ “system.cpu.iowait.pct”,”system.cpu.system.pct”,”system.cpu.user.pct”,”system.core.user.pct”,”system.core.id”,”system.memory.actual.used.pct”,”system.filesystem.free”,”system.filesystem.mount_point”,”system.filesystem.type”,”system.filesystem.used.bytes”,”beat.name”,”beat.hostname”,”beat.name”,”tags”,”metricset.module”,”metricset.name”,”@timestamp”,”_index” ] }}’
size => 500
scroll => “5m”
docinfo => true
}
}
filter{
mutate{
add_field => { “DATEX”=> “%{[@metadata][_index]}”}
}
grok {
match => [ “DATEX”,”metricbeat-6.2.4-%{GREEDYDATA:DATE}” ]
remove_field => [“DATEX”]
}
}
output{
elasticsearch{
hosts => [“127.0.0.1:9200”]
index => ‘test-%{DATE}’
}
}

เราสามารถ query อะไรก็ได้จาก elasticsearch โดยแก้ที่ query ใน input

ELK Architecture [Test]

ELK1

เนื่องจากได้ทดลองมาสักระยะยาวๆระยะหนึ่ง ได้ลดลองหลายๆแบบมาแล้ว
ซึ่งแบบนี้น่าจะพอใช้ได้ แต่มันอาจจะยังไม่ดีที่สุด ทำได้เท่านี้ก็ดีเหลือเกิน

  • แก้ปัญหา kibana  ไม่มี load balance
  • แก้ปัญหาเวลา query  ให้กระจายไปหลาย ๆ เครื่อง
  • แก้ปัญหาเครื่องโหลดเวลา query, insert, update, delete
  • สามารถ scale out ได้ง่าย จะ scale out master  หรือ  slave  ก็ได้เช่นกัน

 

How to install elasticsearch 5.2.2

Require : Java 8

Add user tapootum

$ useradd tapootum
$ passwd tapootum

Extrack elasticsearch-5.2.2.tar.gz

$ tar -zxvf elasticsearch-5.2.2.tar.gz

Create data and log path

$ mkdir /data/elasticsearch-data
$ mkdir /data/elasticsearch-logs

Config for cluster

$ cd /path/to/elasticsearch-5.2.2/config
$ vim elasticsearch.yml
cluster.name: Cluster-name
node.name: ${HOSTNAME}
#if node.master = true this node is master 
node.master: true
node.data: true
bootstrap.system_call_filter: false
path.data: /data/elasticsearch-data
path.logs: /data/elasticsearch-logs
network.host: 127.0.0.1
http.port: 9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1", "127.0.0.2", "127.0.0.3"]

Set limit (For RHEL 6)

$ vim /etc/security/limits.conf
# Add 3 line
*                soft      core             0
*                soft      nofile          65536
*                hard    nofile          65536
$ vim /etc/security/limits.d/tapootum.conf
#Add 
tapootum       soft    nproc     unlimited
tapootum       hard    nproc     unlimited
tapootum       soft    nofile    100000
tapootum       hard    nofile    100000
tapootum       soft    core      unlimited
tapootum       hard    core      unlimited
$  vim /etc/sysctl.conf
#Add
#modify for elasticsearch
vm.max_map_count = 262144

Load sysctl config

$ sysctl -p

Change owner to tapootum

$ chown -R tapootum:root /path/to/elasticsearch-5.2.2
$ chown -R tapootum:root /data/elasticsearch-data
$ chown -R tapootum:root /data/elasticsearch-logs

Run elasticsearch

$ cd /path/to/elasticsearch-5.2.2
$ bin/elasticsearch

เงินกู้เพื่อการศึกษา

#Update 20-11-2559

  • ธนาคาร ออมสิน 

ให้กู้ตามที่จ่ายจริงในการศึกษาตลอดหลักสูตร ตามเอกสารการลงทะเบียน หรือใบเสร็จรับเงินของสถาบันการศึกษา หรือเอกสารที่แสดงค่าใช้จ่าย ดังนี้
1. กรณีบุคคลค้ำประกัน ให้กู้ไม่เกินรายละ 300,000 บาท
2. กรณีหลักทรัพย์ค้ำประกัน ให้กู้ไม่เกินรายละ 1,5000,000 บาท ดังนี้

  • ไม่เกิน 100% ของจำนวนเงินฝากคงเหลือในสมุดฝากเงินออมสิน หรือของมูลค่าสลากออมสินพิเศษ
  • ไม่เกิน 85% ของราคาประเมินหลักทรัพย์ กรณีใช้ที่ดิน หรือ ที่ดินพร้อมอาคาร หรือไม่เกิน 70% ของราคาประเมินหลักทรัพย์กรณีห้องชุด

ดอกเบี้ย 

  • วงเงินกู้ไม่เกิน 20,000 บาท ร้อยละ MRR-0.75 ต่อปี
  • วงเงินกู้เกิน 20,000 บาท แต่ไม่เกิน 50,000 บาท ร้อยละ MRR -0.25 ต่อปี
  • วงเงินกู้เกิน 50,000 บาท ร้อยละ MRR+1.25 ต่อปี

**ธนาคารขอสงวนสิทธิ์ในการเปลี่ยนแปลงหลักเกณฑ์เงื่อนไขโดยไม่แจ้งให้ทราบล่วงหน้า**

  • ธนาคารกสิกร

วงเงินให้กู้ยืม
     – 80% ของค่าใช้จ่ายแต่ละหลักสูตร สูงสุดไม่เกิน 750,000 บาท

ลักษณะการเบิกเงิน
     – หลังจากได้รับอนุมัติเงินกู้แล้ว สามารถใช้บริการได้โดยการนำใบเสร็จมาเบิกค่าใช้จ่ายเป็นคราวๆ ไป ซึ่งจำนวนเงินสำหรับการเบิก- ถอนต่อครั้งจะเป็นไปตามค่าใช้จ่ายที่เกิดขึ้นตามจริงตามที่ระบุในใบเสร็จดังกล่าวเท่านั้น จากนั้นธนาคารจะทำการโอนเงินจำนวนดังกล่าวเข้าบัญชีเงินฝากออมทรัพย์ของผู้กู้ต่อไป

อัตราดอกเบี้ย        คิดอัตรา MRR + 4% ต่อปี

 

ข้อคิดการทำงาน การจำกัดเวลาเข้างานกับไม่จำกัดเวลาเข้างาน จากพี่ แจ๊ก ชาวไร่

พี่แจ๊กชาวไร่: ว่าแต่นี่ขนงานกลับมาทำบ้านด้วยเรอะขยันเกินไปแฮะ
พี่แจ๊กชาวไร่: ไม่เคยทำงานนอกเวลางานอะ
พี่แจ๊กชาวไร่: ไม่สนใจด้วย
พี่แจ๊กชาวไร่: เลิกงานคือจบ
พี่แจ๊กชาวไร่: ใช้เวลาในที่ทำงานเท่านั้น
พี่แจ๊กชาวไร่: ส่วนใหญ่พอกลับบ้านก็จะทำงานส่วนตัว
พี่แจ๊กชาวไร่: ไม่มีสมองไปคิดงานคนอื่นอิอิ
พี่แจ๊กชาวไร่: ยกเว้นพวกโปรเจคที่รับผิดชอบ
พี่แจ๊กชาวไร่: เคยทำที่ไม่ต้องตอบบัตร
พี่แจ๊กชาวไร่: ถ้าแบบนี้เราทำให้เต็มที่เลย
พี่แจ๊กชาวไร่: ที่ไหนตรวจเวลาเข้าออกก็ทำตามเวลาของมัน
พี่แจ๊กชาวไร่: ที่พอมานะบริษัทไหนไม่ฟิกเวลางานงานเสร็จเร็วนะ
พี่แจ๊กชาวไร่: บางวันเข้าออฟฟิตแค่ครึ่งวัน
พี่แจ๊กชาวไร่: งานที่แพลนไว้เดือนนึงเสร็จกันสองอาทิตย์ก็มี
พี่แจ๊กชาวไร่: เสร็จแล้วก็ลัลลาได้
พี่แจ๊กชาวไร่: พวกนี้พนักงานจะขยันทำ
พี่แจ๊กชาวไร่: เพราะเสร็จเร็วก็มีเวลาพัก
พี่แจ๊กชาวไร่: ที่บ้านเลี้ยงคนงานวิธีนี้เหมือนกัน
พี่แจ๊กชาวไร่: เราสั่งงานกะคืองานนี้ใช้เวลา 1 วันถ้าเสร็จก่อนเวลาคุณก็พัก
พี่แจ๊กชาวไร่: บางทีคนงานก็เร่งไม่พักเที่ยวเพื่อที่จะให้เสร็จบ่ายสอง
พี่แจ๊กชาวไร่: แต่เราก็จ่ายเต็มวัน
พี่แจ๊กชาวไร่: เราแฟร์กับคนงานคนงานเค้าก็รักเรา
พี่แจ๊กชาวไร่: บางทีก็ไม่นอนพักเย็นๆมาทำงานต่อให้เราอีก
พี่แจ๊กชาวไร่: กลายเป็นว่าเมือ่เราให้อิสระเค้าเค้าทำงานให้เราได้มากกว่าปรกตินะ
พี่แจ๊กชาวไร่: สมัยก่อนที่พี่เปิดบริษัทรับงานพี่ใช้วิธีเช่ารีสอร์ททำงานด้วยกัน
พี่แจ๊กชาวไร่: รับโปรเจคมาระยะเวลาสามเดือน เรามาเช่ารีสอร์ทอาทิตย์นึงสุมหัวกันทำเสร็จ
พี่แจ๊กชาวไร่: เดือนก่อนพี่พึ่งคุยกับบอสเก่าพี่เค้าจะมาเช่าที่เปิดออฟฟิตริมทะเล
พี่แจ๊กชาวไร่: มีบ้านพักให้พนักงาน
พี่แจ๊กชาวไร่: ขึ้นจากสระนุ่งบิกินี่นั่งทำงานได้
ถ้าทำงานไม่ฟิกเวลา ผลของงานจะได้ดีกว่า เพราะรู้สึกว่าถ้าทำเสร็จเร็วแล้วจะได้พักเร็ว มันเป็นเรื่องของจิตวิทยาหรือเปล่า .. ถ้าทำงานแบบฟิกเวลา เวลาทำงานไปก็จะคิดว่า ไม่ต้องรีบกว่าจะเลิกงานอีกนาน
จริงๆ ถ้ามันไม่เป็นที่กดดันอะไรมากๆ สำหรับผมก็ทำได้เรื่อยๆ แต่เวลาที่กดดันมากๆ จะขี้เกียจทันที
ต้องฝึกครับ ต้องฝึกอีกหลายๆอย่างเลย สำหรับการทำงาน ถ้าจะบอกว่าจบมาก็สามปีแล้ว แต่ผมรู้สึกว่าเหมือนพวกจบใหม่ได้ปีสองปี เพราะความรู้สึกที่ได้ทำงานจริงๆ ก็หลังจากปลดประจำการมานั่นแหละ เหมือนเวลาของชีวิตหายไปสองปีเต็มๆ …
สู้ๆ ครับ ไม่ว่าจะเลือกทางไหนก็ของให้ทำเต็มที่นะครับ ….
(มาบ่นๆแล้วก็ไป แค่นี้แหละ)