বাস্তব কেস স্টাডি — দুই সার্ভারে VPS ব্যবসা#

ssh root@185.xxx.xxx.83
uname -a          # Linux pve 6.8.12-9-pve
pveversion        # pve-manager/9.1.11 — সর্বশেষ
uptime            # ৫ দিন চালু, লোড কম

lscpu | grep -E 'Model name|Socket|Core|Thread|CPU\(s\)'
free -h           # ২৫১ GB, ব্যবহার হচ্ছে ৮.২ GB
lsblk
# sda      465.8G → Samsung SSD (Proxmox OS + সব VM)
# nvme0n1  894G   → খালি
# nvme1n1  894G   → খালি

qm list           # ৪টি VM চালু — সবগুলো ওই একটি SSD-তে

lsblk /dev/nvme0n1 /dev/nvme1n1     # দুইটিই খালি কি না নিশ্চিত হন

zpool create -f \
  -o ashift=12 \
  -O compression=lz4 \
  -O atime=off \
  vm-storage mirror /dev/nvme0n1 /dev/nvme1n1

zpool status vm-storage             # ONLINE, errors: No known data errors

pvesm add zfspool nvme-mirror \
  --pool vm-storage \
  --content images,rootdir \
  --sparse 1

pvesm status                        # nvme-mirror  zfspool  active  902 GB

echo 'LC_ALL=en_US.UTF-8' >> /etc/environment
locale-gen en_US.UTF-8

qm move_disk 100 scsi0 nvme-mirror --delete 1   # ৩২ GB — ২৩ সেকেন্ড
qm move_disk 101 scsi0 nvme-mirror --delete 1   # ৩২ GB — ১৮ সেকেন্ড
qm move_disk 102 scsi0 nvme-mirror --delete 1
qm move_disk 103 scsi0 nvme-mirror --delete 1   # ১০০ GB — ১ মিনিট ৪ সেকেন্ড
# কিন্তু: lvremove 'pve/vm-103-disk-1' error: LV is used by another device

dmsetup ls | grep 103
# pve-vm--103--disk--1    (252:10)  ← মূল LVM ভলিউম
# pve-vm--103--disk--1p3  (252:14)  ← kpartx-এর পার্টিশন ম্যাপিং

vgchange -an ubuntu-vg
dmsetup remove pve-vm--103--disk--1p3    # আগে সন্তান
dmsetup remove pve-vm--103--disk--1      # পরে মা
lvremove -f /dev/pve/vm-103-disk-1

ssh root@185.xxx.xxx.117
pveversion       # একই প্রক্সমক্স সংস্করণ
lscpu            # ৭২ vCPU — একই
free -h          # ২৫১ GB — একই
lsblk
# sdb 931.5G → খালি   (NVMe নয়, SATA SSD)
# sdc 931.5G → খালি

zpool create -f vm-storage mirror sdb sdc
zpool status vm-storage

# নোড ২-এ — ভুল নোড
pvecm create xcloud-cluster

qm stop 100 && qm stop 101 && qm stop 102 && qm stop 103
qm stop 104 && qm stop 105 && pct stop 200
pvecm add 185.xxx.xxx.117 --force
# backup old database to '/var/lib/pve-cluster/backup/config-1779344961.sql.gz'
# successfully added node 'pve' to cluster.
qm list      # খালি — সব কনফিগ নেই

zcat /var/lib/pve-cluster/backup/config-1779344961.sql.gz > /tmp/old-config.sql
sqlite3 /tmp/old_pve.db < /tmp/old-config.sql

import sqlite3
conn = sqlite3.connect('/tmp/old_pve.db')
cursor = conn.cursor()
cursor.execute("SELECT name, data FROM tree WHERE name LIKE '%.conf'")
for name, data in cursor.fetchall():
    vmid = int(name.replace('.conf', ''))
    if 200 <= vmid <= 299:
        path = f'/etc/pve/nodes/pve/lxc/{name}'
    else:
        path = f'/etc/pve/nodes/pve/qemu-server/{name}'
    with open(path, 'wb') as f:
        f.write(data)
    print(f'Restored: {path}')
conn.close()

pvesm add zfspool nvme-mirror --pool vm-storage --content rootdir,images

pvecm status
# Expected votes: 2
# Quorum: 2       ← সব নোড চালু থাকতে হবে

apt install corosync-qdevice -y                                  # নোড ১
ssh root@185.xxx.xxx.117 "apt install corosync-qdevice -y"       # নোড ২
pct exec 200 -- apt install -y corosync-qnetd                    # কন্টেইনারে

# setup SSH ব্যবহার করে — কন্টেইনারে কী বসান
pct exec 200 -- mkdir -p /root/.ssh
cat /root/.ssh/id_rsa.pub | pct exec 200 -- tee -a /root/.ssh/authorized_keys
pct exec 200 -- chmod 600 /root/.ssh/authorized_keys

pvecm qdevice setup 185.xxx.xxx.115

pvecm status
# Expected votes: 3      ← আগে ছিল ২
# Quorum: 2              ← এখন ৩-এর মধ্যে ২ হলেই চলে
# Flags: Quorate Qdevice

ha-manager status
# quorum OK
# (no services registered)    ← কোনো VM-এ HA চালু নেই

pvesm set nvme-mirror --nodes pve      # ভুল
# pvesr রেপ্লিকেশন সাথে সাথে ভেঙে গেল

pvesm set nvme-mirror --nodes ''
# নোড ২-এও একই ID-তে নিবন্ধন করুন (সেখানকার নিজস্ব vm-storage পুল দেখিয়ে)
pvesm add zfspool nvme-mirror --pool vm-storage --content rootdir,images

# ভুল — এই ফ্ল্যাগগুলো PVE 9-এ নেই
pvesr create-local-job 104-0 SC305-S14 --guest 104 --target_storages nvme-mirror=ssd-mirror
# Error: Unknown option: guest

# সঠিক — শুধু job ID আর টার্গেট নোড
pvesr create-local-job 104-0 SC305-S14 --schedule "*/15"
pvesr run --id 104-0

# নোড ২-এ যাচাই
zfs list -t all | grep 104
# vm-storage/vm-104-disk-0
# vm-storage/vm-104-disk-0@__replicate_104-0_...   ← ইনক্রিমেন্টাল সিঙ্কের স্ন্যাপশট

ha-manager add vm:104 --state started
qm migrate 104 SC305-S14 --online
# [SC305-S14] Installed QEMU version '10.1.2' is too old to run machine type
# 'pc-q35-11.0+pve0', please upgrade

qm set 104 --machine pc-q35-10.1+pve0     # দুই নোডেই চলে এমন সংস্করণ
qm reboot 104
qm migrate 104 SC305-S14 --online         # সফল
qm migrate 104 pve --online               # ফেরতও সফল

pct enter 200
curl -o ... https://enterprise.proxmox.com/debian/proxmox-release-bookworm.gpg
# bash: curl: command not found

apt update && apt install -y curl        # আগে এটি
curl -o /etc/apt/trusted.gpg.d/proxmox-release-bookworm.gpg \
  https://enterprise.proxmox.com/debian/proxmox-release-bookworm.gpg
echo "deb http://download.proxmox.com/debian/pbs bookworm pbs-no-subscription" \
  > /etc/apt/sources.list.d/pbs.list
apt update && apt install -y proxmox-backup-server

# ভুল — PBS 3.x-এ --datastore ফ্ল্যাগ নেই
proxmox-backup-manager datastore set vps-backups --keep-daily 7

# সঠিক — prune-job ব্যবহার করুন
proxmox-backup-manager prune-job create nightly \
  --store vps-backups \
  --keep-daily 7 --keep-weekly 4 --keep-monthly 3 \
  --schedule daily

proxmox-backup-manager cert info | grep Fingerprint   # fingerprint লাগবে
exit

pvesm add pbs pbs-backups \
  --server 185.xxx.xxx.115 \
  --datastore vps-backups \
  --username root@pam \
  --password ******** \
  --fingerprint 6f:a7:04:21:...

vzdump 100 --storage pbs-backups --mode snapshot
# INFO: 100% (32.0 GiB) in 25s (1.3 GiB/s)
# INFO: backup is sparse: 87% total zero data

pvesh create /cluster/backup \
  --id nightly-backup \
  --storage pbs-backups \
  --schedule "02:00" \
  --mode snapshot \
  --vmid 100,101,102,103 \
  --compress zstd

cd /var/lib/vz/template/iso/
wget https://cloud-images.ubuntu.com/noble/current/noble-server-cloudimg-amd64.img   # ৬৯ MB

qm create 9000 \
  --name ubuntu-24-template \
  --memory 2048 --cores 2 \
  --net0 virtio,bridge=vmbr0,firewall=1 \
  --scsihw virtio-scsi-single \
  --agent enabled=1 \
  --machine q35 --bios ovmf --ostype l26 --onboot 0

qm set 9000 --efidisk0 nvme-mirror:0,efitype=4m,pre-enrolled-keys=0

qm set 9000 --scsi0 nvme-mirror:0,\
import-from=/var/lib/vz/template/iso/noble-server-cloudimg-amd64.img,\
discard=on,iothread=1,cache=none
# ৬৯ MB কম্প্রেসড ইমেজ খুলে ৩.৫ GB হয়

qm disk resize 9000 scsi0 32G          # cloud-init প্রথম বুটে ফাইল সিস্টেম বড় করবে
qm set 9000 --ide0 nvme-mirror:cloudinit
qm set 9000 --boot order=scsi0
qm set 9000 --ciuser ubuntu
qm set 9000 --nameserver "8.8.8.8 1.1.1.1"

qm template 9000                       # এখন আর চালু করা যাবে না, শুধু ক্লোন

qm clone 9000 104 --name customer-1 --full 1 --storage nvme-mirror
qm set 104 --memory 2048 --cores 2
qm set 104 --ipconfig0 ip=185.xxx.xxx.112/24,gw=185.xxx.xxx.1
qm set 104 --cipassword "**********"
qm start 104

ssh ubuntu@185.xxx.xxx.112
# Permission denied (publickey)

cat ~/.ssh/id_ed25519.pub | ssh root@185.xxx.xxx.83 \
  "cat > /tmp/customer_key.pub && \
   qm set 104 --sshkeys /tmp/customer_key.pub && \
   qm cloudinit update 104 && \
   qm reset 104"

ssh-keygen -R 185.xxx.xxx.112    # রিসেটের পর হোস্ট কী বদলায়
ssh ubuntu@185.xxx.xxx.112       # সফল

qm snapshot 104 clean-install --description "Fresh Ubuntu 24.04, guest agent installed"
qm listsnapshot 104

# ইচ্ছা করে ভাঙা
ssh ubuntu@185.xxx.xxx.112
sudo rm -rf /etc/ssh/sshd_config
echo "I broke this VM on purpose" | sudo tee /BROKEN
exit

qm stop 104 && qm rollback 104 clean-install && qm start 104

ssh ubuntu@185.xxx.xxx.112
ls /etc/ssh/sshd_config    # ফিরে এসেছে
ls /BROKEN                 # নেই

qm delsnapshot 104 clean-install

qm config 104 | grep net0      # firewall=1 আছে

pvesh create /nodes/pve/qemu/104/firewall/rules \
  --action ACCEPT --type in --proto tcp --dport 22 --comment "SSH"
# (৮০ ও ৪৪৩ পোর্টেও একই)
pvesh set /nodes/pve/qemu/104/firewall/options --enable 1

# ssh: connect to host 185.xxx.xxx.112 port 22: Connection refused

pvesh get /nodes/pve/qemu/104/firewall/rules
# action: ACCEPT  pos: 0  enable: 0   ← নিষ্ক্রিয়

pvesh set /nodes/pve/qemu/104/firewall/rules/0 --enable 1
pvesh set /nodes/pve/qemu/104/firewall/rules/1 --enable 1
pvesh set /nodes/pve/qemu/104/firewall/rules/2 --enable 1

pvesh create /nodes/pve/qemu/$VMID/firewall/rules \
  --action ACCEPT --type in --proto tcp --dport 22 --comment "SSH" --enable 1

# ১. পরবর্তী খালি VMID
pvesh get /cluster/nextid            # 105

# ২. টেমপ্লেট ক্লোন
qm clone 9000 105 --name customer-2 --full 1 --storage nvme-mirror

# ৩. IP, রিসোর্স, পাসওয়ার্ড
qm set 105 --ipconfig0 ip=185.xxx.xxx.113/24,gw=185.xxx.xxx.1
qm set 105 --memory 2048 --cores 2
qm set 105 --cipassword "**********"

# ৪. ফায়ারওয়াল (--enable 1 ভুলবেন না)
pvesh create /nodes/pve/qemu/105/firewall/rules --action ACCEPT --type in --proto tcp --dport 22  --comment "SSH"   --enable 1
pvesh create /nodes/pve/qemu/105/firewall/rules --action ACCEPT --type in --proto tcp --dport 80  --comment "HTTP"  --enable 1
pvesh create /nodes/pve/qemu/105/firewall/rules --action ACCEPT --type in --proto tcp --dport 443 --comment "HTTPS" --enable 1
pvesh set /nodes/pve/qemu/105/firewall/options --enable 1

# ৫. চালু
qm start 105

# ৬. যাচাই
ssh ubuntu@185.xxx.xxx.113

pvesh delete /nodes/pve/qemu/104/firewall/rules/3

#!/bin/bash
set -e
NAME=$1
RAM=${2:-2048}
IP=$3
PASSWORD=$(openssl rand -base64 12)
VMID=$(pvesh get /cluster/nextid)
TEMPLATE=9000
STORAGE="nvme-mirror"

echo "==> Provisioning VM: $NAME (ID: $VMID)"
qm clone $TEMPLATE $VMID --name "$NAME" --full --storage $STORAGE
qm set $VMID --memory $RAM --cores 2
qm set $VMID --ipconfig0 "ip=$IP/24,gw=185.xxx.xxx.1"
qm set $VMID --nameserver "8.8.8.8 1.1.1.1"
qm set $VMID --cipassword "$PASSWORD"
qm start $VMID
echo "==> VM $VMID ($NAME) ready."

qm clone $TEMPLATE $VMID --name "$NAME" --storage $STORAGE
# Error: parameter 'storage' not allowed for linked clones

ping 185.xxx.xxx.120        # Request timeout
qm guest exec 106 -- ip addr show eth0         # IP ঠিকই বসেছে
qm guest exec 106 -- ping -c 3 185.xxx.xxx.1   # গেটওয়েও পাচ্ছে না

নোড ১-এর পুল: .99 .108 .109 .111 .112 .113 .114 .115 .116
নোড ২-এর পুল: .120 .121 .122 .123 .124 .125 .127 .128 .129

qm set 106 --ipconfig0 "ip=185.xxx.xxx.108/24,gw=185.xxx.xxx.1"
qm guest exec 106 -- cloud-init clean       # নতুন IP নিতে বাধ্য করা
qm reboot 106
ping 185.xxx.xxx.108                        # সফল

skipping guest filesystem freeze - agent configured but not running?

qm set 9000 --template 0                     # টেমপ্লেট আবার সাধারণ VM
qm set 9000 --serial0 socket --vga serial0   # জরুরি সিরিয়াল কনসোল

apt install -y libguestfs-tools
qm config 9000 | grep disk
# scsi0: nvme-mirror:base-9000-disk-1,size=32G     ← টেমপ্লেটে "base-" উপসর্গ

# VM চালু না করেই ডিস্কের ভেতরে সফটওয়্যার বসানো
virt-customize -a /dev/zvol/vm-storage/base-9000-disk-1 \
  --install qemu-guest-agent \
  --run-command 'systemctl enable qemu-guest-agent'

# একই সুযোগে SSH পাসওয়ার্ড লগইন চালু
virt-customize -a /dev/zvol/vm-storage/base-9000-disk-1 \
  --run-command "sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/' \
  /etc/ssh/sshd_config.d/60-cloudimg-settings.conf"

qm set 9000 --machine pc-q35-10.1+pve0       # দুই নোডেই চলবে
qm template 9000

pct create 201 local:vztmpl/debian-12-standard_12.12-1_amd64.tar.zst \
  --hostname monitoring \
  --memory 2048 --cores 2 \
  --rootfs nvme-mirror:20 \
  --net0 name=eth0,bridge=vmbr0,ip=185.xxx.xxx.113/24,gw=185.xxx.xxx.1 \
  --nameserver "8.8.8.8 1.1.1.1" \
  --unprivileged 1 --start 1

pct set 201 --features nesting=1      # ছাড়া systemd ঠিকমতো চলে না
pct reboot 201
pct exec 201 -- systemctl is-system-running    # running

pct exec 201 -- apt update && pct exec 201 -- apt install -y prometheus

# দুই নোডেই node_exporter
apt install -y prometheus-node-exporter
systemctl enable --now prometheus-node-exporter
ssh root@185.xxx.xxx.117 "apt install -y prometheus-node-exporter && \
  systemctl enable --now prometheus-node-exporter"

global:
  scrape_interval: 15s
scrape_configs:
  - job_name: 'node'
    static_configs:
      - targets:
          - '185.xxx.xxx.113:9100'   # CT 201 নিজে
          - '185.xxx.xxx.83:9100'    # নোড ১
          - '185.xxx.xxx.117:9100'   # নোড ২
        labels:
          cluster: 'xcloud'

pct exec 201 -- systemctl reload prometheus
pct exec 201 -- curl -s http://localhost:9090/api/v1/targets | grep -o '"health":"[^"]*"'
# সবগুলো "up"