mirror of
https://github.com/prometheus/prometheus.git
synced 2025-03-05 20:59:13 -08:00
Move tombstones to their own thing.
Signed-off-by: Goutham Veeramachaneni <cs14btech11014@iith.ac.in>
This commit is contained in:
Goutham Veeramachaneni
parent
cea3c88f17
commit
34a86af3c6
373
block.go
373
block.go
|
|
@ -14,13 +14,11 @@
|
||||||
package tsdb
|
package tsdb
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"encoding/binary"
|
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
"fmt"
|
"fmt"
|
||||||
"io/ioutil"
|
"io/ioutil"
|
||||||
"os"
|
"os"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"sort"
|
|
||||||
|
|
||||||
"github.com/oklog/ulid"
|
"github.com/oklog/ulid"
|
||||||
"github.com/pkg/errors"
|
"github.com/pkg/errors"
|
||||||
|
|
@ -115,7 +113,6 @@ type blockMeta struct {
|
||||||
}
|
}
|
||||||
|
|
||||||
const metaFilename = "meta.json"
|
const metaFilename = "meta.json"
|
||||||
const tombstoneFilename = "tombstones"
|
|
||||||
|
|
||||||
func readMetaFile(dir string) (*BlockMeta, error) {
|
func readMetaFile(dir string) (*BlockMeta, error) {
|
||||||
b, err := ioutil.ReadFile(filepath.Join(dir, metaFilename))
|
b, err := ioutil.ReadFile(filepath.Join(dir, metaFilename))
|
||||||
|
|
@ -158,86 +155,6 @@ func writeMetaFile(dir string, meta *BlockMeta) error {
|
||||||
return renameFile(tmp, path)
|
return renameFile(tmp, path)
|
||||||
}
|
}
|
||||||
|
|
||||||
func readTombstoneFile(dir string) (TombstoneReader, error) {
|
|
||||||
return newTombStoneReader(dir)
|
|
||||||
}
|
|
||||||
|
|
||||||
func writeTombstoneFile(dir string, tr TombstoneReader) error {
|
|
||||||
path := filepath.Join(dir, tombstoneFilename)
|
|
||||||
tmp := path + ".tmp"
|
|
||||||
|
|
||||||
f, err := os.Create(tmp)
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
stoneOff := make(map[uint32]int64) // The map that holds the ref to offset vals.
|
|
||||||
refs := []uint32{} // Sorted refs.
|
|
||||||
|
|
||||||
pos := int64(0)
|
|
||||||
buf := encbuf{b: make([]byte, 2*binary.MaxVarintLen64)}
|
|
||||||
for tr.Next() {
|
|
||||||
s := tr.At()
|
|
||||||
|
|
||||||
refs = append(refs, s.ref)
|
|
||||||
stoneOff[s.ref] = pos
|
|
||||||
|
|
||||||
// Write the ranges.
|
|
||||||
buf.reset()
|
|
||||||
buf.putVarint64(int64(len(s.ranges)))
|
|
||||||
n, err := f.Write(buf.get())
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
pos += int64(n)
|
|
||||||
|
|
||||||
for _, r := range s.ranges {
|
|
||||||
buf.reset()
|
|
||||||
buf.putVarint64(r.mint)
|
|
||||||
buf.putVarint64(r.maxt)
|
|
||||||
n, err = f.Write(buf.get())
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
pos += int64(n)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
if err := tr.Err(); err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
// Write the offset table.
|
|
||||||
buf.reset()
|
|
||||||
buf.putBE32int(len(refs))
|
|
||||||
if _, err := f.Write(buf.get()); err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
for _, ref := range refs {
|
|
||||||
buf.reset()
|
|
||||||
buf.putBE32(ref)
|
|
||||||
buf.putBE64int64(stoneOff[ref])
|
|
||||||
_, err = f.Write(buf.get())
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Write the offset to the offset table.
|
|
||||||
buf.reset()
|
|
||||||
buf.putBE64int64(pos)
|
|
||||||
_, err = f.Write(buf.get())
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
if err := f.Close(); err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
return renameFile(tmp, path)
|
|
||||||
}
|
|
||||||
|
|
||||||
type persistedBlock struct {
|
type persistedBlock struct {
|
||||||
dir string
|
dir string
|
||||||
meta BlockMeta
|
meta BlockMeta
|
||||||
|
|
@ -353,301 +270,13 @@ Outer:
|
||||||
}
|
}
|
||||||
|
|
||||||
// Merge the current and new tombstones.
|
// Merge the current and new tombstones.
|
||||||
tr := newMapTombstoneReader(ir.tombstones)
|
tr := newMapTombstoneReader(pb.tombstones)
|
||||||
str := newSimpleTombstoneReader(vPostings, []trange{{mint, maxt}})
|
str := newSimpleTombstoneReader(vPostings, []trange{{mint, maxt}})
|
||||||
tombreader := newMergedTombstoneReader(tr, str)
|
tombreader := newMergedTombstoneReader(tr, str)
|
||||||
|
|
||||||
return writeTombstoneFile(pb.dir, tombreader)
|
return writeTombstoneFile(pb.dir, tombreader)
|
||||||
}
|
}
|
||||||
|
|
||||||
// stone holds the information on the posting and time-range
|
|
||||||
// that is deleted.
|
|
||||||
type stone struct {
|
|
||||||
ref uint32
|
|
||||||
ranges []trange
|
|
||||||
}
|
|
||||||
|
|
||||||
// TombstoneReader is the iterator over tombstones.
|
|
||||||
type TombstoneReader interface {
|
|
||||||
Next() bool
|
|
||||||
Seek(ref uint32) bool
|
|
||||||
At() stone
|
|
||||||
Err() error
|
|
||||||
}
|
|
||||||
|
|
||||||
var emptyTombstoneReader = newMapTombstoneReader(make(map[uint32][]trange))
|
|
||||||
|
|
||||||
type tombstoneReader struct {
|
|
||||||
stones []byte
|
|
||||||
idx int
|
|
||||||
len int
|
|
||||||
|
|
||||||
b []byte
|
|
||||||
err error
|
|
||||||
}
|
|
||||||
|
|
||||||
func newTombStoneReader(dir string) (*tombstoneReader, error) {
|
|
||||||
// TODO(gouthamve): MMAP?
|
|
||||||
b, err := ioutil.ReadFile(filepath.Join(dir, tombstoneFilename))
|
|
||||||
if err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
|
|
||||||
offsetBytes := b[len(b)-8:]
|
|
||||||
d := &decbuf{b: offsetBytes}
|
|
||||||
off := d.be64int64()
|
|
||||||
if err := d.err(); err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
|
|
||||||
d = &decbuf{b: b[off:]}
|
|
||||||
numStones := d.be32int()
|
|
||||||
if err := d.err(); err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
|
|
||||||
return &tombstoneReader{
|
|
||||||
stones: b[off+4:],
|
|
||||||
idx: -1,
|
|
||||||
len: int(numStones),
|
|
||||||
|
|
||||||
b: b,
|
|
||||||
}, nil
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *tombstoneReader) Next() bool {
|
|
||||||
if t.err != nil {
|
|
||||||
return false
|
|
||||||
}
|
|
||||||
|
|
||||||
t.idx++
|
|
||||||
|
|
||||||
return t.idx < t.len
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *tombstoneReader) Seek(ref uint32) bool {
|
|
||||||
bytIdx := t.idx * 12
|
|
||||||
|
|
||||||
t.idx += sort.Search(t.len-t.idx, func(i int) bool {
|
|
||||||
return binary.BigEndian.Uint32(t.b[bytIdx+i*12:]) >= ref
|
|
||||||
})
|
|
||||||
|
|
||||||
return t.idx < t.len
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *tombstoneReader) At() stone {
|
|
||||||
bytIdx := t.idx * (4 + 8)
|
|
||||||
dat := t.stones[bytIdx : bytIdx+12]
|
|
||||||
|
|
||||||
d := &decbuf{b: dat}
|
|
||||||
ref := d.be32()
|
|
||||||
off := d.be64int64()
|
|
||||||
|
|
||||||
d = &decbuf{b: t.b[off:]}
|
|
||||||
numRanges := d.varint64()
|
|
||||||
if err := d.err(); err != nil {
|
|
||||||
t.err = err
|
|
||||||
return stone{ref: ref}
|
|
||||||
}
|
|
||||||
|
|
||||||
dranges := make([]trange, 0, numRanges)
|
|
||||||
for i := 0; i < int(numRanges); i++ {
|
|
||||||
mint := d.varint64()
|
|
||||||
maxt := d.varint64()
|
|
||||||
if err := d.err(); err != nil {
|
|
||||||
t.err = err
|
|
||||||
return stone{ref: ref, ranges: dranges}
|
|
||||||
}
|
|
||||||
|
|
||||||
dranges = append(dranges, trange{mint, maxt})
|
|
||||||
}
|
|
||||||
|
|
||||||
return stone{ref: ref, ranges: dranges}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *tombstoneReader) Err() error {
|
|
||||||
return t.err
|
|
||||||
}
|
|
||||||
|
|
||||||
type mapTombstoneReader struct {
|
|
||||||
refs []uint32
|
|
||||||
cur uint32
|
|
||||||
|
|
||||||
stones map[uint32][]trange
|
|
||||||
}
|
|
||||||
|
|
||||||
// TODO(gouthamve): Take pre-sorted refs.
|
|
||||||
func newMapTombstoneReader(ts map[uint32][]trange) *mapTombstoneReader {
|
|
||||||
refs := make([]uint32, 0, len(ts))
|
|
||||||
for k := range ts {
|
|
||||||
refs = append(refs, k)
|
|
||||||
}
|
|
||||||
sort.Sort(uint32slice(refs))
|
|
||||||
return &mapTombstoneReader{stones: ts, refs: refs}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *mapTombstoneReader) Next() bool {
|
|
||||||
if len(t.refs) > 0 {
|
|
||||||
t.cur = t.refs[0]
|
|
||||||
t.refs = t.refs[1:]
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
|
|
||||||
t.cur = 0
|
|
||||||
return false
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *mapTombstoneReader) Seek(ref uint32) bool {
|
|
||||||
// If the current value satisfies, then return.
|
|
||||||
if t.cur >= ref {
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
|
|
||||||
// Do binary search between current position and end.
|
|
||||||
i := sort.Search(len(t.refs), func(i int) bool {
|
|
||||||
return t.refs[i] >= ref
|
|
||||||
})
|
|
||||||
if i < len(t.refs) {
|
|
||||||
t.cur = t.refs[i]
|
|
||||||
t.refs = t.refs[i+1:]
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
t.refs = nil
|
|
||||||
return false
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *mapTombstoneReader) At() stone {
|
|
||||||
return stone{ref: t.cur, ranges: t.stones[t.cur]}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *mapTombstoneReader) Err() error {
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
type simpleTombstoneReader struct {
|
|
||||||
refs []uint32
|
|
||||||
cur uint32
|
|
||||||
|
|
||||||
ranges []trange
|
|
||||||
}
|
|
||||||
|
|
||||||
func newSimpleTombstoneReader(refs []uint32, drange []trange) *simpleTombstoneReader {
|
|
||||||
return &simpleTombstoneReader{refs: refs, ranges: drange}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *simpleTombstoneReader) Next() bool {
|
|
||||||
if len(t.refs) > 0 {
|
|
||||||
t.cur = t.refs[0]
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
|
|
||||||
t.cur = 0
|
|
||||||
return false
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *simpleTombstoneReader) Seek(ref uint32) bool {
|
|
||||||
// If the current value satisfies, then return.
|
|
||||||
if t.cur >= ref {
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
|
|
||||||
// Do binary search between current position and end.
|
|
||||||
i := sort.Search(len(t.refs), func(i int) bool {
|
|
||||||
return t.refs[i] >= ref
|
|
||||||
})
|
|
||||||
if i < len(t.refs) {
|
|
||||||
t.cur = t.refs[i]
|
|
||||||
t.refs = t.refs[i+1:]
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
t.refs = nil
|
|
||||||
return false
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *simpleTombstoneReader) At() stone {
|
|
||||||
return stone{ref: t.cur, ranges: t.ranges}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *simpleTombstoneReader) Err() error {
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
type mergedTombstoneReader struct {
|
|
||||||
a, b TombstoneReader
|
|
||||||
cur stone
|
|
||||||
|
|
||||||
initialized bool
|
|
||||||
aok, bok bool
|
|
||||||
}
|
|
||||||
|
|
||||||
func newMergedTombstoneReader(a, b TombstoneReader) *mergedTombstoneReader {
|
|
||||||
return &mergedTombstoneReader{a: a, b: b}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *mergedTombstoneReader) Next() bool {
|
|
||||||
if !t.initialized {
|
|
||||||
t.aok = t.a.Next()
|
|
||||||
t.bok = t.b.Next()
|
|
||||||
t.initialized = true
|
|
||||||
}
|
|
||||||
|
|
||||||
if !t.aok && !t.bok {
|
|
||||||
return false
|
|
||||||
}
|
|
||||||
|
|
||||||
if !t.aok {
|
|
||||||
t.cur = t.b.At()
|
|
||||||
t.bok = t.b.Next()
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
if !t.bok {
|
|
||||||
t.cur = t.a.At()
|
|
||||||
t.aok = t.a.Next()
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
|
|
||||||
acur, bcur := t.a.At(), t.b.At()
|
|
||||||
|
|
||||||
if acur.ref < bcur.ref {
|
|
||||||
t.cur = acur
|
|
||||||
t.aok = t.a.Next()
|
|
||||||
} else if acur.ref > bcur.ref {
|
|
||||||
t.cur = bcur
|
|
||||||
t.bok = t.b.Next()
|
|
||||||
} else {
|
|
||||||
t.cur = acur
|
|
||||||
// Merge time ranges.
|
|
||||||
for _, r := range bcur.ranges {
|
|
||||||
acur.ranges = addNewInterval(acur.ranges, r)
|
|
||||||
}
|
|
||||||
t.aok = t.a.Next()
|
|
||||||
t.bok = t.b.Next()
|
|
||||||
}
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *mergedTombstoneReader) Seek(ref uint32) bool {
|
|
||||||
if t.cur.ref >= ref {
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
|
|
||||||
t.aok = t.a.Seek(ref)
|
|
||||||
t.bok = t.b.Seek(ref)
|
|
||||||
t.initialized = true
|
|
||||||
|
|
||||||
return t.Next()
|
|
||||||
}
|
|
||||||
func (t *mergedTombstoneReader) At() stone {
|
|
||||||
return t.cur
|
|
||||||
}
|
|
||||||
|
|
||||||
func (t *mergedTombstoneReader) Err() error {
|
|
||||||
if t.a.Err() != nil {
|
|
||||||
return t.a.Err()
|
|
||||||
}
|
|
||||||
return t.b.Err()
|
|
||||||
}
|
|
||||||
|
|
||||||
func chunkDir(dir string) string { return filepath.Join(dir, "chunks") }
|
func chunkDir(dir string) string { return filepath.Join(dir, "chunks") }
|
||||||
func walDir(dir string) string { return filepath.Join(dir, "wal") }
|
func walDir(dir string) string { return filepath.Join(dir, "wal") }
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -1,47 +1 @@
|
||||||
package tsdb
|
package tsdb
|
||||||
|
|
||||||
import (
|
|
||||||
"io/ioutil"
|
|
||||||
"math/rand"
|
|
||||||
"os"
|
|
||||||
"testing"
|
|
||||||
"time"
|
|
||||||
|
|
||||||
"github.com/stretchr/testify/require"
|
|
||||||
)
|
|
||||||
|
|
||||||
func TestWriteAndReadbackTombStones(t *testing.T) {
|
|
||||||
tmpdir, _ := ioutil.TempDir("", "test")
|
|
||||||
defer os.RemoveAll(tmpdir)
|
|
||||||
|
|
||||||
ref := uint32(0)
|
|
||||||
|
|
||||||
stones := make(map[uint32][]trange)
|
|
||||||
// Generate the tombstones.
|
|
||||||
for i := 0; i < 100; i++ {
|
|
||||||
ref += uint32(rand.Int31n(10)) + 1
|
|
||||||
numRanges := rand.Intn(5)
|
|
||||||
dranges := make([]trange, numRanges)
|
|
||||||
mint := rand.Int63n(time.Now().UnixNano())
|
|
||||||
for j := 0; j < numRanges; j++ {
|
|
||||||
dranges[j] = trange{mint, mint + rand.Int63n(1000)}
|
|
||||||
mint += rand.Int63n(1000) + 1
|
|
||||||
}
|
|
||||||
stones[ref] = dranges
|
|
||||||
}
|
|
||||||
|
|
||||||
require.NoError(t, writeTombstoneFile(tmpdir, newMapTombstoneReader(stones)))
|
|
||||||
|
|
||||||
restr, err := readTombstoneFile(tmpdir)
|
|
||||||
require.NoError(t, err)
|
|
||||||
exptr := newMapTombstoneReader(stones)
|
|
||||||
// Compare the two readers.
|
|
||||||
for restr.Next() {
|
|
||||||
require.True(t, exptr.Next())
|
|
||||||
|
|
||||||
require.Equal(t, exptr.At(), restr.At())
|
|
||||||
}
|
|
||||||
require.False(t, exptr.Next())
|
|
||||||
require.NoError(t, restr.Err())
|
|
||||||
require.NoError(t, exptr.Err())
|
|
||||||
}
|
|
||||||
|
|
|
||||||
|
|
@ -100,7 +100,7 @@ func TestDataNotAvailableAfterRollback(t *testing.T) {
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestDBAppenderAddRef(t *testing.T) {
|
func TestDBAppenderAddRef(t *testing.T) {
|
||||||
tmpdir, _ := ioutil.TempDir("", "test")
|
tmpdir, _ := ioutil.TempDir("", "test1")
|
||||||
defer os.RemoveAll(tmpdir)
|
defer os.RemoveAll(tmpdir)
|
||||||
|
|
||||||
db, err := Open(tmpdir, nil, nil, nil)
|
db, err := Open(tmpdir, nil, nil, nil)
|
||||||
|
|
|
||||||
5
head.go
5
head.go
|
|
@ -97,6 +97,11 @@ func TouchHeadBlock(dir string, seq int, mint, maxt int64) error {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// Write an empty tombstones file.
|
||||||
|
if err := writeTombstoneFile(tmp, emptyTombstoneReader); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
return renameFile(tmp, dir)
|
return renameFile(tmp, dir)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
|
||||||
28
index.go
28
index.go
|
|
@ -165,10 +165,6 @@ func newIndexWriter(dir string) (*indexWriter, error) {
|
||||||
if err := iw.writeMeta(); err != nil {
|
if err := iw.writeMeta(); err != nil {
|
||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
// TODO(gouthamve): Figure out where this function goes, index or block.
|
|
||||||
if err := writeTombstoneFile(dir, emptyTombstoneReader); err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
return iw, nil
|
return iw, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
@ -541,8 +537,6 @@ type indexReader struct {
|
||||||
// Cached hashmaps of section offsets.
|
// Cached hashmaps of section offsets.
|
||||||
labels map[string]uint32
|
labels map[string]uint32
|
||||||
postings map[string]uint32
|
postings map[string]uint32
|
||||||
|
|
||||||
tombstones map[uint32][]trange
|
|
||||||
}
|
}
|
||||||
|
|
||||||
var (
|
var (
|
||||||
|
|
@ -575,21 +569,7 @@ func newIndexReader(dir string) (*indexReader, error) {
|
||||||
return nil, errors.Wrap(err, "read label index table")
|
return nil, errors.Wrap(err, "read label index table")
|
||||||
}
|
}
|
||||||
r.postings, err = r.readOffsetTable(r.toc.postingsTable)
|
r.postings, err = r.readOffsetTable(r.toc.postingsTable)
|
||||||
if err != nil {
|
return r, errors.Wrap(err, "read postings table")
|
||||||
return nil, errors.Wrap(err, "read postings table")
|
|
||||||
}
|
|
||||||
|
|
||||||
tr, err := readTombstoneFile(dir)
|
|
||||||
if err != nil {
|
|
||||||
return r, err
|
|
||||||
}
|
|
||||||
r.tombstones = make(map[uint32][]trange)
|
|
||||||
for tr.Next() {
|
|
||||||
s := tr.At()
|
|
||||||
r.tombstones[s.ref] = s.ranges
|
|
||||||
}
|
|
||||||
|
|
||||||
return r, tr.Err()
|
|
||||||
}
|
}
|
||||||
|
|
||||||
func (r *indexReader) readTOC() error {
|
func (r *indexReader) readTOC() error {
|
||||||
|
|
@ -757,8 +737,6 @@ func (r *indexReader) Series(ref uint32) (labels.Labels, []*ChunkMeta, error) {
|
||||||
lbls = append(lbls, labels.Label{Name: ln, Value: lv})
|
lbls = append(lbls, labels.Label{Name: ln, Value: lv})
|
||||||
}
|
}
|
||||||
|
|
||||||
s, deleted := r.tombstones[ref]
|
|
||||||
|
|
||||||
// Read the chunks meta data.
|
// Read the chunks meta data.
|
||||||
k = int(d2.uvarint())
|
k = int(d2.uvarint())
|
||||||
chunks := make([]*ChunkMeta, 0, k)
|
chunks := make([]*ChunkMeta, 0, k)
|
||||||
|
|
@ -772,14 +750,10 @@ func (r *indexReader) Series(ref uint32) (labels.Labels, []*ChunkMeta, error) {
|
||||||
return nil, nil, errors.Wrapf(d2.err(), "read meta for chunk %d", i)
|
return nil, nil, errors.Wrapf(d2.err(), "read meta for chunk %d", i)
|
||||||
}
|
}
|
||||||
|
|
||||||
// TODO(gouthamve): Donot add the chunk if its completely deleted.
|
|
||||||
chunks = append(chunks, &ChunkMeta{
|
chunks = append(chunks, &ChunkMeta{
|
||||||
Ref: off,
|
Ref: off,
|
||||||
MinTime: mint,
|
MinTime: mint,
|
||||||
MaxTime: maxt,
|
MaxTime: maxt,
|
||||||
|
|
||||||
deleted: deleted,
|
|
||||||
dranges: s,
|
|
||||||
})
|
})
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
|
||||||
379
tombstones.go
Normal file
379
tombstones.go
Normal file
|
|
@ -0,0 +1,379 @@
|
||||||
|
package tsdb
|
||||||
|
|
||||||
|
import (
|
||||||
|
"encoding/binary"
|
||||||
|
"io/ioutil"
|
||||||
|
"os"
|
||||||
|
"path/filepath"
|
||||||
|
"sort"
|
||||||
|
)
|
||||||
|
|
||||||
|
const tombstoneFilename = "tombstones"
|
||||||
|
|
||||||
|
func readTombstoneFile(dir string) (TombstoneReader, error) {
|
||||||
|
return newTombStoneReader(dir)
|
||||||
|
}
|
||||||
|
|
||||||
|
func writeTombstoneFile(dir string, tr TombstoneReader) error {
|
||||||
|
path := filepath.Join(dir, tombstoneFilename)
|
||||||
|
tmp := path + ".tmp"
|
||||||
|
|
||||||
|
f, err := os.Create(tmp)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
stoneOff := make(map[uint32]int64) // The map that holds the ref to offset vals.
|
||||||
|
refs := []uint32{} // Sorted refs.
|
||||||
|
|
||||||
|
pos := int64(0)
|
||||||
|
buf := encbuf{b: make([]byte, 2*binary.MaxVarintLen64)}
|
||||||
|
for tr.Next() {
|
||||||
|
s := tr.At()
|
||||||
|
|
||||||
|
refs = append(refs, s.ref)
|
||||||
|
stoneOff[s.ref] = pos
|
||||||
|
|
||||||
|
// Write the ranges.
|
||||||
|
buf.reset()
|
||||||
|
buf.putVarint64(int64(len(s.ranges)))
|
||||||
|
n, err := f.Write(buf.get())
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
pos += int64(n)
|
||||||
|
|
||||||
|
for _, r := range s.ranges {
|
||||||
|
buf.reset()
|
||||||
|
buf.putVarint64(r.mint)
|
||||||
|
buf.putVarint64(r.maxt)
|
||||||
|
n, err = f.Write(buf.get())
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
pos += int64(n)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if err := tr.Err(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
// Write the offset table.
|
||||||
|
buf.reset()
|
||||||
|
buf.putBE32int(len(refs))
|
||||||
|
if _, err := f.Write(buf.get()); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, ref := range refs {
|
||||||
|
buf.reset()
|
||||||
|
buf.putBE32(ref)
|
||||||
|
buf.putBE64int64(stoneOff[ref])
|
||||||
|
_, err = f.Write(buf.get())
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Write the offset to the offset table.
|
||||||
|
buf.reset()
|
||||||
|
buf.putBE64int64(pos)
|
||||||
|
_, err = f.Write(buf.get())
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := f.Close(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
return renameFile(tmp, path)
|
||||||
|
}
|
||||||
|
|
||||||
|
// stone holds the information on the posting and time-range
|
||||||
|
// that is deleted.
|
||||||
|
type stone struct {
|
||||||
|
ref uint32
|
||||||
|
ranges []trange
|
||||||
|
}
|
||||||
|
|
||||||
|
// TombstoneReader is the iterator over tombstones.
|
||||||
|
type TombstoneReader interface {
|
||||||
|
Next() bool
|
||||||
|
Seek(ref uint32) bool
|
||||||
|
At() stone
|
||||||
|
Err() error
|
||||||
|
}
|
||||||
|
|
||||||
|
var emptyTombstoneReader = newMapTombstoneReader(make(map[uint32][]trange))
|
||||||
|
|
||||||
|
type tombstoneReader struct {
|
||||||
|
stones []byte
|
||||||
|
idx int
|
||||||
|
len int
|
||||||
|
|
||||||
|
b []byte
|
||||||
|
err error
|
||||||
|
}
|
||||||
|
|
||||||
|
func newTombStoneReader(dir string) (*tombstoneReader, error) {
|
||||||
|
// TODO(gouthamve): MMAP?
|
||||||
|
b, err := ioutil.ReadFile(filepath.Join(dir, tombstoneFilename))
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
offsetBytes := b[len(b)-8:]
|
||||||
|
d := &decbuf{b: offsetBytes}
|
||||||
|
off := d.be64int64()
|
||||||
|
if err := d.err(); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
d = &decbuf{b: b[off:]}
|
||||||
|
numStones := d.be32int()
|
||||||
|
if err := d.err(); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
return &tombstoneReader{
|
||||||
|
stones: b[off+4:],
|
||||||
|
idx: -1,
|
||||||
|
len: int(numStones),
|
||||||
|
|
||||||
|
b: b,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *tombstoneReader) Next() bool {
|
||||||
|
if t.err != nil {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
t.idx++
|
||||||
|
|
||||||
|
return t.idx < t.len
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *tombstoneReader) Seek(ref uint32) bool {
|
||||||
|
bytIdx := t.idx * 12
|
||||||
|
|
||||||
|
t.idx += sort.Search(t.len-t.idx, func(i int) bool {
|
||||||
|
return binary.BigEndian.Uint32(t.b[bytIdx+i*12:]) >= ref
|
||||||
|
})
|
||||||
|
|
||||||
|
return t.idx < t.len
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *tombstoneReader) At() stone {
|
||||||
|
bytIdx := t.idx * (4 + 8)
|
||||||
|
dat := t.stones[bytIdx : bytIdx+12]
|
||||||
|
|
||||||
|
d := &decbuf{b: dat}
|
||||||
|
ref := d.be32()
|
||||||
|
off := d.be64int64()
|
||||||
|
|
||||||
|
d = &decbuf{b: t.b[off:]}
|
||||||
|
numRanges := d.varint64()
|
||||||
|
if err := d.err(); err != nil {
|
||||||
|
t.err = err
|
||||||
|
return stone{ref: ref}
|
||||||
|
}
|
||||||
|
|
||||||
|
dranges := make([]trange, 0, numRanges)
|
||||||
|
for i := 0; i < int(numRanges); i++ {
|
||||||
|
mint := d.varint64()
|
||||||
|
maxt := d.varint64()
|
||||||
|
if err := d.err(); err != nil {
|
||||||
|
t.err = err
|
||||||
|
return stone{ref: ref, ranges: dranges}
|
||||||
|
}
|
||||||
|
|
||||||
|
dranges = append(dranges, trange{mint, maxt})
|
||||||
|
}
|
||||||
|
|
||||||
|
return stone{ref: ref, ranges: dranges}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *tombstoneReader) Err() error {
|
||||||
|
return t.err
|
||||||
|
}
|
||||||
|
|
||||||
|
type mapTombstoneReader struct {
|
||||||
|
refs []uint32
|
||||||
|
cur uint32
|
||||||
|
|
||||||
|
stones map[uint32][]trange
|
||||||
|
}
|
||||||
|
|
||||||
|
// TODO(gouthamve): Take pre-sorted refs.
|
||||||
|
func newMapTombstoneReader(ts map[uint32][]trange) *mapTombstoneReader {
|
||||||
|
refs := make([]uint32, 0, len(ts))
|
||||||
|
for k := range ts {
|
||||||
|
refs = append(refs, k)
|
||||||
|
}
|
||||||
|
sort.Sort(uint32slice(refs))
|
||||||
|
return &mapTombstoneReader{stones: ts, refs: refs}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *mapTombstoneReader) Next() bool {
|
||||||
|
if len(t.refs) > 0 {
|
||||||
|
t.cur = t.refs[0]
|
||||||
|
t.refs = t.refs[1:]
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
t.cur = 0
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *mapTombstoneReader) Seek(ref uint32) bool {
|
||||||
|
// If the current value satisfies, then return.
|
||||||
|
if t.cur >= ref {
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
// Do binary search between current position and end.
|
||||||
|
i := sort.Search(len(t.refs), func(i int) bool {
|
||||||
|
return t.refs[i] >= ref
|
||||||
|
})
|
||||||
|
if i < len(t.refs) {
|
||||||
|
t.cur = t.refs[i]
|
||||||
|
t.refs = t.refs[i+1:]
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
t.refs = nil
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *mapTombstoneReader) At() stone {
|
||||||
|
return stone{ref: t.cur, ranges: t.stones[t.cur]}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *mapTombstoneReader) Err() error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
type simpleTombstoneReader struct {
|
||||||
|
refs []uint32
|
||||||
|
cur uint32
|
||||||
|
|
||||||
|
ranges []trange
|
||||||
|
}
|
||||||
|
|
||||||
|
func newSimpleTombstoneReader(refs []uint32, drange []trange) *simpleTombstoneReader {
|
||||||
|
return &simpleTombstoneReader{refs: refs, ranges: drange}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *simpleTombstoneReader) Next() bool {
|
||||||
|
if len(t.refs) > 0 {
|
||||||
|
t.cur = t.refs[0]
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
t.cur = 0
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *simpleTombstoneReader) Seek(ref uint32) bool {
|
||||||
|
// If the current value satisfies, then return.
|
||||||
|
if t.cur >= ref {
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
// Do binary search between current position and end.
|
||||||
|
i := sort.Search(len(t.refs), func(i int) bool {
|
||||||
|
return t.refs[i] >= ref
|
||||||
|
})
|
||||||
|
if i < len(t.refs) {
|
||||||
|
t.cur = t.refs[i]
|
||||||
|
t.refs = t.refs[i+1:]
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
t.refs = nil
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *simpleTombstoneReader) At() stone {
|
||||||
|
return stone{ref: t.cur, ranges: t.ranges}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *simpleTombstoneReader) Err() error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
type mergedTombstoneReader struct {
|
||||||
|
a, b TombstoneReader
|
||||||
|
cur stone
|
||||||
|
|
||||||
|
initialized bool
|
||||||
|
aok, bok bool
|
||||||
|
}
|
||||||
|
|
||||||
|
func newMergedTombstoneReader(a, b TombstoneReader) *mergedTombstoneReader {
|
||||||
|
return &mergedTombstoneReader{a: a, b: b}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *mergedTombstoneReader) Next() bool {
|
||||||
|
if !t.initialized {
|
||||||
|
t.aok = t.a.Next()
|
||||||
|
t.bok = t.b.Next()
|
||||||
|
t.initialized = true
|
||||||
|
}
|
||||||
|
|
||||||
|
if !t.aok && !t.bok {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
if !t.aok {
|
||||||
|
t.cur = t.b.At()
|
||||||
|
t.bok = t.b.Next()
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
if !t.bok {
|
||||||
|
t.cur = t.a.At()
|
||||||
|
t.aok = t.a.Next()
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
acur, bcur := t.a.At(), t.b.At()
|
||||||
|
|
||||||
|
if acur.ref < bcur.ref {
|
||||||
|
t.cur = acur
|
||||||
|
t.aok = t.a.Next()
|
||||||
|
} else if acur.ref > bcur.ref {
|
||||||
|
t.cur = bcur
|
||||||
|
t.bok = t.b.Next()
|
||||||
|
} else {
|
||||||
|
t.cur = acur
|
||||||
|
// Merge time ranges.
|
||||||
|
for _, r := range bcur.ranges {
|
||||||
|
acur.ranges = addNewInterval(acur.ranges, r)
|
||||||
|
}
|
||||||
|
t.aok = t.a.Next()
|
||||||
|
t.bok = t.b.Next()
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *mergedTombstoneReader) Seek(ref uint32) bool {
|
||||||
|
if t.cur.ref >= ref {
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
t.aok = t.a.Seek(ref)
|
||||||
|
t.bok = t.b.Seek(ref)
|
||||||
|
t.initialized = true
|
||||||
|
|
||||||
|
return t.Next()
|
||||||
|
}
|
||||||
|
func (t *mergedTombstoneReader) At() stone {
|
||||||
|
return t.cur
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *mergedTombstoneReader) Err() error {
|
||||||
|
if t.a.Err() != nil {
|
||||||
|
return t.a.Err()
|
||||||
|
}
|
||||||
|
return t.b.Err()
|
||||||
|
}
|
||||||
47
tombstones_test.go
Normal file
47
tombstones_test.go
Normal file
|
|
@ -0,0 +1,47 @@
|
||||||
|
package tsdb
|
||||||
|
|
||||||
|
import (
|
||||||
|
"io/ioutil"
|
||||||
|
"math/rand"
|
||||||
|
"os"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"github.com/stretchr/testify/require"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestWriteAndReadbackTombStones(t *testing.T) {
|
||||||
|
tmpdir, _ := ioutil.TempDir("", "test")
|
||||||
|
defer os.RemoveAll(tmpdir)
|
||||||
|
|
||||||
|
ref := uint32(0)
|
||||||
|
|
||||||
|
stones := make(map[uint32][]trange)
|
||||||
|
// Generate the tombstones.
|
||||||
|
for i := 0; i < 100; i++ {
|
||||||
|
ref += uint32(rand.Int31n(10)) + 1
|
||||||
|
numRanges := rand.Intn(5)
|
||||||
|
dranges := make([]trange, numRanges)
|
||||||
|
mint := rand.Int63n(time.Now().UnixNano())
|
||||||
|
for j := 0; j < numRanges; j++ {
|
||||||
|
dranges[j] = trange{mint, mint + rand.Int63n(1000)}
|
||||||
|
mint += rand.Int63n(1000) + 1
|
||||||
|
}
|
||||||
|
stones[ref] = dranges
|
||||||
|
}
|
||||||
|
|
||||||
|
require.NoError(t, writeTombstoneFile(tmpdir, newMapTombstoneReader(stones)))
|
||||||
|
|
||||||
|
restr, err := readTombstoneFile(tmpdir)
|
||||||
|
require.NoError(t, err)
|
||||||
|
exptr := newMapTombstoneReader(stones)
|
||||||
|
// Compare the two readers.
|
||||||
|
for restr.Next() {
|
||||||
|
require.True(t, exptr.Next())
|
||||||
|
|
||||||
|
require.Equal(t, exptr.At(), restr.At())
|
||||||
|
}
|
||||||
|
require.False(t, exptr.Next())
|
||||||
|
require.NoError(t, restr.Err())
|
||||||
|
require.NoError(t, exptr.Err())
|
||||||
|
}
|
||||||
Loading…
Reference in a new issue