mirror of
https://github.com/prometheus/prometheus.git
synced 2025-01-26 13:11:11 -08:00
Move tombstones to their own thing.
Signed-off-by: Goutham Veeramachaneni <cs14btech11014@iith.ac.in>
This commit is contained in:
Goutham Veeramachaneni
parent
cea3c88f17
commit
34a86af3c6
373
block.go
373
block.go
|
|
@ -14,13 +14,11 @@
|
|||
package tsdb
|
||||
|
||||
import (
|
||||
"encoding/binary"
|
||||
"encoding/json"
|
||||
"fmt"
|
||||
"io/ioutil"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"sort"
|
||||
|
||||
"github.com/oklog/ulid"
|
||||
"github.com/pkg/errors"
|
||||
|
|
@ -115,7 +113,6 @@ type blockMeta struct {
|
|||
}
|
||||
|
||||
const metaFilename = "meta.json"
|
||||
const tombstoneFilename = "tombstones"
|
||||
|
||||
func readMetaFile(dir string) (*BlockMeta, error) {
|
||||
b, err := ioutil.ReadFile(filepath.Join(dir, metaFilename))
|
||||
|
|
@ -158,86 +155,6 @@ func writeMetaFile(dir string, meta *BlockMeta) error {
|
|||
return renameFile(tmp, path)
|
||||
}
|
||||
|
||||
func readTombstoneFile(dir string) (TombstoneReader, error) {
|
||||
return newTombStoneReader(dir)
|
||||
}
|
||||
|
||||
func writeTombstoneFile(dir string, tr TombstoneReader) error {
|
||||
path := filepath.Join(dir, tombstoneFilename)
|
||||
tmp := path + ".tmp"
|
||||
|
||||
f, err := os.Create(tmp)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
stoneOff := make(map[uint32]int64) // The map that holds the ref to offset vals.
|
||||
refs := []uint32{} // Sorted refs.
|
||||
|
||||
pos := int64(0)
|
||||
buf := encbuf{b: make([]byte, 2*binary.MaxVarintLen64)}
|
||||
for tr.Next() {
|
||||
s := tr.At()
|
||||
|
||||
refs = append(refs, s.ref)
|
||||
stoneOff[s.ref] = pos
|
||||
|
||||
// Write the ranges.
|
||||
buf.reset()
|
||||
buf.putVarint64(int64(len(s.ranges)))
|
||||
n, err := f.Write(buf.get())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
pos += int64(n)
|
||||
|
||||
for _, r := range s.ranges {
|
||||
buf.reset()
|
||||
buf.putVarint64(r.mint)
|
||||
buf.putVarint64(r.maxt)
|
||||
n, err = f.Write(buf.get())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
pos += int64(n)
|
||||
}
|
||||
}
|
||||
if err := tr.Err(); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
// Write the offset table.
|
||||
buf.reset()
|
||||
buf.putBE32int(len(refs))
|
||||
if _, err := f.Write(buf.get()); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
for _, ref := range refs {
|
||||
buf.reset()
|
||||
buf.putBE32(ref)
|
||||
buf.putBE64int64(stoneOff[ref])
|
||||
_, err = f.Write(buf.get())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
|
||||
// Write the offset to the offset table.
|
||||
buf.reset()
|
||||
buf.putBE64int64(pos)
|
||||
_, err = f.Write(buf.get())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
if err := f.Close(); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
return renameFile(tmp, path)
|
||||
}
|
||||
|
||||
type persistedBlock struct {
|
||||
dir string
|
||||
meta BlockMeta
|
||||
|
|
@ -353,301 +270,13 @@ Outer:
|
|||
}
|
||||
|
||||
// Merge the current and new tombstones.
|
||||
tr := newMapTombstoneReader(ir.tombstones)
|
||||
tr := newMapTombstoneReader(pb.tombstones)
|
||||
str := newSimpleTombstoneReader(vPostings, []trange{{mint, maxt}})
|
||||
tombreader := newMergedTombstoneReader(tr, str)
|
||||
|
||||
return writeTombstoneFile(pb.dir, tombreader)
|
||||
}
|
||||
|
||||
// stone holds the information on the posting and time-range
|
||||
// that is deleted.
|
||||
type stone struct {
|
||||
ref uint32
|
||||
ranges []trange
|
||||
}
|
||||
|
||||
// TombstoneReader is the iterator over tombstones.
|
||||
type TombstoneReader interface {
|
||||
Next() bool
|
||||
Seek(ref uint32) bool
|
||||
At() stone
|
||||
Err() error
|
||||
}
|
||||
|
||||
var emptyTombstoneReader = newMapTombstoneReader(make(map[uint32][]trange))
|
||||
|
||||
type tombstoneReader struct {
|
||||
stones []byte
|
||||
idx int
|
||||
len int
|
||||
|
||||
b []byte
|
||||
err error
|
||||
}
|
||||
|
||||
func newTombStoneReader(dir string) (*tombstoneReader, error) {
|
||||
// TODO(gouthamve): MMAP?
|
||||
b, err := ioutil.ReadFile(filepath.Join(dir, tombstoneFilename))
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
offsetBytes := b[len(b)-8:]
|
||||
d := &decbuf{b: offsetBytes}
|
||||
off := d.be64int64()
|
||||
if err := d.err(); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
d = &decbuf{b: b[off:]}
|
||||
numStones := d.be32int()
|
||||
if err := d.err(); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
return &tombstoneReader{
|
||||
stones: b[off+4:],
|
||||
idx: -1,
|
||||
len: int(numStones),
|
||||
|
||||
b: b,
|
||||
}, nil
|
||||
}
|
||||
|
||||
func (t *tombstoneReader) Next() bool {
|
||||
if t.err != nil {
|
||||
return false
|
||||
}
|
||||
|
||||
t.idx++
|
||||
|
||||
return t.idx < t.len
|
||||
}
|
||||
|
||||
func (t *tombstoneReader) Seek(ref uint32) bool {
|
||||
bytIdx := t.idx * 12
|
||||
|
||||
t.idx += sort.Search(t.len-t.idx, func(i int) bool {
|
||||
return binary.BigEndian.Uint32(t.b[bytIdx+i*12:]) >= ref
|
||||
})
|
||||
|
||||
return t.idx < t.len
|
||||
}
|
||||
|
||||
func (t *tombstoneReader) At() stone {
|
||||
bytIdx := t.idx * (4 + 8)
|
||||
dat := t.stones[bytIdx : bytIdx+12]
|
||||
|
||||
d := &decbuf{b: dat}
|
||||
ref := d.be32()
|
||||
off := d.be64int64()
|
||||
|
||||
d = &decbuf{b: t.b[off:]}
|
||||
numRanges := d.varint64()
|
||||
if err := d.err(); err != nil {
|
||||
t.err = err
|
||||
return stone{ref: ref}
|
||||
}
|
||||
|
||||
dranges := make([]trange, 0, numRanges)
|
||||
for i := 0; i < int(numRanges); i++ {
|
||||
mint := d.varint64()
|
||||
maxt := d.varint64()
|
||||
if err := d.err(); err != nil {
|
||||
t.err = err
|
||||
return stone{ref: ref, ranges: dranges}
|
||||
}
|
||||
|
||||
dranges = append(dranges, trange{mint, maxt})
|
||||
}
|
||||
|
||||
return stone{ref: ref, ranges: dranges}
|
||||
}
|
||||
|
||||
func (t *tombstoneReader) Err() error {
|
||||
return t.err
|
||||
}
|
||||
|
||||
type mapTombstoneReader struct {
|
||||
refs []uint32
|
||||
cur uint32
|
||||
|
||||
stones map[uint32][]trange
|
||||
}
|
||||
|
||||
// TODO(gouthamve): Take pre-sorted refs.
|
||||
func newMapTombstoneReader(ts map[uint32][]trange) *mapTombstoneReader {
|
||||
refs := make([]uint32, 0, len(ts))
|
||||
for k := range ts {
|
||||
refs = append(refs, k)
|
||||
}
|
||||
sort.Sort(uint32slice(refs))
|
||||
return &mapTombstoneReader{stones: ts, refs: refs}
|
||||
}
|
||||
|
||||
func (t *mapTombstoneReader) Next() bool {
|
||||
if len(t.refs) > 0 {
|
||||
t.cur = t.refs[0]
|
||||
t.refs = t.refs[1:]
|
||||
return true
|
||||
}
|
||||
|
||||
t.cur = 0
|
||||
return false
|
||||
}
|
||||
|
||||
func (t *mapTombstoneReader) Seek(ref uint32) bool {
|
||||
// If the current value satisfies, then return.
|
||||
if t.cur >= ref {
|
||||
return true
|
||||
}
|
||||
|
||||
// Do binary search between current position and end.
|
||||
i := sort.Search(len(t.refs), func(i int) bool {
|
||||
return t.refs[i] >= ref
|
||||
})
|
||||
if i < len(t.refs) {
|
||||
t.cur = t.refs[i]
|
||||
t.refs = t.refs[i+1:]
|
||||
return true
|
||||
}
|
||||
t.refs = nil
|
||||
return false
|
||||
}
|
||||
|
||||
func (t *mapTombstoneReader) At() stone {
|
||||
return stone{ref: t.cur, ranges: t.stones[t.cur]}
|
||||
}
|
||||
|
||||
func (t *mapTombstoneReader) Err() error {
|
||||
return nil
|
||||
}
|
||||
|
||||
type simpleTombstoneReader struct {
|
||||
refs []uint32
|
||||
cur uint32
|
||||
|
||||
ranges []trange
|
||||
}
|
||||
|
||||
func newSimpleTombstoneReader(refs []uint32, drange []trange) *simpleTombstoneReader {
|
||||
return &simpleTombstoneReader{refs: refs, ranges: drange}
|
||||
}
|
||||
|
||||
func (t *simpleTombstoneReader) Next() bool {
|
||||
if len(t.refs) > 0 {
|
||||
t.cur = t.refs[0]
|
||||
return true
|
||||
}
|
||||
|
||||
t.cur = 0
|
||||
return false
|
||||
}
|
||||
|
||||
func (t *simpleTombstoneReader) Seek(ref uint32) bool {
|
||||
// If the current value satisfies, then return.
|
||||
if t.cur >= ref {
|
||||
return true
|
||||
}
|
||||
|
||||
// Do binary search between current position and end.
|
||||
i := sort.Search(len(t.refs), func(i int) bool {
|
||||
return t.refs[i] >= ref
|
||||
})
|
||||
if i < len(t.refs) {
|
||||
t.cur = t.refs[i]
|
||||
t.refs = t.refs[i+1:]
|
||||
return true
|
||||
}
|
||||
t.refs = nil
|
||||
return false
|
||||
}
|
||||
|
||||
func (t *simpleTombstoneReader) At() stone {
|
||||
return stone{ref: t.cur, ranges: t.ranges}
|
||||
}
|
||||
|
||||
func (t *simpleTombstoneReader) Err() error {
|
||||
return nil
|
||||
}
|
||||
|
||||
type mergedTombstoneReader struct {
|
||||
a, b TombstoneReader
|
||||
cur stone
|
||||
|
||||
initialized bool
|
||||
aok, bok bool
|
||||
}
|
||||
|
||||
func newMergedTombstoneReader(a, b TombstoneReader) *mergedTombstoneReader {
|
||||
return &mergedTombstoneReader{a: a, b: b}
|
||||
}
|
||||
|
||||
func (t *mergedTombstoneReader) Next() bool {
|
||||
if !t.initialized {
|
||||
t.aok = t.a.Next()
|
||||
t.bok = t.b.Next()
|
||||
t.initialized = true
|
||||
}
|
||||
|
||||
if !t.aok && !t.bok {
|
||||
return false
|
||||
}
|
||||
|
||||
if !t.aok {
|
||||
t.cur = t.b.At()
|
||||
t.bok = t.b.Next()
|
||||
return true
|
||||
}
|
||||
if !t.bok {
|
||||
t.cur = t.a.At()
|
||||
t.aok = t.a.Next()
|
||||
return true
|
||||
}
|
||||
|
||||
acur, bcur := t.a.At(), t.b.At()
|
||||
|
||||
if acur.ref < bcur.ref {
|
||||
t.cur = acur
|
||||
t.aok = t.a.Next()
|
||||
} else if acur.ref > bcur.ref {
|
||||
t.cur = bcur
|
||||
t.bok = t.b.Next()
|
||||
} else {
|
||||
t.cur = acur
|
||||
// Merge time ranges.
|
||||
for _, r := range bcur.ranges {
|
||||
acur.ranges = addNewInterval(acur.ranges, r)
|
||||
}
|
||||
t.aok = t.a.Next()
|
||||
t.bok = t.b.Next()
|
||||
}
|
||||
return true
|
||||
}
|
||||
|
||||
func (t *mergedTombstoneReader) Seek(ref uint32) bool {
|
||||
if t.cur.ref >= ref {
|
||||
return true
|
||||
}
|
||||
|
||||
t.aok = t.a.Seek(ref)
|
||||
t.bok = t.b.Seek(ref)
|
||||
t.initialized = true
|
||||
|
||||
return t.Next()
|
||||
}
|
||||
func (t *mergedTombstoneReader) At() stone {
|
||||
return t.cur
|
||||
}
|
||||
|
||||
func (t *mergedTombstoneReader) Err() error {
|
||||
if t.a.Err() != nil {
|
||||
return t.a.Err()
|
||||
}
|
||||
return t.b.Err()
|
||||
}
|
||||
|
||||
func chunkDir(dir string) string { return filepath.Join(dir, "chunks") }
|
||||
func walDir(dir string) string { return filepath.Join(dir, "wal") }
|
||||
|
||||
|
|
|
|||
|
|
@ -1,47 +1 @@
|
|||
package tsdb
|
||||
|
||||
import (
|
||||
"io/ioutil"
|
||||
"math/rand"
|
||||
"os"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/stretchr/testify/require"
|
||||
)
|
||||
|
||||
func TestWriteAndReadbackTombStones(t *testing.T) {
|
||||
tmpdir, _ := ioutil.TempDir("", "test")
|
||||
defer os.RemoveAll(tmpdir)
|
||||
|
||||
ref := uint32(0)
|
||||
|
||||
stones := make(map[uint32][]trange)
|
||||
// Generate the tombstones.
|
||||
for i := 0; i < 100; i++ {
|
||||
ref += uint32(rand.Int31n(10)) + 1
|
||||
numRanges := rand.Intn(5)
|
||||
dranges := make([]trange, numRanges)
|
||||
mint := rand.Int63n(time.Now().UnixNano())
|
||||
for j := 0; j < numRanges; j++ {
|
||||
dranges[j] = trange{mint, mint + rand.Int63n(1000)}
|
||||
mint += rand.Int63n(1000) + 1
|
||||
}
|
||||
stones[ref] = dranges
|
||||
}
|
||||
|
||||
require.NoError(t, writeTombstoneFile(tmpdir, newMapTombstoneReader(stones)))
|
||||
|
||||
restr, err := readTombstoneFile(tmpdir)
|
||||
require.NoError(t, err)
|
||||
exptr := newMapTombstoneReader(stones)
|
||||
// Compare the two readers.
|
||||
for restr.Next() {
|
||||
require.True(t, exptr.Next())
|
||||
|
||||
require.Equal(t, exptr.At(), restr.At())
|
||||
}
|
||||
require.False(t, exptr.Next())
|
||||
require.NoError(t, restr.Err())
|
||||
require.NoError(t, exptr.Err())
|
||||
}
|
||||
|
|
|
|||
|
|
@ -100,7 +100,7 @@ func TestDataNotAvailableAfterRollback(t *testing.T) {
|
|||
}
|
||||
|
||||
func TestDBAppenderAddRef(t *testing.T) {
|
||||
tmpdir, _ := ioutil.TempDir("", "test")
|
||||
tmpdir, _ := ioutil.TempDir("", "test1")
|
||||
defer os.RemoveAll(tmpdir)
|
||||
|
||||
db, err := Open(tmpdir, nil, nil, nil)
|
||||
|
|
|
|||
5
head.go
5
head.go
|
|
@ -97,6 +97,11 @@ func TouchHeadBlock(dir string, seq int, mint, maxt int64) error {
|
|||
return err
|
||||
}
|
||||
|
||||
// Write an empty tombstones file.
|
||||
if err := writeTombstoneFile(tmp, emptyTombstoneReader); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
return renameFile(tmp, dir)
|
||||
}
|
||||
|
||||
|
|
|
|||
28
index.go
28
index.go
|
|
@ -165,10 +165,6 @@ func newIndexWriter(dir string) (*indexWriter, error) {
|
|||
if err := iw.writeMeta(); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
// TODO(gouthamve): Figure out where this function goes, index or block.
|
||||
if err := writeTombstoneFile(dir, emptyTombstoneReader); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return iw, nil
|
||||
}
|
||||
|
||||
|
|
@ -541,8 +537,6 @@ type indexReader struct {
|
|||
// Cached hashmaps of section offsets.
|
||||
labels map[string]uint32
|
||||
postings map[string]uint32
|
||||
|
||||
tombstones map[uint32][]trange
|
||||
}
|
||||
|
||||
var (
|
||||
|
|
@ -575,21 +569,7 @@ func newIndexReader(dir string) (*indexReader, error) {
|
|||
return nil, errors.Wrap(err, "read label index table")
|
||||
}
|
||||
r.postings, err = r.readOffsetTable(r.toc.postingsTable)
|
||||
if err != nil {
|
||||
return nil, errors.Wrap(err, "read postings table")
|
||||
}
|
||||
|
||||
tr, err := readTombstoneFile(dir)
|
||||
if err != nil {
|
||||
return r, err
|
||||
}
|
||||
r.tombstones = make(map[uint32][]trange)
|
||||
for tr.Next() {
|
||||
s := tr.At()
|
||||
r.tombstones[s.ref] = s.ranges
|
||||
}
|
||||
|
||||
return r, tr.Err()
|
||||
return r, errors.Wrap(err, "read postings table")
|
||||
}
|
||||
|
||||
func (r *indexReader) readTOC() error {
|
||||
|
|
@ -757,8 +737,6 @@ func (r *indexReader) Series(ref uint32) (labels.Labels, []*ChunkMeta, error) {
|
|||
lbls = append(lbls, labels.Label{Name: ln, Value: lv})
|
||||
}
|
||||
|
||||
s, deleted := r.tombstones[ref]
|
||||
|
||||
// Read the chunks meta data.
|
||||
k = int(d2.uvarint())
|
||||
chunks := make([]*ChunkMeta, 0, k)
|
||||
|
|
@ -772,14 +750,10 @@ func (r *indexReader) Series(ref uint32) (labels.Labels, []*ChunkMeta, error) {
|
|||
return nil, nil, errors.Wrapf(d2.err(), "read meta for chunk %d", i)
|
||||
}
|
||||
|
||||
// TODO(gouthamve): Donot add the chunk if its completely deleted.
|
||||
chunks = append(chunks, &ChunkMeta{
|
||||
Ref: off,
|
||||
MinTime: mint,
|
||||
MaxTime: maxt,
|
||||
|
||||
deleted: deleted,
|
||||
dranges: s,
|
||||
})
|
||||
}
|
||||
|
||||
|
|
|
|||
379
tombstones.go
Normal file
379
tombstones.go
Normal file
|
|
@ -0,0 +1,379 @@
|
|||
package tsdb
|
||||
|
||||
import (
|
||||
"encoding/binary"
|
||||
"io/ioutil"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"sort"
|
||||
)
|
||||
|
||||
const tombstoneFilename = "tombstones"
|
||||
|
||||
func readTombstoneFile(dir string) (TombstoneReader, error) {
|
||||
return newTombStoneReader(dir)
|
||||
}
|
||||
|
||||
func writeTombstoneFile(dir string, tr TombstoneReader) error {
|
||||
path := filepath.Join(dir, tombstoneFilename)
|
||||
tmp := path + ".tmp"
|
||||
|
||||
f, err := os.Create(tmp)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
stoneOff := make(map[uint32]int64) // The map that holds the ref to offset vals.
|
||||
refs := []uint32{} // Sorted refs.
|
||||
|
||||
pos := int64(0)
|
||||
buf := encbuf{b: make([]byte, 2*binary.MaxVarintLen64)}
|
||||
for tr.Next() {
|
||||
s := tr.At()
|
||||
|
||||
refs = append(refs, s.ref)
|
||||
stoneOff[s.ref] = pos
|
||||
|
||||
// Write the ranges.
|
||||
buf.reset()
|
||||
buf.putVarint64(int64(len(s.ranges)))
|
||||
n, err := f.Write(buf.get())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
pos += int64(n)
|
||||
|
||||
for _, r := range s.ranges {
|
||||
buf.reset()
|
||||
buf.putVarint64(r.mint)
|
||||
buf.putVarint64(r.maxt)
|
||||
n, err = f.Write(buf.get())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
pos += int64(n)
|
||||
}
|
||||
}
|
||||
if err := tr.Err(); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
// Write the offset table.
|
||||
buf.reset()
|
||||
buf.putBE32int(len(refs))
|
||||
if _, err := f.Write(buf.get()); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
for _, ref := range refs {
|
||||
buf.reset()
|
||||
buf.putBE32(ref)
|
||||
buf.putBE64int64(stoneOff[ref])
|
||||
_, err = f.Write(buf.get())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
|
||||
// Write the offset to the offset table.
|
||||
buf.reset()
|
||||
buf.putBE64int64(pos)
|
||||
_, err = f.Write(buf.get())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
if err := f.Close(); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
return renameFile(tmp, path)
|
||||
}
|
||||
|
||||
// stone holds the information on the posting and time-range
|
||||
// that is deleted.
|
||||
type stone struct {
|
||||
ref uint32
|
||||
ranges []trange
|
||||
}
|
||||
|
||||
// TombstoneReader is the iterator over tombstones.
|
||||
type TombstoneReader interface {
|
||||
Next() bool
|
||||
Seek(ref uint32) bool
|
||||
At() stone
|
||||
Err() error
|
||||
}
|
||||
|
||||
var emptyTombstoneReader = newMapTombstoneReader(make(map[uint32][]trange))
|
||||
|
||||
type tombstoneReader struct {
|
||||
stones []byte
|
||||
idx int
|
||||
len int
|
||||
|
||||
b []byte
|
||||
err error
|
||||
}
|
||||
|
||||
func newTombStoneReader(dir string) (*tombstoneReader, error) {
|
||||
// TODO(gouthamve): MMAP?
|
||||
b, err := ioutil.ReadFile(filepath.Join(dir, tombstoneFilename))
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
offsetBytes := b[len(b)-8:]
|
||||
d := &decbuf{b: offsetBytes}
|
||||
off := d.be64int64()
|
||||
if err := d.err(); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
d = &decbuf{b: b[off:]}
|
||||
numStones := d.be32int()
|
||||
if err := d.err(); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
return &tombstoneReader{
|
||||
stones: b[off+4:],
|
||||
idx: -1,
|
||||
len: int(numStones),
|
||||
|
||||
b: b,
|
||||
}, nil
|
||||
}
|
||||
|
||||
func (t *tombstoneReader) Next() bool {
|
||||
if t.err != nil {
|
||||
return false
|
||||
}
|
||||
|
||||
t.idx++
|
||||
|
||||
return t.idx < t.len
|
||||
}
|
||||
|
||||
func (t *tombstoneReader) Seek(ref uint32) bool {
|
||||
bytIdx := t.idx * 12
|
||||
|
||||
t.idx += sort.Search(t.len-t.idx, func(i int) bool {
|
||||
return binary.BigEndian.Uint32(t.b[bytIdx+i*12:]) >= ref
|
||||
})
|
||||
|
||||
return t.idx < t.len
|
||||
}
|
||||
|
||||
func (t *tombstoneReader) At() stone {
|
||||
bytIdx := t.idx * (4 + 8)
|
||||
dat := t.stones[bytIdx : bytIdx+12]
|
||||
|
||||
d := &decbuf{b: dat}
|
||||
ref := d.be32()
|
||||
off := d.be64int64()
|
||||
|
||||
d = &decbuf{b: t.b[off:]}
|
||||
numRanges := d.varint64()
|
||||
if err := d.err(); err != nil {
|
||||
t.err = err
|
||||
return stone{ref: ref}
|
||||
}
|
||||
|
||||
dranges := make([]trange, 0, numRanges)
|
||||
for i := 0; i < int(numRanges); i++ {
|
||||
mint := d.varint64()
|
||||
maxt := d.varint64()
|
||||
if err := d.err(); err != nil {
|
||||
t.err = err
|
||||
return stone{ref: ref, ranges: dranges}
|
||||
}
|
||||
|
||||
dranges = append(dranges, trange{mint, maxt})
|
||||
}
|
||||
|
||||
return stone{ref: ref, ranges: dranges}
|
||||
}
|
||||
|
||||
func (t *tombstoneReader) Err() error {
|
||||
return t.err
|
||||
}
|
||||
|
||||
type mapTombstoneReader struct {
|
||||
refs []uint32
|
||||
cur uint32
|
||||
|
||||
stones map[uint32][]trange
|
||||
}
|
||||
|
||||
// TODO(gouthamve): Take pre-sorted refs.
|
||||
func newMapTombstoneReader(ts map[uint32][]trange) *mapTombstoneReader {
|
||||
refs := make([]uint32, 0, len(ts))
|
||||
for k := range ts {
|
||||
refs = append(refs, k)
|
||||
}
|
||||
sort.Sort(uint32slice(refs))
|
||||
return &mapTombstoneReader{stones: ts, refs: refs}
|
||||
}
|
||||
|
||||
func (t *mapTombstoneReader) Next() bool {
|
||||
if len(t.refs) > 0 {
|
||||
t.cur = t.refs[0]
|
||||
t.refs = t.refs[1:]
|
||||
return true
|
||||
}
|
||||
|
||||
t.cur = 0
|
||||
return false
|
||||
}
|
||||
|
||||
func (t *mapTombstoneReader) Seek(ref uint32) bool {
|
||||
// If the current value satisfies, then return.
|
||||
if t.cur >= ref {
|
||||
return true
|
||||
}
|
||||
|
||||
// Do binary search between current position and end.
|
||||
i := sort.Search(len(t.refs), func(i int) bool {
|
||||
return t.refs[i] >= ref
|
||||
})
|
||||
if i < len(t.refs) {
|
||||
t.cur = t.refs[i]
|
||||
t.refs = t.refs[i+1:]
|
||||
return true
|
||||
}
|
||||
t.refs = nil
|
||||
return false
|
||||
}
|
||||
|
||||
func (t *mapTombstoneReader) At() stone {
|
||||
return stone{ref: t.cur, ranges: t.stones[t.cur]}
|
||||
}
|
||||
|
||||
func (t *mapTombstoneReader) Err() error {
|
||||
return nil
|
||||
}
|
||||
|
||||
type simpleTombstoneReader struct {
|
||||
refs []uint32
|
||||
cur uint32
|
||||
|
||||
ranges []trange
|
||||
}
|
||||
|
||||
func newSimpleTombstoneReader(refs []uint32, drange []trange) *simpleTombstoneReader {
|
||||
return &simpleTombstoneReader{refs: refs, ranges: drange}
|
||||
}
|
||||
|
||||
func (t *simpleTombstoneReader) Next() bool {
|
||||
if len(t.refs) > 0 {
|
||||
t.cur = t.refs[0]
|
||||
return true
|
||||
}
|
||||
|
||||
t.cur = 0
|
||||
return false
|
||||
}
|
||||
|
||||
func (t *simpleTombstoneReader) Seek(ref uint32) bool {
|
||||
// If the current value satisfies, then return.
|
||||
if t.cur >= ref {
|
||||
return true
|
||||
}
|
||||
|
||||
// Do binary search between current position and end.
|
||||
i := sort.Search(len(t.refs), func(i int) bool {
|
||||
return t.refs[i] >= ref
|
||||
})
|
||||
if i < len(t.refs) {
|
||||
t.cur = t.refs[i]
|
||||
t.refs = t.refs[i+1:]
|
||||
return true
|
||||
}
|
||||
t.refs = nil
|
||||
return false
|
||||
}
|
||||
|
||||
func (t *simpleTombstoneReader) At() stone {
|
||||
return stone{ref: t.cur, ranges: t.ranges}
|
||||
}
|
||||
|
||||
func (t *simpleTombstoneReader) Err() error {
|
||||
return nil
|
||||
}
|
||||
|
||||
type mergedTombstoneReader struct {
|
||||
a, b TombstoneReader
|
||||
cur stone
|
||||
|
||||
initialized bool
|
||||
aok, bok bool
|
||||
}
|
||||
|
||||
func newMergedTombstoneReader(a, b TombstoneReader) *mergedTombstoneReader {
|
||||
return &mergedTombstoneReader{a: a, b: b}
|
||||
}
|
||||
|
||||
func (t *mergedTombstoneReader) Next() bool {
|
||||
if !t.initialized {
|
||||
t.aok = t.a.Next()
|
||||
t.bok = t.b.Next()
|
||||
t.initialized = true
|
||||
}
|
||||
|
||||
if !t.aok && !t.bok {
|
||||
return false
|
||||
}
|
||||
|
||||
if !t.aok {
|
||||
t.cur = t.b.At()
|
||||
t.bok = t.b.Next()
|
||||
return true
|
||||
}
|
||||
if !t.bok {
|
||||
t.cur = t.a.At()
|
||||
t.aok = t.a.Next()
|
||||
return true
|
||||
}
|
||||
|
||||
acur, bcur := t.a.At(), t.b.At()
|
||||
|
||||
if acur.ref < bcur.ref {
|
||||
t.cur = acur
|
||||
t.aok = t.a.Next()
|
||||
} else if acur.ref > bcur.ref {
|
||||
t.cur = bcur
|
||||
t.bok = t.b.Next()
|
||||
} else {
|
||||
t.cur = acur
|
||||
// Merge time ranges.
|
||||
for _, r := range bcur.ranges {
|
||||
acur.ranges = addNewInterval(acur.ranges, r)
|
||||
}
|
||||
t.aok = t.a.Next()
|
||||
t.bok = t.b.Next()
|
||||
}
|
||||
return true
|
||||
}
|
||||
|
||||
func (t *mergedTombstoneReader) Seek(ref uint32) bool {
|
||||
if t.cur.ref >= ref {
|
||||
return true
|
||||
}
|
||||
|
||||
t.aok = t.a.Seek(ref)
|
||||
t.bok = t.b.Seek(ref)
|
||||
t.initialized = true
|
||||
|
||||
return t.Next()
|
||||
}
|
||||
func (t *mergedTombstoneReader) At() stone {
|
||||
return t.cur
|
||||
}
|
||||
|
||||
func (t *mergedTombstoneReader) Err() error {
|
||||
if t.a.Err() != nil {
|
||||
return t.a.Err()
|
||||
}
|
||||
return t.b.Err()
|
||||
}
|
||||
47
tombstones_test.go
Normal file
47
tombstones_test.go
Normal file
|
|
@ -0,0 +1,47 @@
|
|||
package tsdb
|
||||
|
||||
import (
|
||||
"io/ioutil"
|
||||
"math/rand"
|
||||
"os"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/stretchr/testify/require"
|
||||
)
|
||||
|
||||
func TestWriteAndReadbackTombStones(t *testing.T) {
|
||||
tmpdir, _ := ioutil.TempDir("", "test")
|
||||
defer os.RemoveAll(tmpdir)
|
||||
|
||||
ref := uint32(0)
|
||||
|
||||
stones := make(map[uint32][]trange)
|
||||
// Generate the tombstones.
|
||||
for i := 0; i < 100; i++ {
|
||||
ref += uint32(rand.Int31n(10)) + 1
|
||||
numRanges := rand.Intn(5)
|
||||
dranges := make([]trange, numRanges)
|
||||
mint := rand.Int63n(time.Now().UnixNano())
|
||||
for j := 0; j < numRanges; j++ {
|
||||
dranges[j] = trange{mint, mint + rand.Int63n(1000)}
|
||||
mint += rand.Int63n(1000) + 1
|
||||
}
|
||||
stones[ref] = dranges
|
||||
}
|
||||
|
||||
require.NoError(t, writeTombstoneFile(tmpdir, newMapTombstoneReader(stones)))
|
||||
|
||||
restr, err := readTombstoneFile(tmpdir)
|
||||
require.NoError(t, err)
|
||||
exptr := newMapTombstoneReader(stones)
|
||||
// Compare the two readers.
|
||||
for restr.Next() {
|
||||
require.True(t, exptr.Next())
|
||||
|
||||
require.Equal(t, exptr.At(), restr.At())
|
||||
}
|
||||
require.False(t, exptr.Next())
|
||||
require.NoError(t, restr.Err())
|
||||
require.NoError(t, exptr.Err())
|
||||
}
|
||||
Loading…
Reference in a new issue